ベイジアンフィルタによるスパムフィルタの限界 - モーグルとカバとパウダーの日記

昨日のエントリーでベイジアンフィルタも万能ではない、ということを書いたのだけど、ちょっとそれだけだとわからない人もいると思うので、もうちょっと詳しく理由を書きたいと思う。

ベイジアンフィルタとは、ある事象が起きたその構成要素をみて、その構成要素が存在する確率を算出しておき、未知の事象に対して今度は構成要素の存在確率から逆算して、事象がなにかを推測するというものだ。
スパムフィルタとして使う場合で考えると、スパムやハム(スパム以外のメール)の受け取ったメールの単語の出現比率から、スパムに良く含まれる単語とその確率、ハムに良く含まれる単語とその確率、を求めておき、新しいメールが来たときに、その単語の確率から逆算して、スパムである確率を求める。
"VIAGRA"と入っているメールはスパムである確率が高く、スパムとハムを人間が指示していくうちに、"VIAGRA"には高い確率のポイントがつけられていく。
"V1AGRA"とか"I"を"1"に置き換えたメールが来ても、初回は通してしまうものの、一度スパムであることを指示すると、"V1AGRA"なんて言葉を使ってくるのはさらに高い確率でスパムであり、それだけで高い「特徴」を持ってしまうため、すぐに通れなくなってしまうわけだ。
むろんこれらは、本文だけでなくヘッダ情報についても同じように学習されていく。

このようにベイジアンフィルタは非常に強力であるのだが、ベイジアンフィルタを出し抜く方法がある。
一番代表的なものとして、最近非常に増えてきた画像スパムだ。
これは、画像の中にスパムの内容が書かれており、本文は適当な本の内容だとか、メーリングリストの投稿だとか、スパムではない適当なものを使う。
ベイジアンフィルタがパース(読んで解析)するものは、画像の中身ではなくテキスト(本文やヘッダの文字)であるため、誤認してしまう。
この場合HTMLメールで画像が付いているという「特徴」があるが、普段からHTMLメールで画像付きのメールを受け取っているユーザには、それを特徴としては使えない。

これは根本的にベイジアンフィルタだけでは対抗不可能なスパムだ。
つまり、ベイジアンフィルタがパースしているものと、人間がパースしているものが違う、ということを利用した対抗手法なので、ベイジアンフィルタだけでは対抗できないのである。

ベイジアンフィルタではなく、人間がフィルタしていることに置き換えて考えてみればわかりやすい。
普段HTMLで画像付きで受け取っているメールマガジンなどのHTMLメールを想像してみよう。
ヘッダ情報や本文は、そのHTMLメールをそのまま偽装しているとする。(Receivedの経路は偽装できないが、そこまではさすがにベイジアンフィルタでも学習できない)
そのうちのタイトル部分だとか、まん中らへんのアイコンだとかが、普通よりも大きめのサイズになっていて、そこにスパムの内容が書かれている。他の文字とか画像は薄めの色にしてあって見にくくしているとしよう。
どうだろうか？HTMLメールとして表示させればすぐにスパムとわかるだろうが、メール本文(HTMLのソースやMIME エンコードの内容)を見て判別するのは不可能だろう。

そのため、OCR機能を利用して画像をパースする、という方向で対抗策が出されたわけだが、今度は画像を分割するというさらに対抗策が出された。
こうなってくると今度は、HTMLをパースさせて最終的に表示される画面を作ってから、それを画像的にパースしなければならない。
OCRのものは今のところ1通の解析に1秒以上掛かってしまい、今後高速化されたとしても0.1秒単位だと思われる。むろん画像が増えたり大きくなったりすればそれだけ時間も掛かってしまう。そのため、多数のメールを受け取るところではOCRでの判別は導入が難しい。
それがさらにHTMLのデコードと画像化まで含めるとなると、現実的ではないだろう。
なので、この方向での対抗方法は、サーバではなくてクライアント上で行うしかなくなってくると思う。

人間とコンピュータがほぼ同じようにパースすることが出来るテキストメールだけなら良いのだが、人間がパースしているものとコンピュータがパースしているものを、著しく違うように出来るHTMLメールがある限り、ベイジアンフィルタだけで全てのスパムに対抗出来ないことがわかる。