モーグルとカバとパウダーの日記

モーグルやカバ(EXカービング)山スキー(BC)などがメインの日記でした。今は仕事のコンピュータ系のネタが主になっています。以前はスパム対策関連が多かったのですが最近はディープラーニング関連が多めです。

掲示板やWikiへのスパムの傾向と対策

最近、メールだけじゃなくて掲示板やWikiへのスパム対策についてもちょこちょことやる機会があり、それについてのメモ。

掲示

モーグルとカバとパウダーの日記 - 掲示板cgiへの簡単なスパム対策 で書いた内容で9割がたのスパム投稿を排除できるので、とりあえずその下記3点の制限は入れます。

  • 本文中にHTMLでURL記入されたら拒否(</a> [/url] の存在で判断)
  • URL欄が記入されているときは日本語が含まれていない場合拒否
  • 本文中にURLが4件以上含まれていたら拒否

それでも日本語スパムで1投稿に付き1URLが書いてあるタイプのものなどが抜けてきてしまいます。
これはその掲示板の性質によるが、本文やURL欄にURLが書かれることがほとんどない掲示板の場合、もうURLがあっただけで拒否してしまうようにします。
少なくとも、URL欄を無くしても差し支えない場合は多いだろうから、URLを消して、それでもURLのフィールド値を埋めてくるようなものはスパムとして排除して良いでしょう。
あとは運用で「http:」→「ttp:」にして書いてもらうように、掲示板の案内で書いておきます。
これでもさらに抜けてくる事例があったのだが(これはなんのために書いてきているのかは不明。なぜ書けないのかをテストしているのか?)、それは最終的には禁止ワードでフィルタすることで排除しました。


ちなみに、ログを取ってみると、ほとんどの書き込みは同一のIPから1回か2回しかなく、たぶんbotから出されていると予測されます。
またこれらのIPはDNSBL(niku.2ch.net bsb.spamlookup.net list.dsbl.org bl.spamcop.net all.rbl.jp)でのチェックではほとんどひっかからず効果があまりありませんでした。
またURLBL(url.rbl.jp rbl.bulkfeeds.jp multi.surbl.org list.uribl.com bsb.spamlookup.net)でも効果ががありませんでした。
はてなのURLBL(モーグルとカバとパウダーの日記 - はてなでコメント中のURL書き込み数のAPI公開してるのね)を期待してたのだが、これも効果がありませんでした。
どうもスパマー側も意図せずして、使っている掲示板ごとにセグメントわけが行われていて、掲示板によってはあまり効果が無かったりするのかもしれない。例えば、Wiki狙いとか、そういう感じで。
というわけで、現状ではDNSBL/URLBLはあまり効かない、少なくとも効かない掲示板にはほとんど効かない、と言えると思います。


そうなるとやはり、投稿時にCAPTCHA(ゆがんだランダム文字を入力させることでのチェック)を掛けるぐらいしかないと思うのだが、毎回ではユーザへの負担が大きいと思います。
そこでRgreyとかの発想と同様、怪しい書き込みに対してのみ、その制限を掛ければよいのではないかと思いました。
つまり、URLが書かれている場合だけCAPTCHAのついた確認画面を出す、という感じです。

Wiki

美麻Wikiでシステム的に修正している点 - 美麻Wiki

PukiWikiのコメントへのスパムについては、掲示板のスパムと同様</a>と[/url]をフィルタすることでほとんどのものを排除できるのでお勧めです。
その上で、HTMLファイルの添付スパムについては、「.html」と「.htm」ファイルの添付を排除することで対応しました。
また、これらのスパムを吐いてくるbotのコードが結構ずぼらなので、User-Agentの指定が「WWW-Mechanize」のままになってたりするため、それでもフィルタ出来ます。


掲示板へのスパムで書いたのと同様、DNSBLやURLBLはあまりというか、ほとんど効かない感じです。
Akismetは効果があるようですが、更新動作が結構重くなるようなので、掲示板の場合と同様、URLが書かれていた場合のみ、Akismetでのチェックを掛けるようにするのが良いと思います。


(追記)

(スパムじゃないほうの)お隣日記から

おさかなラボ - 人間様には見えなくて、spamボットには見える不思議なCAPTCHA

Gmailでは、何度もパスワード入力が間違ったときだけ、CAPTCHAが出てきてチェックが必要になるとのこと。
こういう感じに、必ず出るんじゃなくって必要があるときだけCAPTCHA使おうよ、と。


(追記)

モーグルとカバとパウダーの日記 - PukiWiki Plus!用のスパムフィルタ spam_filter.php

にて、自作のPukiWiki用総合スパムフィルタについて紹介があります。