モーグルとカバとパウダーの日記

モーグルやカバ(EXカービング)山スキー(BC)などがメインの日記でした。今は仕事のコンピュータ系のネタが主になっています。以前はスパム対策関連が多かったのですが最近はディープラーニング関連が多めです。

コメントスパムやトラックバックスパムのブラックリスト

はてなアンテナを利用して、コメントスパムトラックバックスパムのURLブラックリストが出来ないでしょうか。


はてなアンテナでは、登録されたURLをクロールして差分から更新を検出していますが、このときにタグからブログツールと考えられるものについて、コメントの内容やトラックバックのURLを抜き出して(<div class="comments-body">やら<p class="posted">やらの中身にあるURLを抜き出す)、その日のランキングを作るわけです。
はてなダイアリー - 注目URLの、(はてなアンテナで捕捉されているブログの)コメントやトラックバックにあるURL版、というイメージでもよいです。
そしてそれを RSS で配信します。


スパマーは、内容や張ったURLを見てもらうためじゃなくて、Googleのランキングをあげるのが目的のようだから、URLは同じものが張られると考えてられます。
なので、トラックバックやコメントに張られたURLを収集して、その数があまりにも多いものは、スパムのブラックリスト対象として使えると考えられます。
多数のブログ(例えば100以上だとか)に対し、同じURLがコメントやトラックバックに送られることは、スパム意外には考えられないと思いますから、誤認識される可能性はないと思います。
いやがらせをすることは可能ですが、単にトラックバックやコメントが自動的に削除される、というものなので、ほとんど問題はないと思われます。


ただ、ブラックリストURLとしてあげてしまうと、リストへの削除依頼だとかへの対応が難しいと思うので、あくまで「最近のブログでコメントやトラックバックにあげられることの多いURLランキング」ということで出すのみで、それを使ってどうするかは、あくまでブログツールへのパッチやプラグインの製作者にゆだねればよいでしょう。
はてなダイアリーでは、同じような仕組みを内部で用意することで、独自に対処することが出来ると思いますが、せっかくなら RSS で配信して、他の独立で動いているブログから参照できるようになっていると良いと思います。


(関連)

http://d.hatena.ne.jp/stealthinu/20050222#p1 [pc][spam]トラックバックコメントスパムの対策