中国産robot Baiduspider

投稿者: Hyperdoll 投稿日:

ここ数日、Webのアクセスログがすごいことになっている。
8/1〜8/4(13:00現在)までの検索エンジンのクローラー(robot)の集計結果であるが・・・

順位 robot名 アクセス回数 サイズ
[1] BaiDuSpider 3875+2 64.96 Mb
[2] Inktomi Slurp 146+67 2.82 Mb
[3] Googlebot 117+4 3.35 Mb
[4] MSNBot 23+15 394.83 Kb

このトップにある BaiDuSpider
まだ4日目なのに 64Mb になっている。
64Mbというと、通常のrobotの一ヶ月の値である。

しらべてみると中国系の検索サイト
http://www.baidu.com/
から来ているrobotなんだけど・・・
しかもアクセスの仕方が非常にお行儀悪い。
robotのアクセス拒否/許可設定の書かれたファイルを無視してアクセスしたり、DDOS顔負けに1秒間に何回もアクセスしたりと・・・。

すでに他のブログなどでも記事になり始めているので、興味ある方は検索してみれば、すぐにみつかるであろう。

と、いうわけでサーバー側でこのBaiDuSpider、アクセス拒否設定を本日から追加しました^^ノ

年に何回か、こういう集中的な悪質なアクセスってあるんだよね〜。

カテゴリー: Linux