中国産robot Baiduspider
ここ数日、Webのアクセスログがすごいことになっている。
8/1〜8/4(13:00現在)までの検索エンジンのクローラー(robot)の集計結果であるが・・・
順位 | robot名 | アクセス回数 | サイズ |
[1] | BaiDuSpider | 3875+2 | 64.96 Mb |
[2] | Inktomi Slurp | 146+67 | 2.82 Mb |
[3] | Googlebot | 117+4 | 3.35 Mb |
[4] | MSNBot | 23+15 | 394.83 Kb |
このトップにある BaiDuSpider
まだ4日目なのに 64Mb になっている。
64Mbというと、通常のrobotの一ヶ月の値である。
しらべてみると中国系の検索サイト
http://www.baidu.com/
から来ているrobotなんだけど・・・
しかもアクセスの仕方が非常にお行儀悪い。
robotのアクセス拒否/許可設定の書かれたファイルを無視してアクセスしたり、DDOS顔負けに1秒間に何回もアクセスしたりと・・・。
すでに他のブログなどでも記事になり始めているので、興味ある方は検索してみれば、すぐにみつかるであろう。
と、いうわけでサーバー側でこのBaiDuSpider、アクセス拒否設定を本日から追加しました^^ノ
年に何回か、こういう集中的な悪質なアクセスってあるんだよね〜。