MJ12bot

2年前 BaiDuSpider のクロールのお行儀の悪さに頭きて拒否設定をしたブログを書きましたが、今度は MJ12bot というお行儀の悪さがすごい。

1秒おきぐらいにクロールしていくのだが、2〜3時間に渡って永遠クロール。
一度のクロールで数百というページをクロールしていく。
このMJ12botは一時期、偽robotが流行り、本家も迷惑したという記事もあった。

今回かなり悪質なクロールしたIPアドレスを、nslookupで調べてみたが、 can't find だったので本家クロールじゃない可能性もあるが、本家、偽の区別がつけにくい以上、MJ12bot の Agent で拒否するしかない。

近頃、このほかにも気になっているrobot(クローラー)がいるので、動向をチェック中。