Baiduspider と BecomeJPBot クローラー

以前にも記事にした Baiduspider のクローラーの行儀の悪さ。
今回はこのほか、BecomeJPBot のクローラー

ショッピングサーチ ビカムのクローラーなわけだが、これまたすごいお行儀が悪いらしい。

先日、ご紹介した 日本XOOPSユーザーズグループ(XUGJ)

このサイトがこれらクローラーの品のないクロールによってリクエスト過多になりサイトがダウン状態になったらしい。
PEAK XOOPS – XUGJダウン中

わたしもこのサイトは毎日のようにチェックさせていただいており、当日も表示されないため「あれ？メンテ中かな？」と思っていたところである。

うちのサーバーも Baiduspider に対しては対処していたが、予防のため BecomeJPBot にも同等の対処を施してみた。
一応ログをチェックしたところ、まだそんなに多くクロールに来てないようなので今のうちに･･･といった感じである。

ビカムでは サイトオーナー・ウェブマスター向け情報 としてクローラーについて記載がある。
この記載からだと、BecomeJPBot と偽ったり、似せたクローラーが発見されており、それらが迷惑をかけている･･･。みたいな内容が書かれている。
真偽は不明だが become と名乗っているクローラーには変わりない。become クローラー でググってみても、かなりの被害がでているらしいので対処するしかない。

自宅サーバを運営している方、ログチェックしていますか？
手遅れになってダウンしてからでは･･･。

■クリックにご協力ください■
　　
→人気ブログランキングへ