百度のクローラー「Baiduspider」がもっと激しくなったらどうしよう?
レンタルサーバーの管理会社から「このままだと、出て行ってもらう!」という内容の警告がきたので、
慌ててログをみたら、通常の一ヶ月分ぐらいのアクセスが一日にあった、
なんていう事が以前ありました。
原因は、あの悪名高い百度のロボット「Baiduspider」でした…。
中国最大の検索エンジン「百度」、2007年の日本進出を発表。という事なので、ロボットがもっと活動的になるのかも。
「robots.txt + Baiduspider」で検索するとザクザク出てきます(参考: Baiduよけ)。
僕の場合、robots.txtが効果ありだったのですが、いつもうまく行くとは限らないようです。
もうすこし、サーバーにやさしいロボットになって欲しい…。