« 雨降りきらい | メイン | Gmail の再設定 〜 送信メールの自動バックアップ »
2007年02月20日
百度 Baidu がクローラ問題への対応を表明
中国最大手の検索エンジン「百度（Baidu）」が、過剰クローリング問題に対応すると表明しました。
百度のクローラは Baiduspider という名前なのですが、すさまじい勢いでクローリングを行うロボットです。紳士協定として存在する robots.txt を参照しないばかりか（ヘルプページに参照すると書いてるが）、アクセス頻度も度を越していました。
Order deny,allow # Block Baidu (CN) Deny from 60.24.0.0/13
このようにアクセスを拒否しているサーバ管理者も多いのではないでしょうか？
各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。
1秒間に9アクセスはいくらなんでもヤバイと思うのですが、その頻度が下げられることが一番大きいです。僕のサイトでもアクセスブロックを行っていますが、様子を見ながらブロックを終了させようと思っています。
日本参入を表明しているので、まずは柔和ということかな。アジア圏の検索エンジン参入は久しぶりなので、楽しみにしています（韓国発 NAVER があったけど撤退）。
【関連情報】
・百度
http://www.baidu.jp/
2007年02月20日 22:16 | News