« 雨降りきらい | メイン | Gmail の再設定 〜 送信メールの自動バックアップ »

2007年02月20日

百度 Baidu がクローラ問題への対応を表明

Baidu 百度

中国最大手の検索エンジン「百度(Baidu)」が、過剰クローリング問題に対応すると表明しました。

百度のクローラは Baiduspider という名前なのですが、すさまじい勢いでクローリングを行うロボットです。紳士協定として存在する robots.txt を参照しないばかりか(ヘルプページに参照すると書いてるが)、アクセス頻度も度を越していました。

Order deny,allow
# Block Baidu (CN)
Deny from 60.24.0.0/13

このようにアクセスを拒否しているサーバ管理者も多いのではないでしょうか?

各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。

1秒間に9アクセスはいくらなんでもヤバイと思うのですが、その頻度が下げられることが一番大きいです。僕のサイトでもアクセスブロックを行っていますが、様子を見ながらブロックを終了させようと思っています。

日本参入を表明しているので、まずは柔和ということかな。アジア圏の検索エンジン参入は久しぶりなので、楽しみにしています(韓国発 NAVER があったけど撤退)。

【関連情報】
・百度
 http://www.baidu.jp/

2007年02月20日 22:16 | News

トラックバック

コメント