« 自炊ではない | メイン | MySQL + Namazu の原始的手法 »
2004年11月05日
Googlebot がたくさんくる
CEEK.JP NEWS に Googlebot が大量に着てます。どれくらい着ているかというと、もうそれはすごい。
昨日の search.cgi へのアクセス数は、全体で 12389 でした。うち、クローラーである Googlebot のアクセス数は、なんと 9475 もありました。つーことは、検索の 76% が Googlebot なわけですよ。
何でこんなに多くなるか考えてみると、それはページ構造にあると思う。出来る限り、クリックだけでニュースを見れるようにしているので、リンクが多い。そのリンクを bot がたどるわけですな。検索エンジンに登録されるのはうれしいけど、若干負荷が高くなって、レスポンスが悪くなっている可能性が。
ちなみに、僕は Google News をほとんど使ったことがありません。だって、 CEEK.JP NEWS で足りるから。最新ニュースも見れるし、最近話題になっている事柄も Hot Keywords や Search Keywords をクリックすれば把握できるので。でも、平行して Yahoo! JAPAN のトピックスもみてます。どういう基準で掲載されているのか分からないけど、手軽にネタが拾えるから。 CEEK.JP NEWS にも、ランダムでいいからいくつかニュースをピックアップする機能をつけようかなぁ。と思ったり。
逆に CEEK.JP は、あまり使っていない。正直なところ。ツールバーのある Google の方が便利だし、すぐに結果が出るのも良い。通常の検索の 95% は、こっちで足りちゃう。残りの 5% を CEEK.JP で補うという感じ。使わないから、更新頻度が下がっているんじゃないですよ。きっと。
なんか、「ちなみに」以後が本題になっているような。とりあえず、最近 Googlebot が大量に着ているということで。んでもって、さっさと検索を Namazu にしろということで。うーむ。インデキシングする mknmz.pl を書き換える必要があるのでちょっと後回し。でも Perl で書かれているだけましかなぁ。まだ読める。
つか Namazu より MySQL の SELECT の方が遅くて負荷が高いという前提のもと検討しているわけですが、そうじゃなかったら最悪だ。そうでありますように。
この Namazu + MySQL については、複数の問い合わせがあったのですが、まだ実装できてません。いつ実装するかも分かりません。ごめんなさい。他にやっている人はいないのかなぁ？
2004年11月05日 03:31 | Development