« 上司と食事 | メイン | 久しぶりに CCOC'S »
2004年10月29日
RSS Robot
RSS Robot を作ってみた。というのは、情報特別演習で RSS Reader を作るといってながら、全く作っていなかったから。とりあえず、バックで動くプログラムを作ることにする。
ニュース検索のロボットを流用しようと思ったけど、色々調べながら一から書いてみることにした。ニュース検索用のロボットは、メッチャ検索エンジンのソースを基に書いているので、プログラムとしてオリジナルではない(原型はほとんど残っていない)。
今回のは、完全にオリジナルとはいえないけど、ほぼオリジナルで行きたいと思い、さくさく書いてる。多分、メタサーチやニュースクローラーもこのプログラムを基に書き直すことになると思う。
今のところ、対応しているのは RSS1.0 2.0 のみ。文字コードの判別はしないし、レスポンスのタイムアウト処理も入れていない。レスポンスのタイムアウト処理は、巡回件数と比例するようにしようと思ってる。この辺は、経験則になるのではないかな。
ということで、ソースを公開。多分、Perl がインストールされていれば動くと思う。もちろん Windows でも Perl をインストールすれば動くが、一部関数が使えないのでうまく動かないかもしれない。ソースを見て、よいアイデアなどがありましたら教えてくださいな。
【関連情報】
・Metcha Search Engine (Meta Search Engine)
http://bach.istc.kobe-u.ac.jp/metcha/
・HTTP の並行アクセス (68user's page)
http://x68000.q-e-d.net/~68user/net/http-parallel-1.html
2004年10月29日 22:07 | Programming
トラックバック
コメント
案の定かぶりそうな予感…
まぁ、基礎技術だけだろう。
お互い、それなりの利用法を持っているから、ホントにかぶることは無いだろう。
そのうち、webのことで何かできたらいいな。
投稿者 TELL : 2004年10月30日 12:16
>> TELL くん
情報特別演習の指導教員が mixi に居るのを見つけてしまった。
しかも、結構前から入っていたみたいです。ということで、土日でさくさく作って、面談願のメールを送ろう。
投稿者 ceekz : 2004年10月30日 20:21