« 2004年12月10日 | メイン | 2004年12月12日 »
2004年12月11日
bsfilter を試してみた
ここ最近 Development が寂しいわけですが、何もしていないわけじゃありませんよ。ちょっと前に bsfilter を試してみたのでその結果を。
bsfilter は Ruby で書かれたスパムフィルタの一種です。何で bsfilter を使ってみたかというと、機能が他のフィルタに比べてシンプルであったし、ソースを読むのに苦にならないから（Ruby でかかれているから）。
さて、これをスパムフィルタとして使うだけでは、ここに書く意味も無いので新聞社の判別に使うことにした。今回は、なんとなくしっかりした文章を書いているイメージがある、日経新聞かどうかを判定するフィルタを作成した。
日経新聞 = Spam
その他の新聞 = Clean
として、日経新聞率（スパム率）を計算することにした。使い方は、公式サイトを見ていただくとして、記事の本文を1記事1ファイルとして学習させて行った。その後、どれくらいの確率で正確に分類できるかを計算した。通常 Spam であるかどうかは、スパム率が 95% でスパムと判定するのだけど、今回は、日経新聞率（スパム率）が 50% より大きければ日経新聞と判断し、50% 未満であればそれ以外。と判断することにした。
設定は、全てデフォルトで行った。サンプル記事（学習させる記事）は、11月分の日経記事全件と日経記事以外の記事を適当に1万件週出して行った。1万件にしたのは、別に根拠は無くって、きりがいいから。
その学習データを基に、12月分の記事を使って確かめたところ、
日経新聞を日経新聞として判定する確率 = 70%
日経新聞以外を日経新聞以外として判定する確率 = 80%
という結果を得た。判定のラインは、上記に書いたとおり。細かい数字は忘れてしまったので、概算で申し訳ないが。分散を調べればよかったと少々後悔しています。
なかなかよい結果を得ることが出来て面白い。単語（token）の分割に bigram を使ったのがよい結果を後押ししたと思っています。仮に kakasi を使った場合は、もっと精度が下がります。というのは、新聞社の判断は、単語の出現率ではなく、単語の使用の方法を見なければならないから。実際、先輩が試してみてあまりよい結果が出なかったみたい。
Ruby で書かれているので、自分に必要な機能だけを切り出した Perl 版も作ってみたいと思う。時間が無くって、年明けになりそうだけど。その際は、単語の切り出しに N-Gram も使えるようにしたいと思っています。
【関連情報】
・bsfilter / bayesian spam filter / ベイジアン スパム フィルタ
http://bsfilter.org/
・朝日新聞チェッカー
http://ikejisoft.com/games/asahi.rb
13:06 | コメント (2) | トラックバック | Technology
SoftEther の実験用サーバ募集
SoftEther VPN 2.0 がそろそろ公開されるのですが、その実験用公開仮想 HUB に使うサーバ提供者を募集しているようです。ちなみに、アルファ版はすでに出ていて、僕も試しました。結果に関しては、守秘義務があるので書けないのだが。
つーか、スループットなどは、某編集部に堂々と張り出しているので書いてもいいのかな。まぁ。書かないで、公開されてのお楽しみとしよう。
今回の実験では、どこでも LAN （GMO提供）のようなサービスも実験的に無料で提供するようです。うまくいけば、正式なサービスとして実施されるかもしれませんね。
さて、今回募集のサーバの内容ですが、結構スペックが高いですな。つーか、ネットワーク回線まで募集してるんか。とはいっても、アカウントのみのようですが。
面白そうだから提供してやろうとか、綿密な広告費用の計算でプラスになったという企業さんは、提供してみてはいかがでしょう？もちろん、個人の方でもよいでしょ。
あ。バイトも募集してたと思う。学内者のみかなぁ。大学のバイト掲示板に張り出されていると思う。時給が他のバイトに比べて破格だった様な気がする。
【関連情報】
・SoftEther VPN 2.0 実験用公開仮想 HUB サーバー用の機材提供者を募集しております
http://d.hatena.ne.jp/softether/20041210
12:31 | コメント (0) | トラックバック | News
RanRan の普通盛りを食った
今日から3連休。てか、毎週な。ということで、昨日（10日）の食事内容です。
昼は、前日に買った半額になっていたポテトグラタンをレンジで温めて食べる。お腹が痛くならなかった。レンジは最強。
夜は、久しぶりに RanRan に行ってきた。図情の方といってきたので、単位とかそういう話。肉豆腐丼の普通盛りを食べる。最近は、小盛りばかりだったので。ちゃんと完食。深夜は、飲み会があったのだが寝てしまって行くそびれた。ごめん。
某編集部 （昼）
ポテトグラタン
RanRan （夜）
肉豆腐丼