Hyper Estraier and stannum
Wednesday, 16. December 2009, 08:28:56
Stannum アップローダにログの全文検索を追加するという話。
mht ファイルなんかを受け付けている場合にその内容で検索できると便利なんじゃないかな！ということ。
Windows 鯖でも動かすことを考えて、全文検索エンジンはとりあえずHyper Estraierを使う。これを P2P モードで動かす。特に Windows 鯖では NT サービスとしてノードマスタを動かしておく。Hyper Estraier はすでに更新されなくなって久しい（Tokyo Estraier という新版に置き換えられている？）のだけどあまり気にしないことにする。
Stannum 側でやることは、
…ということくらい。
どれも技術的にはぜんぜん難しいものはないのだけど、たとえば mht ファイルから文書ドラフトを生成するときに何を取捨選択するかという点はちょっと考える必要がある。最も単純には mht ファイル内の html ソースからタグを全消去すればよいのだけど、それだとメール欄に埋め込まれた文字列が無視されてしまうし、html というのはつまるところ虹裏のログなのだけど、どの html にも共通して存在するであろう部分（送信フォームやフッタや、レスごとの「…」など）は検索対象としても意味がない。この辺りは微調整しなければならない。
mht ファイルなんかを受け付けている場合にその内容で検索できると便利なんじゃないかな！ということ。
Windows 鯖でも動かすことを考えて、全文検索エンジンはとりあえずHyper Estraierを使う。これを P2P モードで動かす。特に Windows 鯖では NT サービスとしてノードマスタを動かしておく。Hyper Estraier はすでに更新されなくなって久しい（Tokyo Estraier という新版に置き換えられている？）のだけどあまり気にしないことにする。
Stannum 側でやることは、
- ファイルがアップロードされたときとファイルが削除されるときにノードマスタに対して http でやり取りする
- アップロードされたファイルの内容から文書ドラフト（検索対象となるテキストとそのメタデータ）を生成する
- 検索インターフェースを作る
…ということくらい。
どれも技術的にはぜんぜん難しいものはないのだけど、たとえば mht ファイルから文書ドラフトを生成するときに何を取捨選択するかという点はちょっと考える必要がある。最も単純には mht ファイル内の html ソースからタグを全消去すればよいのだけど、それだとメール欄に埋め込まれた文字列が無視されてしまうし、html というのはつまるところ虹裏のログなのだけど、どの html にも共通して存在するであろう部分（送信フォームやフッタや、レスごとの「…」など）は検索対象としても意味がない。この辺りは微調整しなければならない。
WIDGETIZE