きまぐれ日記: ajax IME パワーアップ

408 1

きまぐれ日記: ajax IME パワーアップ

http://chasen.org/~taku/blog/archives/2006/07/ajax_ime_5.html 本文へ

（本文から引用）

きまぐれ日記« やっぱり SWIG が好き |メイン| Schwartzian Transform でランダムシャッフル »2006年07月31日ajax IME パワーアップSumibiが wikipedia を使ってモデル/辞書を更新してるようなので、負けじと Ajax IME でも Wikipedia から自動単語抽出し、辞書にドカッっと単語登録してみました。

まず、CRF ベースの分かち書きツール(BIOモデル)を使い、周辺確率の高い単語候補を全日本語 wikipedia から収集。期待頻度が 0.9以下のものは無視し、あと雑多なフィルタリングの後、約 28万の単語候補を抽出。周辺確率から HMM のユニグラム確率を計算して (単純に negative log * 400) 辞書に登録。品詞の推定は現状では難しいので、すべての単語は「名詞、サ変」だと仮定しています。

単語(未知語)抽出は、それなりにうまくいっているようです。カタカナ語はほぼ網羅的に収集できました。「電車男」のような漢字だけの語もそれなりに取れています。

現在の Ajax ...
続きを読む

この記事をクリップする

この記事をクリップしたユーザー一覧

bookeyさん 2006/07/31 13:37
タグ：
Sumibiが wikipedia を使ってモデル/辞書を更新してるようなので、負けじと Ajax IME でも Wikipedia から自動単語抽出し、辞書にドカッっと単語登録してみました。
→ 語彙が増えた

この記事にコメント！

みんなのおすすめ商品（Amazon.co.jp）

　　あなたもアフィリエイトを始めませんか？　　　　


俺の妹がこんなに可愛いわけがない〈5〉 (電撃文庫) 4人がクリックしました著者：伏見つかさ出版社: アスキーメディアワークス	おおきく振りかぶって Vol.13 (アフタヌーンKC) 61人がクリックしました著者：ひぐちアサ出版社: 講談社	のだめカンタービレ #23 (講談社コミックスキス) 179人がクリックしました著者：二ノ宮知子出版社: 講談社