20150109 発表資料

Transcript

1. 形態素解析について 自然言語処理研究室 B3 須戸悠太 1
2. 形態素解析とは • 意味を持つ最小の言語単位（形態素）を対象と した解析プロセス。 • 単語分割・品詞付与・原型の復元の大きく三つ の処理に分けられる。 • 日本語の形態素解析では単語分割が主要な処理 となる。 2
3. 日本語の形態素解析 • 単語辞書と連接可能性行列の二つが知識として 用いられる。 • 次の二つのステップを繰り返すことで単語を ノードとしその間をリンクでつないだグラフ （ラティス）が得られる。 1.各文字の位置から始まる単語を取り出す 2.相前後する2単語で連接可能なものをつなぐ 3
4. 身近な応用例 • 仮名漢字変換 例：ていあんしたいけん 1.ていあん/し/たい/けん→提案したい件 2.ていあん/した/いけん →提案した意見 3.ていあん/し/たいけん →提案し体験 4
5. 選好の紹介 • 最長一致法 できるだけ長い単語で構成される解析結果を優先 して選択する。 • 形態素数（文節数）最小法 入力文字列を構成する形態素数が少ない解析結果 を優先して選択する。 5
6. プログラムでは • コスト最小法 ノードとリンクにそれぞれ単語コスト、連接コス トを与え、コスト最小のパスを最適解として選択 する。 • ビタビアルゴリズム ラティス中の各ノードにおいて、部分コストの最 小値及びそのリンクを記憶する。 6
7. 形態素解析の欠点 • 単語辞書に登録されていない未知後を含む場合、 解析性能を劣化させる可能性がある。 • コスト最小法では、コストを人手で与える必要 がある。 7
8. 解析ツール • JUMAN 辞書や品詞体系、連接規則などを外部化し、カス タマイズを可能にした。 • 茶筌 コスト推定を統計的な手法によって行う。 • MeCab 辞書や定義ファイルを入れ替えることで日本語形 態素解析以外にも応用可能。 8