20150109　発表資料

形態素解析について自然言語処理研究室 B3 須戸悠太 1

形態素解析とは • 意味を持つ最小の言語単位（形態素）を対象とした解析プロセス。 • 単語分割・品詞付与・原型の復元の大きく三つの処理に分けられる。 • 日本語の形態素解析では単語分割が主要な処理となる。
2

日本語の形態素解析 • 単語辞書と連接可能性行列の二つが知識として用いられる。 • 次の二つのステップを繰り返すことで単語をノードとしその間をリンクでつないだグラフ（ラティス）が得られる。 1.各文字の位置から始まる単語を取り出す 2.相前後する2単語で連接可能なものをつなぐ
3

身近な応用例 • 仮名漢字変換例：ていあんしたいけん 1.ていあん/し/たい/けん→提案したい件 2.ていあん/した/いけん →提案した意見 3.ていあん/し/たいけん →提案し体験 4

選好の紹介 • 最長一致法できるだけ長い単語で構成される解析結果を優先して選択する。 • 形態素数（文節数）最小法入力文字列を構成する形態素数が少ない解析結果を優先して選択する。 5

プログラムでは • コスト最小法ノードとリンクにそれぞれ単語コスト、連接コストを与え、コスト最小のパスを最適解として選択する。 • ビタビアルゴリズムラティス中の各ノードにおいて、部分コストの最小値及びそのリンクを記憶する。
6

形態素解析の欠点 • 単語辞書に登録されていない未知後を含む場合、解析性能を劣化させる可能性がある。 • コスト最小法では、コストを人手で与える必要がある。 7

解析ツール • JUMAN 辞書や品詞体系、連接規則などを外部化し、カスタマイズを可能にした。 • 茶筌コスト推定を統計的な手法によって行う。 • MeCab
辞書や定義ファイルを入れ替えることで日本語形態素解析以外にも応用可能。 8

Yuta