第3回B3ゼミ

機械学習を用いた日本語表現のチャンキング

Transcript

1. 宮西 由貴 第3回 B3ゼミ -機械学習を用いた日本語機能表現のチャンキング-
2. 機能表現と内容表現  機能表現  二つ以上の語から形成される  全体で一つの「機能的」な意味を持つ  内容表現  語彙的意味を形成する語  名詞・形容詞・動詞  「出発するにあたって」・・・機能表現  「ボールが壁にあたって」・・・内容表現
3. 既存の解析では･･･  ＪＵＭＡＮ＆ＫＮＰ  ＪＵＭＡＮ解析時には機能語を検出しない  ３１種類／５２種類  ＣｈａＳｅｎ＆ＣａｂｏＣｈａ  「助詞・格助詞・述語」をＣｈａＳｅｎ時に検出  一部の表現はまとめて機能的な表現として解析  ２６種類／５２種類  機能的用法と内容的用法の区別が十分でない
4. 改善策  機能表現候補の形態素列の用法を正しく識別  検出器を使用（作成）  人手で作成した規則を使用  コストが膨大  機能語集合の規模が拡大した場合に追従不可  提案手法  チャンク同定問題として定式化  ＹａｍＣｈａを利用
5. 日本語複合辞用例ＤＢ  複合辞  単なる語の連接ではない  個々の構成要素のプラス以上の独自の意味を持つ  日本語複合辞用例データベース（用例ＤＢ）  機能表現の機械処理を研究するために設計  １２５種類（複合辞用例集）＋異形＝３３７種類
6. 機械学習で機能表現検出  機能表現をクラス判別として定式化  機能表現となる可能性のある部分単位  複数の機能表現→矛盾した結果を出す可能性  温泉はどんな場所にあっても，心が弾む  それが試合というものの難しさだ  機能表現をチャンキングとして定式化  形態素が単位  複数の機能表現が重複しない
7. チャンクタグの表現方法  チャンクタグ  検出時に付与するもの  チャンクの範囲を示す要素の表現  ＩＯＢ２フォーマットを使用  チャンクの用法を示す要素の表現 Ｉ：チャンクに含まれる形態素（先頭以外） Ｏ：チャンクに含まれない形態素 Ｂ：チャンクの先頭の形態素 Ｆ：用例集で説明されている用法 Ａ：接続詞的用法 Ｍ：その他の機能的用法 Ｃ：内容的用法 Ｙ：読み不一致 Ｂ：判定単位が不適切
8. SVMを用いた機能表現検出  チャンクタグの組み合わせ  範囲を示す要素・・・Ｂ／Ｉ  用法を示す要素・・・Ｆ／ＡＭ／ＣＹＢ  組み合わせた６種類  研究で作成する検出器  Ｆ：Ｆが付与される表現を検出  ＦＡＭ：Ｆ，Ａ，Ｍのどれか付与される表現を検出
9. 素性  素性の種類  形態素素性：  形態素解析によって得た情報  表層形，品詞，品詞細分類，活用形，原形，読み，発音  チャンク素性：  機能表現候補Ｅを構成している形態素数  機能表現候補中の の相対的位置情報  チャンク文脈素性：  ｉ番目の機能表現候補の直前＆直後２形態素の素性  チャンク素性 −2 −1 … … +1 −2
10. CFとOFを式で表す  チャンク素性： =< − + 1, − + 1 >  チャンク文脈素性： =< −2 , −2 , −1 , −1 , +1 , +1 , +2 , +2 >  優先順位  最も左側の機能表現候補を用いて素性を付与  １を満たす候補が複数存在→最も形態素数が多い候補を使用