文献紹介_4_結合価パターンを用いた仮名漢字変換候補の選択

Transcript

1. 長岡技術科学大学 B4 三上侑城 文献紹介 2015年7月14日 結合価パターンを用いた 仮名漢字変換候補の選択 自然言語処理研究室 1
2. 出典 結合価パターンを用いた仮名漢字変換 候補の選択 吉田 真司 ,徳久 雅人 ,村上 仁一 ,池 原 悟 第10回年次大会 (2004) 2
3. 概要 単語連鎖確率を用いた、かな漢字変換 では同音異義語での誤変換が問題。 結合価パターンが作成されたことにより、 意味解析の構築が実現した。 本稿は単語連鎖確率に結合価パターン を用い、その有効性を示した。 3
4. かな漢字変換アルゴリズム 単語連鎖確率を用いた、かな漢字変換 は、変換候補を大量に出力することがで きる。 結合値パターンを用いると、意味的な適 切性が判断できる。 両方を統合したアルゴリズムを作成。 4
5. かな漢字変換アルゴリズム 手順１：候補作成 手順２：不適切な文法の削除 手順３：不適切な意味の削除 手順４：慣用表現の優先 手順５：補欠選択 5
6. 変換候補の作成 6 入力文の単語列で隣接する単語 間の連鎖確率を計算し、出現確率 を求め、高い順から候補とする。 入力されたひらがな文に対して、 かな漢字変換を行い、出現確率の 高い上位32文の候補を作成。
7. 不適切な文法の削除 文法的に不適切な文の削除を行う。 SLT-JAWSを用いた形態素解析を行い、 エラー時の出力を利用して、品詞間の接 続に誤りのある候補分を削除する。 7
8. 不適切な意味の削除 候補文の全ての格要素と用言の間の意 味的結束性が正しくない文の削除を行う。 任意格が存在するために全ての格要素 の結束性が確認できない。 そこで、任意格を判定するために、任意 格のルールベースを用いる。 8
9. 慣用表現の優先 日常的な文では、慣用表現の読みと同 じになるような漢字の使い方はしない。 そこで、慣用表現のパターンが当てはまる 候補文は、優先的に選択する。 9
10. 評価実験の目的と方法 10 実験１：本手法の確認及び、任 意角のデータベース作成を目的 実験２：同音異義語に対する結 合価パターンの効果調査を目的 実験３：実際の文に対する結合 価パターンの効果の調査を目的
11. 評価準備 11 評価は「正解文との完全一致を正 解とする基準」と、「人手で正解文と 見比べて判定する基準」の2つ 人手での判断を行う理由は、漢字 が絶対的には定まらないことにある。 (例)復習に時間を掛ける。 復讐に時間を掛ける。
12. 実験結果 アルゴリズムの各段階での効果を比べる。 手順ごとに正解率を集計し、完全一致 と人手による判断の結果を示す。 12
13. 実験１の結果 EDRコーパスの単文集を対象 13
14. 実験２の結果(動詞) IPALにある多義のあるものを対象 14
15. 実験２の結果(名詞) IPALにある多義のあるものを対象 15
16. 実験３の結果 毎日新聞95年度記事の単文集を対象 16
17. 考察 実験３の人手判断において、手順４ま でにより32個の候補が全て削除された 件数の割合が36%であった。 従って手順４までは64%の判断結果を 出力したことになり、候補を正しく選択す ることの適合率(正解数/出力数)は 86%となり、手順１のみの64%より高 い結果である。 17
18. 考察 再現率は「～32位」まで見ても、手順４ までは60%であるが、手順１のみは 91％もある。 これらの関係から、「単語連鎖確率によ る候補作成」と、「統語的・意味的判断 による候補選択」の統合アルゴリズムは 全体において両者の利点が生かされてい ると定量的に結論づけられる。 18
19. まとめ 単語連鎖確率を用いたかな漢字変換の 候補文に対して、結合価パターンを用い た候補選択を行うという総合的なかな漢 字変換アルゴリズムを提案した。 実験結果より、１位の正解率はそれぞれ 12%,15%,9%の向上が見られ、本ア ルゴリズムの有効性が確認できた。 19
20. ご視聴ありがとうございました 20