文献紹介_4_結合価パターンを用いた仮名漢字変換候補の選択

長岡技術科学大学 B4 三上侑城文献紹介 2015年7月14日結合価パターンを用いた仮名漢字変換候補の選択自然言語処理研究室 1

出典結合価パターンを用いた仮名漢字変換候補の選択吉田真司 ,徳久雅人 ,村上仁一 ,池
原悟第10回年次大会 (2004) 2

概要 単語連鎖確率を用いた、かな漢字変換では同音異義語での誤変換が問題。 結合価パターンが作成されたことにより、意味解析の構築が実現した。 本稿は単語連鎖確率に結合価パターンを用い、その有効性を示した。 3

かな漢字変換アルゴリズム 単語連鎖確率を用いた、かな漢字変換は、変換候補を大量に出力することができる。 結合値パターンを用いると、意味的な適切性が判断できる。 両方を統合したアルゴリズムを作成。 4

かな漢字変換アルゴリズム 手順１：候補作成 手順２：不適切な文法の削除 手順３：不適切な意味の削除 手順４：慣用表現の優先 手順５：補欠選択 5

変換候補の作成 6 入力文の単語列で隣接する単語間の連鎖確率を計算し、出現確率を求め、高い順から候補とする。 入力されたひらがな文に対して、かな漢字変換を行い、出現確率の高い上位32文の候補を作成。

不適切な文法の削除 文法的に不適切な文の削除を行う。 SLT-JAWSを用いた形態素解析を行い、エラー時の出力を利用して、品詞間の接続に誤りのある候補分を削除する。 7

不適切な意味の削除 候補文の全ての格要素と用言の間の意味的結束性が正しくない文の削除を行う。 任意格が存在するために全ての格要素の結束性が確認できない。 そこで、任意格を判定するために、任意格のルールベースを用いる。 8

慣用表現の優先 日常的な文では、慣用表現の読みと同じになるような漢字の使い方はしない。 そこで、慣用表現のパターンが当てはまる候補文は、優先的に選択する。 9

評価実験の目的と方法 10 実験１：本手法の確認及び、任意角のデータベース作成を目的 実験２：同音異義語に対する結合価パターンの効果調査を目的 実験３：実際の文に対する結合価パターンの効果の調査を目的

評価準備 11 評価は「正解文との完全一致を正解とする基準」と、「人手で正解文と見比べて判定する基準」の2つ 人手での判断を行う理由は、漢字が絶対的には定まらないことにある。 (例)復習に時間を掛ける。復讐に時間を掛ける。

実験結果 アルゴリズムの各段階での効果を比べる。 手順ごとに正解率を集計し、完全一致と人手による判断の結果を示す。 12

実験１の結果 EDRコーパスの単文集を対象 13

実験２の結果(動詞) IPALにある多義のあるものを対象 14

実験２の結果(名詞) IPALにある多義のあるものを対象 15

実験３の結果 毎日新聞95年度記事の単文集を対象 16

考察 実験３の人手判断において、手順４までにより32個の候補が全て削除された件数の割合が36%であった。 従って手順４までは64%の判断結果を出力したことになり、候補を正しく選択することの適合率(正解数/出力数)は 86%となり、手順１のみの64%より高い結果である。 17

考察 再現率は「～32位」まで見ても、手順４までは60%であるが、手順１のみは 91％もある。 これらの関係から、「単語連鎖確率による候補作成」と、「統語的・意味的判断による候補選択」の統合アルゴリズムは全体において両者の利点が生かされていると定量的に結論づけられる。 18

まとめ 単語連鎖確率を用いたかな漢字変換の候補文に対して、結合価パターンを用いた候補選択を行うという総合的なかな漢字変換アルゴリズムを提案した。 実験結果より、１位の正解率はそれぞれ 12%,15%,9%の向上が見られ、本アルゴリズムの有効性が確認できた。 19

ご視聴ありがとうございました 20

MIKAMI-YUKI