B3勉強会(2015年1月21日)日本語入力システムの歩み

Transcript

1. 長岡技術科学大学 B3 三上侑城 3年勉強会 2015年1月21日 日本語入力システムの歩み 自然言語処理研究室 1
2. かな漢字変換の始まり 1970年頃にかな漢字変換の概念が 提案された。 しかし、当時のコンピュータの性能では 厳しかった。 1980年頃から実用化された。 2
3. かな漢字変換の始まり 単文節変換： 1回の入力で、1つの分節、もしくは文節 の位置を自分で指定する必要があった。 例：「だいがくのけんきゅう」 「だいがく」→「大学」,「の」→「の」, 「けんきゅう」→「研究」 3
4. かな漢字変換の始まり 連文節変換： 複数の文節を一気に変換することができ る。現在使われているもの。 例：「だいがくのけんきゅう」 「だいがく」「の」「けんきゅう」←自動 「大学の研究」 4
5. n文節最長一致法 連文節変換を実現する方法の一つ。 連文が最長になるようにする方法 高速でメモリの消費量が少ない。 5
6. n文節最長一致法の例 ｎ=2とした時 例文：「かれはがくせいです」 まず、「かれは…」の一文字から始まる文 節を展開すると、 「彼」,「狩れ」,「彼は」,「枯葉が」 と、得られたとする。 次にそれぞれに後続する文節を展開する。 6
7. ２文節最長一致法の例 7 彼 狩れ 歯 歯が 歯 歯が 彼は 学生 学生で 学生です 枯葉が 句 癖 最長
8. n文節最長一致法 なぜ上手くできるのか、現在でも理論的 に説明出来ない。 ↓ 「長い文節を選択したほうがうまくいくこと が多い」という経験から成り立っている。 8
9. n文節最長一致法の問題 原理的にうまく変換できない文がある。 大きく２つの問題点がある。 → 全部の可能性を試していない。 → 間違った文を訂正するのが難しい。 9
10. n文節最長一致法の改善 文節数以外の評価項目を使う。 全部の候補を検索し、最も良さそうなも のを選択する。 → 日本語は単語間に「つながりやすさ」 があり、これを考慮する。 → このような方法を接続強度法と言う。 10
11. n文節最長一致法の改善 接続強度法 例文：「ちかくしじょうちょうさをする」 正解：「近く市場調査をする」 １：「近く」,「市場」→形容詞＋名詞 ２：「地下」,「串」 →名詞＋名詞 形容詞＋名詞の方が良くある(高スコア) 11
12. ビタビアルゴリズム 隣接する単語間に対してスコアを定義す るもので、最適解を高速に求めることが できる。 パラメータの調整が重要になる。 12
13. ビタビアルゴリズム パラメータの調整法 人の手でパラメータを決めるのは非常に 厳しい。 ↓ 正解データからパラメータを学習させる、 機械学習を用いる。 13
14. まとめ 昔の日本語入力システムには、ハードウ エアの制約からn文節最長一致法が用 いられていた。 現在ではビタビアルゴリズムにて、機械学 習させて得たパラメータを用いて、文字の 変換を行っている。 14
15. ご視聴ありがとうございました 参考文献 日本語入力を支える技術 著：徳永拓之 技術評論社 2012年3月 15