文献紹介2015_02月

Transcript

1. 文献紹介ゼミ 自然言語処理研究室 宮西 由貴
2. 文献情報 • A Character-Based Joint Model for Chinese Word Segmentation • Author: – Kun Wang – Chengqing Zong – Keh-Yih Su • Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010) • p1173–1181
3. 概要 • 文字ベース中国語形態素解析器 – 識別モデル – 生成モデル – どちらも文字ベースにして結合！ • 上手く組み合わせる方法を提案 – 従来手法に勝利
4. 中国語形態素解析 • 形態素解析の単位が2種類 – 単語ベース – 文字ベース • 文字ベースの中国語形態素解析器 – 識別モデル…平文から単語を発見 – 生成モデル…文字を組み合わせて単語を生成
5. よくある形態素解析パターン • 単語ベースの生成モデルを使用 – 良く知られた手法 • 単語ベースの識別モデルを使用 • 文字ベースの識別モデルを使用 – OOVに対して頑強 • 文字ベースの生成モデルを使用 – IVに対して安定的
6. よくある形態素解析パターン • 単語ベースの生成モデルを使用 – 良く知られた手法 • 単語ベースの識別モデルを使用 • 文字ベースの識別モデルを使用 – OOVに対して頑強 • 文字ベースの生成モデルを使用 – IVに対して安定的 得意な部分が 異なる
7. 提案手法 • OOVにもIVにも頑強な形態素解析器の作成 – 文字ベース識別&生成モデルの良いとこ取り • 文字ベースの識別&生成モデルを結合 – 結合時にパラメータαを決定してjoint – α:どれだけOOVに頑強か or IVに頑強か
8. 文字ベースの識別モデル • OOVに対して頑強 • IVにあまり強くない tk:k番目の文字に付与されたタグ (タグは{Begin, Middle, End, Single}) ck:k番目の文字
9. 文字ベースの識別モデル • 以下の素性に対して識別モデルを適応 (a) (b) (c)
10. 文字ベースの生成モデル • IVに対して安定的に解析可能 • OOVに対しては強くない
11. 識別モデルと生成モデルの結合 • 結合パラメータα – αの範囲 : 0．0 ≦ α ≦ 1.0 – 生成モデルをどれだけ効かせるか
12. 実験 • 使用するコーパス
13. 実験結果
14. 実験結果