Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
長岡技術科学大学 B4 三上侑城 文献紹介 2015年4月15日 日本語形態素解析における 未知語処理の一手法 自然言語処理研究室 1
Slide 2
Slide 2 text
出典 日本語形態素解析における未知語処理の一手法 ー既知語から派生した表記と未知オノマトペの処理ー 笹野 遼平, 黒橋 禎夫, 奥村 学 自然言語処理 Vol.21 No.6 p.1183-1205 (2014) 2
Slide 3
Slide 3 text
概要 日本語形態素解析における効率的な 未知語処理手法の提案 既知語から派生ルールと未知オノマトペ 認識のためのパターンを利用 Webから収集した10万文を対象に実験 をおこなった 3
Slide 4
Slide 4 text
形態素解析の誤り要因 辞書に含まれていない語・表記の存在 （未知語の存在） 未知語を大きく２つに分けてみると ・既知語から派生した未知語 ・既知語と関係を持たない未知語 となる 4
Slide 5
Slide 5 text
未知語の分類 5
Slide 6
Slide 6 text
従来の形態素解析 従来の未知語処理の研究は ・事前に未知語をコーパスから自動取得 ・未知語を形態素解析時に自動認識 が有名 これらは全体を網羅する未知語処理が 目的 6
Slide 7
Slide 7 text
本論文の提案 未知語はタイプにより適切な処理方法が 必要と考える 既知語から派生したタイプなら、既知語 と関連付けて解析を行なう 純粋な未知語タイプなら、コーパス中の 複数の用例を考慮し判断 7
Slide 8
Slide 8 text
提案手法 既存の形態素解析システムを改良 派生語に相当する形態素ノード生成の ルールの導入 未知オノマトペに相当する形態素ノード 生成のルール導入 8
Slide 9
Slide 9 text
提案システムの概要 9
Slide 10
Slide 10 text
派生語の自動認識 派生した語で対象とする未知語は ・濁音化した語 ・長音記号による置換を含む語 ・小書き文字による置換を含む語 ・長音記号の挿入を含む語 ・小書き文字の挿入を含む語 10
Slide 11
Slide 11 text
濁音化した語 濁音化した表記の多くは辞書に無い 例：「こたつ」と「ごたつ」 初頭が清音である名詞は一定の制約の もと、初頭が濁音化したものを形態素ラ ティスに追加する 11
Slide 12
Slide 12 text
長音記号・小書き文字の置換 例：「おはよう」→「おはよー」 「ー」,「～」の直前の文字が以下の場合、 長音記号を置換し、形態素ラティスに 追加する 12
Slide 13
Slide 13 text
長音記号・小書き文字の置換 例：「おはよう」→「ぉはよぅ」 「ぁ」「ぃ」「ぅ」「ぇ」「ぉ」「ヵ」「ゎ」があった時、 「あ」「い」「う」「え」「お」「か」「わ」に置換 し、形態素ラティスに追加する ２つを組み合わせると、 「ぉはよー」という文字は「おはよう」に できる。 13
Slide 14
Slide 14 text
長音記号・小書き文字の挿入 例：「冷たい」→「冷たーーーい」 →「冷たぁぁぁい」 「ー」,「～」が出現した場合はそれらを 削除して形態素ラティスに追加する 「ぁ」「ぃ」「ぅ」「ぇ」「ぉ」 が出現し、かつその 直前の文の母音が同じ場合はそれらを 削除して形態素ラティスに追加する 14
Slide 15
Slide 15 text
未知オノマトペの自動認識 例：「わくわく」などの擬音語・擬声語 オノマトペは大きく分けて ・同じ音が２度反復される反復型 ・反復を含まない非反復型 になる 15
Slide 16
Slide 16 text
反復型オノマトペ 例：「ぐじょぐじょ」 ２～４文字までの平仮名またはカタカナ が反復されている場合、形態素ラティス に追加する 16
Slide 17
Slide 17 text
非反復型オノマトペ 例：「ぐっちょり」 パターンを導入し、パターンに従う文字列 の場合のみ形態素ラティスに追加する 17
Slide 18
Slide 18 text
非反復型オノマトペ 以下のパターンにおいて ・H：平仮名 ・K：カタカナ 18
Slide 19
Slide 19 text
実験結果 未知語タイプ(各100個)ごとの再現率と UniDicによるカバー率 19
Slide 20
Slide 20 text
実験結果 未知語解析の精度・解析速度の測定 Webから収集した10万文を使用した 20
Slide 21
Slide 21 text
21
Slide 22
Slide 22 text
まとめ 効率的な未知語処理手法を提案した 10万文を対象にテストした結果、既存の ものに提案手法を導入したところ、新たに 約4500個の未知語が認識できた 悪化した箇所は約80個であり、ほとんど 悪影響を与えていないことが確認できた 22
Slide 23
Slide 23 text
ご視聴ありがとうございました 23