構造解析について

Transcript

1. 構造解析について 自然言語処理研究室 B3 福嶋 真也
2. 参考文献 • 「自然言語処理の基本と技術」 2章 著者 奥野 陽、グラム・ニュービッグ、萩原 正人 • 株式会社 翔泳社 発行
3. 文の構造の曖昧性 例：白い表紙の新しい本 日本語での解釈 １.新しい本があって、その本の表紙が白い ２.白い本があって、その本の表紙が新しい ３.本があって、その本の表紙が新しくて白い 英訳 １.the new book with the white cover ２.the white book with the new cover ３.the book with the white new cover
4. 係り受け構造 文中の単語の関係性を矢印で表示 例： １.白い 表紙 の 新しい 本 ２.白い 表紙 の 新しい 本 ３.白い 表紙 の 新しい 本 １.新しい本があって、その本の表紙が白い ２.白い本があって、その本の表紙が新しい ３.本があって、その本の表紙が新しくて白い
5. 係り受け構造 用語 ・親（主辞）・・・矢印のさす単語 ・子（従属語）・・・矢印が出ている単語 日本語における係り受け構造の特徴 ・ふつう親は子より右側に位置する the new book with the white cover つまり機械的に左から右へ解析を行うことが可能 英語
6. 係り受け解析 自動的に係り受け構造を文に付与する技術 ・Shift-Reduce法 Shift・・・未処理単語列から、最初の単語を木の集合に移動さ せる Reduce・・・木の集合の内、右から２番目の木から、右から1番 の木へ矢印を引く 機械学習に基づいてこれらの操作を選択、実行して解析を行う
7. 係り受け解析 例： 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 shift reduce shift shift shift shift reduce reduce reduce
8. 係り受け解析 英語のような後ろから修飾ができるような言語でも使用可能 →その場合reduceの操作に操作の方向を指定するright、left が必要に（reduce-right、reduce-left) Shift-Reduce法のメリット ・解析速度 デメリット ・精度
9. 係り受け解析 ・MST(Minimum Spaning Tree)法 文全体の係り受けを同時に解析 文中の単語の組から機械学習に基づいて係り受けが存在する 確率を計算し、グラフ構造に表す。これから最適な木を探す メリット ・ Shift-Reduce法より多少精度がよい デメリット ・処理時間がかかる
10. 係り受け解析 例： 文）白い 表紙 の 新しい 本 グラフ） 木） 白い 表紙 の 本 新しい 白い 表紙 の 本 新しい スコア付け 木の探索
11. 句構造解析 係り受け解析と同じく、文の構造を知る手法 句に注目して解析 主に語順が決まっている言語に対して使用 主な句 ・動詞句 ・名詞句 ・形容詞句 ・名詞句 ・助詞句
12. 句構造解析 例:白い表紙の新しい本 （新しい本があって、その本の表紙が白い） NP PP NP ADJ N P ADJ N 白い 表紙 の 新しい 本 ADJ 形容詞 NP 名詞句 PP 助詞句 N 名詞 P 助詞
13. 今回の発表内容 構造解析 ・係り受け解析 ・Shift-Reduce法 ・SMT法 ・句構造解析