構造解析について

029be5ac1ce0db70c46dcd7152308e2e?s=47 masaya82
January 16, 2018
86

 構造解析について

029be5ac1ce0db70c46dcd7152308e2e?s=128

masaya82

January 16, 2018
Tweet

Transcript

  1. 構造解析について 自然言語処理研究室 B3 福嶋 真也

  2. 参考文献 • 「自然言語処理の基本と技術」 2章 著者 奥野 陽、グラム・ニュービッグ、萩原 正人 • 株式会社

    翔泳社 発行
  3. 文の構造の曖昧性 例:白い表紙の新しい本 日本語での解釈 1.新しい本があって、その本の表紙が白い 2.白い本があって、その本の表紙が新しい 3.本があって、その本の表紙が新しくて白い 英訳 1.the new book

    with the white cover 2.the white book with the new cover 3.the book with the white new cover
  4. 係り受け構造 文中の単語の関係性を矢印で表示 例: 1.白い 表紙 の 新しい 本 2.白い 表紙

    の 新しい 本 3.白い 表紙 の 新しい 本 1.新しい本があって、その本の表紙が白い 2.白い本があって、その本の表紙が新しい 3.本があって、その本の表紙が新しくて白い
  5. 係り受け構造 用語 ・親(主辞)・・・矢印のさす単語 ・子(従属語)・・・矢印が出ている単語 日本語における係り受け構造の特徴 ・ふつう親は子より右側に位置する the new book with

    the white cover つまり機械的に左から右へ解析を行うことが可能 英語
  6. 係り受け解析 自動的に係り受け構造を文に付与する技術 ・Shift-Reduce法 Shift・・・未処理単語列から、最初の単語を木の集合に移動さ せる Reduce・・・木の集合の内、右から2番目の木から、右から1番 の木へ矢印を引く 機械学習に基づいてこれらの操作を選択、実行して解析を行う

  7. 係り受け解析 例: 白い 表紙 の 新しい 本 白い 表紙 の

    新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 白い 表紙 の 新しい 本 shift reduce shift shift shift shift reduce reduce reduce
  8. 係り受け解析 英語のような後ろから修飾ができるような言語でも使用可能 →その場合reduceの操作に操作の方向を指定するright、left が必要に(reduce-right、reduce-left) Shift-Reduce法のメリット ・解析速度 デメリット ・精度

  9. 係り受け解析 ・MST(Minimum Spaning Tree)法 文全体の係り受けを同時に解析 文中の単語の組から機械学習に基づいて係り受けが存在する 確率を計算し、グラフ構造に表す。これから最適な木を探す メリット ・ Shift-Reduce法より多少精度がよい

    デメリット ・処理時間がかかる
  10. 係り受け解析 例: 文)白い 表紙 の 新しい 本 グラフ) 木) 白い

    表紙 の 本 新しい 白い 表紙 の 本 新しい スコア付け 木の探索
  11. 句構造解析 係り受け解析と同じく、文の構造を知る手法 句に注目して解析 主に語順が決まっている言語に対して使用 主な句 ・動詞句 ・名詞句 ・形容詞句 ・名詞句 ・助詞句

  12. 句構造解析 例:白い表紙の新しい本 (新しい本があって、その本の表紙が白い) NP PP NP ADJ N P ADJ

    N 白い 表紙 の 新しい 本 ADJ 形容詞 NP 名詞句 PP 助詞句 N 名詞 P 助詞
  13. 今回の発表内容 構造解析 ・係り受け解析 ・Shift-Reduce法 ・SMT法 ・句構造解析