Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Split and Rephrase: Better Evaluation and a Stronger Baseline

19861bbc3b8d3ef89df5400d1e2c529a?s=47 katsutan
November 12, 2018

Split and Rephrase: Better Evaluation and a Stronger Baseline

文献紹介

19861bbc3b8d3ef89df5400d1e2c529a?s=128

katsutan

November 12, 2018
Tweet

More Decks by katsutan

Other Decks in Technology

Transcript

  1. Split and Rephrase: Better Evaluation and a Stronger Baseline Roee

    Aharoni & Yoav Goldberg Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers), pages 719–724 Melbourne, Australia, July 15 - 20, 2018. 長岡技術科学大学 自然言語処理研究室 勝田 哲弘
  2. Abstract Split and Rephrase • 複数の文が含まれている文から意味を保持したまま、分割と言い換えを行う 新たな分割データセット、モデルの提案 2

  3. Introduction “Split-and-Rephrase” by Narayan et al. (2017) • データセット、評価方法、ベースラインの設定 •

    BlEU ◦ 48.9 for the best text-to-text system. ◦ 78.7 for the best RDF-aware one. text-to-textモデルに注目 3
  4. Introduction • より困難なデータセットの提案 ◦ 既存のデータセットには問題がある ◦ new split : Githubで公開

    • より優れたモデルを構築 ◦ copy mechanismの拡張 4
  5. Preliminary Experiments Task Definition • Complex sentence: Cが与えられたときに全ての情報を含む ように平易文を生成 ◦

    Simple sentence: • 各文をRDF triplesと関連付ける 5
  6. Preliminary Experiments Experimental Details • vanilla sequence-to-sequence models with attention

    (Bahdanau et al., 2015) ◦ OPENNMT-PY toolkit (Klein et al., 2017) ◦ LSTM cell size (128, 256 and 512, respectively) 6
  7. Results RDFを用いるベースラインより優れている Narayan et al. (2017)のモデルは 過剰に分割を行っている 7

  8. Analysis 手動でいくつかの結果を分析 • 入力側にない • 重複 • 欠落 (97.16%)の予測文が、訓練セットにおいて そのまま出現している

    8
  9. Analysis 9

  10. New Data-split 今のデータセットは問題を一般化するために適していない、より良 いデータセットの構築を行う RDFを使用し、以下の条件でランダムに文を分割する(5,554 sentences) • 全てのRDF relationを学習データに含める •

    全てのRDF triplesは分割した1文で表現される 10
  11. New Data-split 11

  12. Experiments and Results 新しいデータセットによる評価 • new data split • v1.0

    モデルの拡張: Copy • copy-enhanced models of varying LSTM widths ◦ (128, 256 and 512) 12
  13. Results 13

  14. Analysis 14

  15. Analysis SEQ2SEQ512では学習データから文を生成する傾向が強くなる 15

  16. Conclusions • SEQ2SEQモデルがsplit-and-rephraseを学習していなくても 高いスコアを得ていることを確認した • 新たに構築したデータセットでは不当に高くなる問題を改善 • どちらのモデルに対してもcopy-mechanismがパフォーマンス を向上させる 16