Split and Rephrase: Better Evaluation and a Stronger Baseline

文献紹介

Transcript

1. Split and Rephrase: Better Evaluation and a Stronger Baseline Roee Aharoni & Yoav Goldberg Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers), pages 719–724 Melbourne, Australia, July 15 - 20, 2018. 長岡技術科学大学　自然言語処理研究室 勝田 哲弘
2. Abstract Split and Rephrase • 複数の文が含まれている文から意味を保持したまま、分割と言い換えを行う 新たな分割データセット、モデルの提案 2
3. Introduction “Split-and-Rephrase” by Narayan et al. (2017) • データセット、評価方法、ベースラインの設定 • BlEU ◦ 48.9 for the best text-to-text system. ◦ 78.7 for the best RDF-aware one. text-to-textモデルに注目 3
4. Introduction • より困難なデータセットの提案 ◦ 既存のデータセットには問題がある ◦ new split ： Githubで公開 • より優れたモデルを構築 ◦ copy mechanismの拡張 4
5. Preliminary Experiments Task Definition • Complex sentence: Cが与えられたときに全ての情報を含む ように平易文を生成 ◦ Simple sentence: • 各文をRDF triplesと関連付ける 5
6. Preliminary Experiments Experimental Details • vanilla sequence-to-sequence models with attention (Bahdanau et al., 2015) ◦ OPENNMT-PY toolkit (Klein et al., 2017) ◦ LSTM cell size (128, 256 and 512, respectively) 6
7. Results RDFを用いるベースラインより優れている Narayan et al. (2017)のモデルは 過剰に分割を行っている 7
8. Analysis 手動でいくつかの結果を分析 • 入力側にない • 重複 • 欠落 （97.16％）の予測文が、訓練セットにおいて そのまま出現している 8
9. Analysis 9
10. New Data-split 今のデータセットは問題を一般化するために適していない、より良 いデータセットの構築を行う RDFを使用し、以下の条件でランダムに文を分割する(5,554 sentences) • 全てのRDF relationを学習データに含める • 全てのRDF triplesは分割した１文で表現される 10
11. New Data-split 11
12. Experiments and Results 新しいデータセットによる評価 • new data split • v1.0 モデルの拡張: Copy • copy-enhanced models of varying LSTM widths ◦ (128, 256 and 512) 12
13. Results 13
14. Analysis 14
15. Analysis SEQ2SEQ512では学習データから文を生成する傾向が強くなる 15
16. Conclusions • SEQ2SEQモデルがsplit-and-rephraseを学習していなくても 高いスコアを得ていることを確認した • 新たに構築したデータセットでは不当に高くなる問題を改善 • どちらのモデルに対してもcopy-mechanismがパフォーマンス を向上させる 16