Query and Output: Generating Words by Querying Distributed Word Representations for Paraphrase Generation

研究室のNAACL論文読み会の資料です。

Transcript

1. Query and Output: Generating Words by Querying Distributed Word Representations for Paraphrase Generation Shuming Ma, Xu Sun1, Wei Li, Sujian Li, Wenjie Li, Xuancheng Ren （NAACL 2018） 紹介者　B4 吉村綾馬
2. 概要 • Word Embedding Attention Network (WEAN)という言い換え生成のモデルを提案 • 単語生成時にWord Embeddingを見ることで単語を意味をとらえたい • ２つの言い換えタスクで実験 ◦ text simplification（テキスト平易化） ▪ ２つのデータセットでそれぞれ BLEUが6.3, 5.5上がった ◦ text summarization（テキスト要約） ▪ ROUGE-2のF1スコアが5.7上がった • ３つのデータセットでstate-of-the-artを上回った
3. イントロ seq2seqモデルは言い換え生成で成功したが、２つの主な問題がある 1. 単語の意味ではなくて、単語自体とtraningデータでのパターンを記憶してる ◦ 主な原因はdecoderで、意味情報をモデル化していない ◦ 単語は互いに独立でスコアは無関係であるという仮定をしているため、ある単語とその同義語の単 語のスコアは異なる →単語間の関係を学習しているのではなく単語自体を学習してる 2. word generatorが非常に多くのパラメータを持つ（Vocab × hidden size） ◦ パラメータが多いと学習速度が遅くなる これらの問題を対処するため、WEANというモデルを提案
4. モデルの概要 Attention機構付きのencoder-decoderベースのモデル encoder, decoderはLSTM
5. モデル Attention layer ct: context vector hi: hidden state of encoder st: hidden state of decoder g(st, hi): attentive score
6. モデル Query qt: query Wc: parameter st: hidden state of decoder ct: context vector [st; ct]: concat
7. モデル key-value pair wi: 候補単語 （Value） ei: 対応するembedding（Key） n: 候補単語の数 • 候補単語はtraningセットから取り 出した最頻出のN個 • keyとdecoderの入力の embeddingは共有（おそらく） • word embeddingsはpretrainせず ゼロから学習
8. モデル queryとkeyのスコア関数 Wa, Wq, We: parameter matrix v^T: parameter vecctor テスト時はスコアが最大の wtを予測 単語とし、eiを次のタイムステップの LSTMの入力に入れる
9. 実験1　Text Simplification Data sets • Parallel WIkipedia Simplification Corpus (PWKP) (Zhu et al., 2010) ◦ train 89,042 pair ◦ dev 205 pair ◦ test 100 pair • English Wikipedia and Simple English Wikipedia (EW-SEW) (Hwang et al.2015) ◦ train 280,000 pair ◦ dev 2000 pair ◦ test 359 pair
10. 実験1　Text Simplification Evaluation Metrics • Automatic evaluation. BLEU（Paineni et al., 2002） ◦ PWKP single reference ◦ EW-SEW multi reference • Human evaluation. (1 is very bad, 5 is very good) ◦ Fluency（流暢性）　1 ~ 5 ◦ Adequacy（妥当性）1 ~ 5　 ◦ Simplicity（簡潔性） 1 ~ 5
11. 実験1　Text Simplification Settings • layer 2 • hidden size 256 • optimizer Adam • batch size 64 • dropout rate 0.4 • Clipping gradients 5以上
12. 実験1　Text Simplification Baselines • Seq2seq • NTS and NTS-w2v（Nisioi et al., 2017） ◦ NTSはOpenNMT、NTS-w2vはword embeddingをpretrainしている • DRESS and DRESS-LS（Zhang and Lapata, 2017） ◦ DRESSは強化学習を使ったモデル、 DRESS-LSは語彙平易化のモデルを追加したモデル • EncDecA（Zhang and Lapata, 2017） ◦ アテンション付きのencoder-decoderモデル
13. 実験1　Text Simplification Baselines • PRBMT-R（Wubben et al., 2012） ◦ フレーズベースのSMT • Hybrid（Narayan and Gradent, 2014） ◦ deep semanticsとモノリンガルMTのハイブリッド • SBMT-SARI（Xu et al., 2016） ◦ 構文ベースのモデル
14. 実験1　Text Simplification Result　自動評価（BLEU）
15. 実験1　Text Simplification Result　人手評価 referenceより良い結果が出てる PWKPでは全ての項目でWEANが一番良い EW-SEWでは平均してWEANが一番良い
16. 実験2 Large Scale Text Summarization Dataset Large Scale Chinese Social Media Short Text Summarization Dataset（LCSTS） 2,400,000文ペア　 • Part1 2,400,591ペア train • Part2 8,685ぺア validation • Part3 725ペア test Part2とPart3は1~5で自動評価されていて、スコア3以上のものを選択
17. 実験2 Large Scale Text Summarization Evaluation Matrics ROUGE-1, ROUGE-2, ROUGE-L Settings • vocab size 4000 • embedding size 512 • hidden size 512 • layers of encoder 2 • layers of decoder 1 • batch size 64 • beam size 5
18. 実験2 Large Scale Text Summarization Baselines • RNN and RNN-cont（Hu et al. 2015） ◦ GRUベースのseq2seqモデル • RNN-dist（Chen et al., 2016） ◦ Attensionベースのseq2seqモデルにdistraction機構を追加したモデル • CopyNet（Gu et al., 2016） ◦ Copy機構を取り入れたモデル　入力テキストのコピーを生成するときに使える • SRB（Ma et al., 2017） ◦ 入力と出力の意味の妥当性を改善した seq2seqモデル • DRGD（Li et al., 2017）（state-of-the-art） ◦ variational autoencoderを組み合わせた • Seq2seq　
19. 実験2 Large Scale Text Summarization Results 提案手法WEANが全てのベースライン に対して良い結果 state-of-the-artのDRGDよりも良い結果
20. 分析　パラメータの数（出力層） • seq2seq ◦ PWKP, EWSEW 5000(vocab) × 256(hidden size) = 12,800,000 ◦ LCSTS 4000(vocab) × 512(hidden size) = 2,048,000 • WEAN 最大でもvocab sizeに関係なく2つのmatrixと1つのvectorしか持たない ◦ PWKP, EWSEW 256 × 256 × 2 + 256 = 131,328 ◦ LCSTS 512 × 512 × 2 + 512 = 524,800
21. 分析　学習速度 2, 3エポックで最大スコアに到達 seq2seqと比べて学習速度がとても早い
22. 分析　Case Study1 （Text simplification） NTS, NTS-w2v, PBMT-Rは重要な単語を含んでいない SBMT-SARIは流暢だが、意味がSourceと異なる WEANは流暢で簡潔でReferenceと同じである
23. 分析　Case Study2（Text simplification）
24. まとめ • WEANというword embeddingをクエリとして単語を生成するモデルを提案 • 単語予測にword embeddingを使うことで、単語の意味をとらえることができる • テキスト平易化、テキスト要約で実験、３つのデータセットでSOTAを上回った • seq2seqに比べてパラメータ数が減って学習速度が速くなった