Tweet
Tweet

Slide 1

Slide 1 text

Learning To Split and Rephrase From Wikipedia Edit History 文献紹介 ( 2018/11/21 ) 長岡技術科学大学 自然言語処理研究室 稲岡 夢人

Slide 2

Slide 2 text

Literature ● Learning To Split and Rephrase From Wikipedia Edit History ● Jan A. Botha, Manaal Faruqui, John Alex, Jason Baldridge, Dipanjan Das (Google AI Language) ● Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2

Slide 3

Slide 3 text

Split and Rephrase 複雑な文章を複数の平易な文章に書き換える操作 3 removing adding

Slide 4

Slide 4 text

Related Works Split and Rephrase [Narayan et al. 2017] ● 新しい平易化タスク“Split and Rephrase”を提案 ● ベンチマーク WebSplit を作成 ● 既存のモデルを適用してタスクの難易度を調査 4

Slide 5

Slide 5 text

Related Works Split and Rephrase: Better Evaluation and a Stronger Baseline [Aharoni, Goldberg. 2018] ● WebSplit内のデータの重複を削減 ● Copy mechanismを用いても性能が不十分 5

Slide 6

Slide 6 text

Contributions ● Wikipediaの編集履歴 (Wikipedia Edits)から split-and-rephraseの書き換えを抽出する手法 ● 英語のWikiSplitデータセットの公開 ● WebSplitと比較してBLEUが倍増 (30.5 → 62.4) 6

Slide 7

Slide 7 text

WebSplit ● 文の分割と書き換えを評価する基準を提供 ● サイズが小さく反復性がある → 適用範囲が制限される ● モデル評価のベンチマークには使えるが 訓練には使えない → WikiSplitコーパスを作成 7

Slide 8

Slide 8 text

Mining Wikipedia Edits ● 記事からマークアップを除去 ● splitta [Gillick. 2009] で文を分割 ● 時間的に隣接するスナップショットを比較し 文分割を含む編集を特定 ● 分割候補から高品質の分割のみを抽出 8

Slide 9

Slide 9 text

Mining Wikipedia Edits ● Full sentence: C　Candidate split: S = (S 1 , S 2 ) ● CとS 1 の接頭辞、CとS 2 の接尾辞が同じtri-gram ● S 1 とS 2 の接尾辞が異なるtri-gram ● BLEU(C, S 1 )とBLEU(C, S 2 )がδより小さい 9

Slide 10

Slide 10 text

Mining Wikipedia Edits 例： C 0 = I am a cat who has no name as yet. S 1 = I am a cat.　S 2 = I have no name as yet. BLEU(C, S 1 ) > δ < BLEU(C, S 2 ) 10 removing adding

Slide 11

Slide 11 text

Corpus Statistics and Quality コーパスサイズと 品質はトレードオフ ランダムな100文を 使ってδを選定 δ=0.2が最適と判断 11

Slide 12

Slide 12 text

Corpus Statistics and Quality ● Correct/Unsupp./Miss. = 168/35/4 (δ = 0.2) → 68%は完璧で、32%はノイズを含む ● このデータを訓練データとして使用 ● 評価においてノイズやバイアスを含む不完全な 信号であることを受け入れる 12

Slide 13

Slide 13 text

Comparison to WebSplit 13

Slide 14

Slide 14 text

Comparison to WebSplit ● WikiSplitの方がより多様でスパース → より難しいタスクとなる ● WikiSplitは一様に1度の分割のみを行う → より簡単なタスクとなる 14

Slide 15

Slide 15 text

Comparison to WebSplit ● WikiSplitはヒューリスティックな手法による 抽出を用いて構築されている ● WebSplitは複数のReferenceを提供 → WebSplitの方が評価に適したデータセット 15

Slide 16

Slide 16 text

Experiments ● WebSplitのみ、WikiSplitのみ、両方で実験 ● Text-to-textとみなし、BLEU, S-BLEUで評価 ● モデルは [Aharoni, Goldberg. 2018] で最高の 結果を出した“Copy512”を使用 16

Slide 17

Slide 17 text

Results ● WebSplitはドメイン外で 非常に低い ● WikiSplitはドメイン外で も高い ● 両方を使用するとさらに 向上 17 SOURCE : 入力をそのまま出力 SPLITHALF : 半分に分割し、ピリオドを追加

Slide 18

Slide 18 text

Results 18

Slide 19

Slide 19 text

Results BOTHにおいて学習にない3文の出力ができている 19

Slide 20

Slide 20 text

Results BOTHにおいて正確な出力が95%であることを 人手評価によって確認 20

Slide 21

Slide 21 text

Conclusion and Outlook ● ノイズを含む大規模で多様なデータが split-and-rephraseにおいて好影響 ● 今後、他のデータ源の発見により改善が できることを示唆 ● 理想的には、自然な文による評価データや タスクに適した評価指標が必要 21