$30 off During Our Annual Pro Sale. View Details »

文献紹介: Learning To Split and Rephrase From Wikipedia Edit History

Yumeto Inaoka
November 21, 2018

文献紹介: Learning To Split and Rephrase From Wikipedia Edit History

2018/11/21の文献紹介で発表

Yumeto Inaoka

November 21, 2018
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Learning To Split and Rephrase
    From Wikipedia Edit History
    文献紹介 ( 2018/11/21 )
    長岡技術科学大学 自然言語処理研究室
    稲岡 夢人

    View Slide

  2. Literature
    ● Learning To Split and Rephrase
    From Wikipedia Edit History
    ● Jan A. Botha, Manaal Faruqui, John Alex,
    Jason Baldridge, Dipanjan Das
    (Google AI Language)
    ● Proceedings of the 2018 Conference on
    Empirical Methods in Natural Language Processing. 2

    View Slide

  3. Split and Rephrase
    複雑な文章を複数の平易な文章に書き換える操作
    3
    removing
    adding

    View Slide

  4. Related Works
    Split and Rephrase [Narayan et al. 2017]
    ● 新しい平易化タスク“Split and Rephrase”を提案
    ● ベンチマーク WebSplit を作成
    ● 既存のモデルを適用してタスクの難易度を調査
    4

    View Slide

  5. Related Works
    Split and Rephrase: Better Evaluation and
    a Stronger Baseline [Aharoni, Goldberg. 2018]
    ● WebSplit内のデータの重複を削減
    ● Copy mechanismを用いても性能が不十分
    5

    View Slide

  6. Contributions
    ● Wikipediaの編集履歴 (Wikipedia Edits)から
    split-and-rephraseの書き換えを抽出する手法
    ● 英語のWikiSplitデータセットの公開
    ● WebSplitと比較してBLEUが倍増 (30.5 → 62.4)
    6

    View Slide

  7. WebSplit
    ● 文の分割と書き換えを評価する基準を提供
    ● サイズが小さく反復性がある
    → 適用範囲が制限される
    ● モデル評価のベンチマークには使えるが
    訓練には使えない
    → WikiSplitコーパスを作成
    7

    View Slide

  8. Mining Wikipedia Edits
    ● 記事からマークアップを除去
    ● splitta [Gillick. 2009] で文を分割
    ● 時間的に隣接するスナップショットを比較し
    文分割を含む編集を特定
    ● 分割候補から高品質の分割のみを抽出
    8

    View Slide

  9. Mining Wikipedia Edits
    ● Full sentence: C Candidate split: S = (S
    1
    , S
    2
    )
    ● CとS
    1
    の接頭辞、CとS
    2
    の接尾辞が同じtri-gram
    ● S
    1
    とS
    2
    の接尾辞が異なるtri-gram
    ● BLEU(C, S
    1
    )とBLEU(C, S
    2
    )がδより小さい
    9

    View Slide

  10. Mining Wikipedia Edits
    例:
    C
    0
    = I am a cat who has no name as yet.
    S
    1
    = I am a cat. S
    2
    = I have no name as yet.
    BLEU(C, S
    1
    ) > δ < BLEU(C, S
    2
    )
    10
    removing
    adding

    View Slide

  11. Corpus Statistics and Quality
    コーパスサイズと
    品質はトレードオフ
    ランダムな100文を
    使ってδを選定
    δ=0.2が最適と判断
    11

    View Slide

  12. Corpus Statistics and Quality
    ● Correct/Unsupp./Miss. = 168/35/4 (δ = 0.2)
    → 68%は完璧で、32%はノイズを含む
    ● このデータを訓練データとして使用
    ● 評価においてノイズやバイアスを含む不完全な
    信号であることを受け入れる
    12

    View Slide

  13. Comparison to WebSplit
    13

    View Slide

  14. Comparison to WebSplit
    ● WikiSplitの方がより多様でスパース
    → より難しいタスクとなる
    ● WikiSplitは一様に1度の分割のみを行う
    → より簡単なタスクとなる
    14

    View Slide

  15. Comparison to WebSplit
    ● WikiSplitはヒューリスティックな手法による
    抽出を用いて構築されている
    ● WebSplitは複数のReferenceを提供
    → WebSplitの方が評価に適したデータセット
    15

    View Slide

  16. Experiments
    ● WebSplitのみ、WikiSplitのみ、両方で実験
    ● Text-to-textとみなし、BLEU, S-BLEUで評価
    ● モデルは [Aharoni, Goldberg. 2018] で最高の
    結果を出した“Copy512”を使用
    16

    View Slide

  17. Results
    ● WebSplitはドメイン外で
    非常に低い
    ● WikiSplitはドメイン外で
    も高い
    ● 両方を使用するとさらに
    向上
    17
    SOURCE : 入力をそのまま出力
    SPLITHALF : 半分に分割し、ピリオドを追加

    View Slide

  18. Results
    18

    View Slide

  19. Results
    BOTHにおいて学習にない3文の出力ができている 19

    View Slide

  20. Results
    BOTHにおいて正確な出力が95%であることを
    人手評価によって確認
    20

    View Slide

  21. Conclusion and Outlook
    ● ノイズを含む大規模で多様なデータが
    split-and-rephraseにおいて好影響
    ● 今後、他のデータ源の発見により改善が
    できることを示唆
    ● 理想的には、自然な文による評価データや
    タスクに適した評価指標が必要
    21

    View Slide