$30 off During Our Annual Pro Sale. View Details »

文献紹介: Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification

文献紹介: Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification

2019/04/23の文献紹介で発表

Yumeto Inaoka

April 23, 2019
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Complexity-Weighted Loss and
    Diverse Reranking for
    Sentence Simplification
    文献紹介 (2019/04/23)
    長岡技術科学大学 自然言語処理研究室
    稲岡 夢人

    View Slide

  2. Literature
    Title Complexity-Weighted Loss and Diverse
    Reranking for Sentence Simplification
    Author Reno Kriz, João Sedoc, Marianna Apidianaki,
    Carolina Zheng, Gaurav Kumar, Eleni Miltsakaki,
    Chris Callison-Burch
    Conference NAACL-HLT 2019
    Paper URL https://arxiv.org/abs/1904.02767
    2

    View Slide

  3. Abstract
    •最近の研究はSeq2seqを平易化に用いている
    → 原文からコピーしがちになる
    → 出力が長く複雑になる
    •この論文では以下の手法を提案して問題を軽減
    - 単語の複雑さを予測して損失関数に組み込む
    - 推論時に候補を複数生成してリランキング
    3

    View Slide

  4. Text Simplification
    •意味を保持して複雑さを軽減
    → より幅広い読者がアクセスできるようになる
    •前処理に用いることで他タスクの性能が向上
    (構文解析、機械翻訳など)
    4

    View Slide

  5. Seq2seq in TS
    •平易化は同一言語における機械翻訳とみなせる
    → 機械翻訳で用いられるSeq2seqモデルが利用可
    •平易化における操作ではコピーが最も多い
    → Seq2seqモデルはコピーする頻度が高くなる
    → 参照文よりも長い出力を生成することが多い
    5

    View Slide

  6. Contributions
    •内容語の複雑さを考慮した損失関数を提案
    •多様な出力から流暢性、意味保持性、平易さを
    高めるようリランキングする手法の提案
    •より多様な出力を生成するために、類似度の高い
    候補を削除する手法の提案
    6

    View Slide

  7. Contributions
    •内容語の複雑さを考慮した損失関数を提案
    •多様な出力から流暢性、意味保持性、平易さを
    高めるようリランキングする手法の提案
    •より多様な出力を生成するために、類似度の高い
    候補を削除する手法の提案
    7

    View Slide

  8. •Complexity-Weighted Loss Function
    - Word Complexity Prediction
    - Loss Function
    •Reranking Diverse Candidates
    •Diverse Candidate Simplifications
    8

    View Slide

  9. Word Complexity Prediction
    •単語長さ、音節数、頻度、単語埋め込みで
    線形回帰モデルを訓練
    •5段階の平易さで書かれた1,480のニュース記事の
    Newselaコーパスを用いて単語の複雑さを付与
    (4: 元の記事 ~ 0: 最も平易化された記事)
    9

    View Slide

  10. Word Complexity Prediction
    •Newselaにおける各レベルの頻度の比でラベリング

    : 単語の複雑さレベル

    : 単語がレベルで
    出現する回数
    10

    View Slide

  11. Loss function
    •単語の複雑さで重み付けした
    損失関数を提案
    • : 語彙
    • : 元の確率ベクトル
    •𝑠𝑠
    : 単語の複雑さ
    • : ハイパーパラメータ
    11

    View Slide

  12. Reranking Diverse Candidates
    •流暢さ
    English Gigaword v.5を学習したKenLMで|
    計算されるperplexity
    •意味保持性
    入力と出力のParagraph Vectorのコサイン類似度
    •平易さ
    文複雑さ予測モデルの出力を利用
    12

    View Slide

  13. Complexity Prediction Model
    •文書分類で用いられる畳み込みニューラルネット
    ワーク(CNN)で文の複雑さを予測
    •Newselaコーパスの複雑さレベルを予測させる
    13

    View Slide

  14. Reranking Diverse Candidates
    •𝑠𝑠𝑖𝑖
    =
    𝑖𝑖
    +
    𝑖𝑖
    +
    𝑖𝑖
    •𝑖𝑖
    , 𝑖𝑖
    , 𝑖𝑖
    : 流暢さ、意味保持性、平易さ
    •𝑖𝑖
    ,
    ,
    : 各要素の重み
    14

    View Slide

  15. Diverse Candidate Simplifications
    •リランキングの候補を多様にするために
    ビームサーチのスコア修正手法を使用
    •普通のビームサーチはビームサイズを大きくしても
    タイムステップとともに検索空間に支配的になる
    15

    View Slide

  16. Diverse Candidate Simplifications
    • −1
    ,
    ,′
    = log 1
    , … , −1
    ,
    ,′
    − ′ ∗
    •−1
    : 時間 − 1における位の出力

    ,′
    : −1
    から出力される位のトークン
    •, ′ ∈ 1. .
    •はハイパーパラメータ
    16

    View Slide

  17. Diverse Candidate Simplifications
    Jiwei Li, Will Monroe, and Dan Jurafsky. A Simple, Fast Diverse Decoding Algorithm for Neural Generation. 2016. CoRR, abs/1611.08562.
    17

    View Slide

  18. Cluster Candidate Simplifications
    •デコード後の候補をParagraph Vectorによって
    クラスタリングして重心に近い候補を選択
    •クラスタリングにより類似した文がグループ化され、
    比較的異なる候補のみを考慮できる
    18

    View Slide

  19. Dataset
    •Newselaコーパスでモデルを学習
    •Parallel Wikipedia Corpus(PWKP)を用いない
    ← Simple Wikipediaの文の50%は平易でないか
    正しくアライメントされていない
    •Newselaから1レベルだけ離れたペアを除外
    •train/dev/test = 94,208/1,129/1,077
    19

    View Slide

  20. Training Details
    •Sockeye (Seq2seq framework built on MXNet)
    •損失関数における重み = 2
    •ビームサイズ = 100
    •ビームサーチ時のペナルティ = 1.0
    •候補選択時のクラスタサイズ = 20
    •リランキング時の重み

    =
    =
    = 1
    3

    =
    = 1
    2
    ,
    = 0
    20

    View Slide

  21. Baselines
    •Hybrid
    文分割と削除を行ってからPBMTを行う
    •DRESS
    強化学習によって語彙平易化を統合したSeq2seq
    •DMASS
    Transformerの構造とPPDBを統合したSeq2seq
    21

    View Slide

  22. Models
    •S2S-Loss
    複雑さの重み付けをした損失関数を利用
    •S2S-FA
    流暢性(F)と意味保持性(A)によるリランキングを利用
    •S2S-Cluster-FA
    クラスタリングの後にFAでリランキング
    22

    View Slide

  23. Models
    •S2S-Diverse-FA
    順位のペナルティを使用したビームサーチの後にFA
    でリランキング
    •S2S-All-FA
    上の2つを両方用いてFAでリランキング
    •S2S-All-FAS
    上の手法に平易さ(S)を加えてリランキング
    23

    View Slide

  24. Evaluation (Automatic Eval.)
    •SARI
    n-gram (1≦n≦4)を正しく保持、挿入、削除する
    頻度を計算する
    •BLEUを用いない
    文分割で平易さと負の相関が示されているため
    24

    View Slide

  25. Results (SARI)
    •既存のSoTAを上回る
    •リランキングとクラスタリング
    による改善が見られる
    •S2S-Diverse-FAでOracle SARI
    が向上している
    25

    View Slide

  26. Results (Other metrics)
    •最も短く、読解レベルが低い
    (Flesch-Kincaid grade level)
    •原文に多くの変更を加える
    (Translation Error Rate)
    26

    View Slide

  27. Results (Other metrics)
    •重み付け損失関数により
    挿入操作が増加
    •ClusterとDiverseが候補間の
    編集距離を増加させる
    27

    View Slide

  28. Evaluation (Human Eval.)
    •SARIは流暢さと意味保持性で弱い相関しかない
    •SARIは単語レベルのみを考慮しているが、
    文構造の平易さも考慮に入れる必要がある
    → 現状の自動評価手法には限界がある
    •Mturkによって200文を人手評価
    28

    View Slide

  29. Results (Human Eval.)
    •提案手法が実質的に最高性能である結果を示す
    •意味保持性はDRESSの方が高い
    → 提案手法の方が短い文を出力するため
    29

    View Slide

  30. Evaluation (Human Eval.)
    •文長が人手評価に与える影響を調査
    •Original : S2S-All-FAの結果
    •MATCH-Dress0 : DRESS-Lenに近い文を選択
    •MATCH-Dress+2 : DRESS-Len +2 に近い文を選択
    •MATCH-Dress-2 : DRESS-Len – 2 に近い文を選択
    30

    View Slide

  31. Results (Human Eval.)
    •Originalから文長を長くして
    いくと意味保持性が増加し、
    平易さは減少していく
    •文長の増加で流暢性が低下
    → ビームサーチで高順位の
    文は流暢性が高い
    31

    View Slide

  32. Examples of Error Type
    •複数の句を含む長く複雑な文
    Complex : Turkey has long enshrined the secular ideals of founding
    father Mustafa Kemal Ataturk, particularly in an education system that
    until recently banned Islamic headscarves in schools and made
    schoolchildren begin the day reciting an oath of allegiance to Ataturk’s
    legacy.
    Reference : Schools in Turkey had banned headscarves.
    Simple : They made schoolchildren to Ataturk’s history.
    32

    View Slide

  33. Examples of Error Type
    •訓練コーパスのアライメントミスによる訓練の混乱
    Complex : He heard the applause.
    Reference : The winning word was “magician.”
    Simple : But he heard the song.
    33

    View Slide

  34. Examples of Error Type
    •照応解析が必要なもの
    Complex : He is the creative director of Rethink Leisure & Entertainment,
    which is working on several projects in China and elsewhere in Asia.
    Reference : He is with Rethink Leisure & Entertainment.
    Simple : He is working on several projects in China.
    34

    View Slide

  35. Examples of Error Type
    •文の誤った部分を平易化
    Complex : His father owned the home when the lava flowed slowly to the
    coast.
    Reference : His father still owned the home.
    Simple : The river cut slowly to the coast.
    35

    View Slide

  36. Examples of Error Type
    •単語埋め込みの近さによる悪い換言
    Complex : In Beijing kite circles, Fei is widely known as the elder statesman.
    Reference : In Beijing, Fei is widely known as an expert.
    Simple : In Beijing, Fei is considered a doctor.
    36

    View Slide

  37. Examples of Error Type
    •訓練にない許容できる平易化
    Complex : He later tried to buy his freedom.
    Reference : Henson tried to buy his freedom later.
    Simple : The man tried to buy his freedom.
    37

    View Slide

  38. Error Discussion
    •Newselaコーパスのアライメントの改善が必要
    •照応解析を行うために追加の文脈を使用
    → これにより文分割の実施も学習できる
    •文の主要な部分が消されないようにするための
    構文情報を使用
    38

    View Slide

  39. Conclusion
    •複雑さによる重み付き損失関数、
    順位ペナルティとクラスタリングによる多様な出力、
    流暢性と意味保持性によるリランキングを提案
    •自動評価、人手評価によって優れていることを示す
    •意味保持性に対する長さの影響を分析
    •モデルの現在の欠点を定性的に分析
    •今後は個々の要求に応じた平易化が目標となる
    39

    View Slide

  40. 40

    View Slide