Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文読み会 EMNLP2021 | Decision-Focused Summarization

cocomoff
June 07, 2022

論文読み会 EMNLP2021 | Decision-Focused Summarization

論文読み会の資料です.

(A slide for the paper-reading activity at my company, written in Japanese.)

cocomoff

June 07, 2022
Tweet

More Decks by cocomoff

Other Decks in Research

Transcript

  1. Decision-Focused Summarization

    著者: Hsu, C.-C. and Tan, C. (Univ. of Chicago)

    学会: EMNLP2021

    @cocomoff
    1/18

    View full-size slide

  2. 概要
    文書要約: 何らかの基準によって文書情報を抽出するタスク
    抽出型要約 (extractive): 文書集合から文書を選んでくるタイプ
    抽象型要約 (abstractive): 特徴量を抽出して、文書を生成するタイプ
    本論文では「抽出型要約」のタスクにおいて「後段タスクを考慮した手法」を提案した
    提案手法が評価指標と人の評価の両方で優れていることを実験で確認した
    後段タスク?
    学習とか最適化した後に行う、本当に解きたいタスクのこと
    本論文では「Yelpのレート予測」が後段のタスク
    ナイーブ: Yelpのレートを予測するモデル を学習する
    抽出型文書要約: を選択する
    Decision-focused要約: が っぽくなるように要約する
    最適化 + 学習 でタスクを解く
    2/18

    View full-size slide

  3. どういう旨味があるか?
    後段を気にしないPreSummは、スコアが良いものを選んで終わり
    モデルベースの説明手法(IG)は、真ん中を選べなかった
    提案手法のDecSumは、分布をいい感じにカバーしつつ選ぶ
    3/18

    View full-size slide

  4. 著者のTwitterに貼られてた図



    4/18

    View full-size slide

  5. 目次
    概要
    定義
    ロス
    実装
    モデルについて、実験、その他
    5/18

    View full-size slide

  6. 定義
    Decision-focused summarization
    入力の文書集合( 文) から、決定 をサポートする部分集合
    を抽出する
    学習データがある
    Yelpデータにおける問題
    : 最初の レビューのテキスト
    : 最初の レビューにおける平均レート( )
    タスク: 最初の レビューのうち、 レビュー以降のレート予測に役立つ
    文章だけを要約として抽出してくる
    は普通の教師あり学習を思えばいい
    6/18

    View full-size slide

  7. ロス: 3 desideratum
    Loss:
    1: Decision faithfulness
    と は、後段のタスクで似た役割を果たしてほしい:
    ロス
    2: Decision representativeness
    値だけではなく分布レベルでも元のデータを近似してほしい = Wasserstein
    元データ 、抽出したデータ
    ロス
    3: Textual non-redundancy
    文書レベルに相互に似ていない集合が望ましい
    文書 のSentBERTによる埋め込みベクトルを として
    ロス
    7/18

    View full-size slide

  8. アルゴリズム: 1つずつ選ぶ
    個のセンテンスを選ぶまで、ロス最小になる文を選び続ける(パラメータ と最
    初の文 のときのみ、出来るだけ全体から取ってくる例外がある)
    8/18

    View full-size slide

  9. モデルについて(Yelpデータセットでの実装方法)
    Yelpデータセットを64%/16%/20% に分けた (Train/Val/Test)
    モデル
    文が長い(平均1621トークン)ので、Longformer を使って回帰モデルを
    fine-tune する(ここが一番計算時間がかかる。これを除くと、他の部分はテス
    トデータに対して1時間以内でスッと終わる、と書いてあった)
    他のモデルとしてはロジスティック回帰とDAN (deep averaging networks
    知らない) を使って比較した
    文が長いのでLongformerがreasonableだった
    9/18

    View full-size slide

  10. 補足
    何がreasonableかよく分からんけど…
    Group 2/3/4/5 (レート [1.5, 2.5), [2.5, 3.5), ... の群)
    10/18

    View full-size slide

  11. 実験設定
    比較手法
    モデル単体: PreSumm、BART、Random
    モデルベースの手法 (w/ Longfomer): IG (Integrated Gradients)、Attention
    評価指標(人以外)
    最初の レビューでのFaithfulness (ロス1項目)
    Representativenessスコア = (ロス2項目)
    テキストを使った要約評価スコア SUM-QE
    レビュー以降での予測誤差MSE
    イントロで言っていた後段タスクにおける誤差
    評価指標(人)
    レビューで同じ平均スコアぐらいのレストランを2つ出してきて、 以降
    でどちらが良いレストランになりそうか?をAMTで人に聞く
    11/18

    View full-size slide

  12. 図 (AMT)
    12/18

    View full-size slide

  13. 実験結果: Decision Faithfulness
    MSE full: 最初の レビューに対
    するMSE
    提案手法は後段の予測誤差を下げ
    ようとしているので、文書のみ手法・
    モデルベース手法より低い
    : deep-ver. MMR
    だけでも強い
    MSE: レビュー以降の真のレー
    トと予測レートの比較
    全データを使う場合(0.135)と比較
    して、近い数値(0.135~0.565)が
    得られた(要約出来た)
    他の手法はこれを下げる目的がない
    ので悪い
    13/18

    View full-size slide

  14. 実験結果: Representativeness (Wasserstein Distance)
    全体ロスに入っているので( )、一番良い
    の場合でも良い → Decision-focusedの良さ
    は他の手法より のpaired -testで有意に良い
    14/18

    View full-size slide

  15. 実験結果: 選んだ文のsentiment
    広範囲のsentimentな文を選んでいる(BERT-based fine-tuned sentiment
    analysis toolを使った)
    15/18

    View full-size slide

  16. 実験結果: SUM-QEによる評価
    SUM-QE = BERT-based summary quality estimation model (EMNLP-
    IJCNLP2019で提案)
    他の手法と比較して遜色ない(たぶん)
    16/18

    View full-size slide

  17. 実験結果: 人間評価
    DecSumは他の手法より精度が高い(76.1%)
    4手法(DecSum、Random、PreSumm、IG)で作った要約を見て人が当てられる
    か?を調べると、DecSumはチャンスレートを超えた(54.7%)
    DecSumは唯一90%以上正解する参加者がいた


    17/18

    View full-size slide