Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介:Coreference-Aware Dialogue Summarization

Ryutaro Asahara
June 21, 2022
430

論文紹介:Coreference-Aware Dialogue Summarization

This deck explains the paper "Coreference-Aware Dialogue Summarization" in Inaba Lab weekly meeting.

Ryutaro Asahara

June 21, 2022

Transcript

24 slides
  1. 紹介する論文 Zhengyuan Liu, Ke Shi, and Nancy Chen. 2021. Coreference-Aware

    Dialogue Summarization. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 509–519, Singapore and Online. Association for Computational Linguistics. 紹介する理由 • 対話文における共参照関係をグラフ化して要約するというのが 面白そうだったから • 共参照情報をうまく保持したHead数(Attention)を求める手法を 提案している
  2. データセットに関して 一般的な要約データセットには共参照の情報は含まれていない Document Coreference Resolution Model (Lee et al., 2018;

    Joshi et al., 2020)は文章の ための共参照解析モデルであるため,対話に対しては最適ではない (Joshi et al., 2020)のモデルを対話サンプルに適用したころ以下の3つの問題が見 つかった 1. 話者の名前がどの共参照集合にも分類されない 2. 対話文では複数の発話に共参照表現が跨ることがあるが,それらが別の共参照集合とし て分類されてしまう 3. 対話文では複数の発話に共参照表現が跨ることがあるが,それらが間違った共参照集合 として分類されてしまう
  3. GNN-Based Coreference Fusion(Cont.) • 対話とそれに対応する共参照情報が入力されたTransformer Encoderからの出力 𝐻を入力 • GNN Layerで得られた隠れ状態𝐻!

    に,Transformer Encoderから得られた隠 れ状態𝐻を加えてAuto-Regression Decoderに入力する 𝐻: ℎ! "からなる隠れ状態 𝑊! : 学習可能なパラメータ 𝑁! : 𝑖番目のノードと隣接している個数
  4. Coreference-Informed Transformer(Cont.) 𝐴#:Multi-Head self-Attentionの重み行列 𝐴$:共参照Attentionの重み行列(Coreference- Guided Attention項で更新されたもの) 𝑁% :各Layerのヘッドの数 •

    Multi-Head self-Attentionの重み行列と事前に 定義された共参照Attentionの重み行列のコサ イン類似度を計算 • 例えば6層目のHeadは5個であるのが最適で ある,などが分かった
  5. Coreference-Informed Transformer(Cont.) 𝑄: 𝑞𝑢𝑒𝑦 𝐾: 𝑘𝑒𝑦 𝑑":keyの次元数 𝑉: 𝑣𝑎𝑙𝑢𝑒 𝑁%:前項で求めたHeadの個数

    𝑥! &:𝑖番目のトークンの𝑙番目のHeadのAttention適 用後の表現 • 前項で求めたHead数を用いたMulti-Head self-Attentionを適用する
  6. 実験(Cont.) Pointer-Generator Network (See et al., 2017) DynamicConv-News (Wu et

    al., 2019) FastAbs-RL-Enhanced (Chen and Bansal, 2018) Multi-View BART (Chen and Yang, 2020) BART-Base : 事前学習済みのSeq2seqモデル(Lewis et al.、2020) Coref-GNN(GNN-Based Coreference Fusion) : GNN Layerを導入したモデル Coref-Attention(Coreference-Guided Attention ) : Attention Layerの追加によって共参 照情報を取り入れたモデル Coref-Transformer(Coreference-Informed Transformer) : コサイン類似度を用いた Head数選択を取り入れたモデル
  7. 結果 • ROUGE-1, 2およびROUGE-LのFスコア, Precision, Recallを用いて評価 • BART-baseのFスコアはPointer-Generator NetworkとDynamicConv-Newsと FastAbs-RL-EnhancedとMulti-View

    BARTを大きく上回った • Coref-Attentionに関して,すべてのスコアがベースライン手法であるBART- baseを上回った
  8. 人間による評価 • 人間による[-2, 0, 2]スケールでの評価 • -2は要約が間違った参照を行っている • 0は許容は出来るが情報が足りない •

    2は簡潔で情報量が多く,優れた要約 • Corefモデルはベースライン手法よりも高 いスコアを得ており,これはROUGEによ る定量的評価と一致している 100サンプルの平均値
  9. 分析(Cont.) • 情報の欠落 • ベースラインが34個であるので,わずかに改善がみられる • 冗長な情報 • Coref-Attentionは84%のエラーが削減された •

    間違った参照 • Coref-Attentionは45%のエラーが削減された • 誤った根拠 • Coref-Attentionは55%のエラーが削減された (エラーであるため,低い方が性能がいい) • これは提案モデルが,冗長性が少なく,より簡潔な要約を生成できることを示している • 共参照情報を取り組むことで間違った参照を減らし,より良い複数ターン推論を行えることが わかった
  10. サンプル分析 • 会話(i) • 結婚式はEricのではなく,Ivanの兄弟のものであるのに,ベー スラインでは間違った要約が行われている • 会話(ii) • 貸した充電器を返して欲しいという会話であるに,ベースラ

    インではこれから貸すことになってしまっている • 会話(iii) • 間違った共参照情報の データを用いると,生成する 要約文も影響がある

More Decks by Ryutaro Asahara