Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介:Coreference-Aware Dialogue Summarization

Ryutaro Asahara
June 21, 2022
290

論文紹介:Coreference-Aware Dialogue Summarization

This deck explains the paper "Coreference-Aware Dialogue Summarization" in Inaba Lab weekly meeting.

Ryutaro Asahara

June 21, 2022
Tweet

More Decks by Ryutaro Asahara

Transcript

  1. 紹介する論文 Zhengyuan Liu, Ke Shi, and Nancy Chen. 2021. Coreference-Aware

    Dialogue Summarization. In Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 509–519, Singapore and Online. Association for Computational Linguistics. 紹介する理由 • 対話文における共参照関係をグラフ化して要約するというのが 面白そうだったから • 共参照情報をうまく保持したHead数(Attention)を求める手法を 提案している
  2. データセットに関して 一般的な要約データセットには共参照の情報は含まれていない Document Coreference Resolution Model (Lee et al., 2018;

    Joshi et al., 2020)は文章の ための共参照解析モデルであるため,対話に対しては最適ではない (Joshi et al., 2020)のモデルを対話サンプルに適用したころ以下の3つの問題が見 つかった 1. 話者の名前がどの共参照集合にも分類されない 2. 対話文では複数の発話に共参照表現が跨ることがあるが,それらが別の共参照集合とし て分類されてしまう 3. 対話文では複数の発話に共参照表現が跨ることがあるが,それらが間違った共参照集合 として分類されてしまう
  3. GNN-Based Coreference Fusion(Cont.) • 対話とそれに対応する共参照情報が入力されたTransformer Encoderからの出力 𝐻を入力 • GNN Layerで得られた隠れ状態𝐻!

    に,Transformer Encoderから得られた隠 れ状態𝐻を加えてAuto-Regression Decoderに入力する 𝐻: ℎ! "からなる隠れ状態 𝑊! : 学習可能なパラメータ 𝑁! : 𝑖番目のノードと隣接している個数
  4. Coreference-Informed Transformer(Cont.) 𝐴#:Multi-Head self-Attentionの重み行列 𝐴$:共参照Attentionの重み行列(Coreference- Guided Attention項で更新されたもの) 𝑁% :各Layerのヘッドの数 •

    Multi-Head self-Attentionの重み行列と事前に 定義された共参照Attentionの重み行列のコサ イン類似度を計算 • 例えば6層目のHeadは5個であるのが最適で ある,などが分かった
  5. Coreference-Informed Transformer(Cont.) 𝑄: 𝑞𝑢𝑒𝑦 𝐾: 𝑘𝑒𝑦 𝑑":keyの次元数 𝑉: 𝑣𝑎𝑙𝑢𝑒 𝑁%:前項で求めたHeadの個数

    𝑥! &:𝑖番目のトークンの𝑙番目のHeadのAttention適 用後の表現 • 前項で求めたHead数を用いたMulti-Head self-Attentionを適用する
  6. 実験(Cont.) Pointer-Generator Network (See et al., 2017) DynamicConv-News (Wu et

    al., 2019) FastAbs-RL-Enhanced (Chen and Bansal, 2018) Multi-View BART (Chen and Yang, 2020) BART-Base : 事前学習済みのSeq2seqモデル(Lewis et al.、2020) Coref-GNN(GNN-Based Coreference Fusion) : GNN Layerを導入したモデル Coref-Attention(Coreference-Guided Attention ) : Attention Layerの追加によって共参 照情報を取り入れたモデル Coref-Transformer(Coreference-Informed Transformer) : コサイン類似度を用いた Head数選択を取り入れたモデル
  7. 結果 • ROUGE-1, 2およびROUGE-LのFスコア, Precision, Recallを用いて評価 • BART-baseのFスコアはPointer-Generator NetworkとDynamicConv-Newsと FastAbs-RL-EnhancedとMulti-View

    BARTを大きく上回った • Coref-Attentionに関して,すべてのスコアがベースライン手法であるBART- baseを上回った
  8. 人間による評価 • 人間による[-2, 0, 2]スケールでの評価 • -2は要約が間違った参照を行っている • 0は許容は出来るが情報が足りない •

    2は簡潔で情報量が多く,優れた要約 • Corefモデルはベースライン手法よりも高 いスコアを得ており,これはROUGEによ る定量的評価と一致している 100サンプルの平均値
  9. 分析(Cont.) • 情報の欠落 • ベースラインが34個であるので,わずかに改善がみられる • 冗長な情報 • Coref-Attentionは84%のエラーが削減された •

    間違った参照 • Coref-Attentionは45%のエラーが削減された • 誤った根拠 • Coref-Attentionは55%のエラーが削減された (エラーであるため,低い方が性能がいい) • これは提案モデルが,冗長性が少なく,より簡潔な要約を生成できることを示している • 共参照情報を取り組むことで間違った参照を減らし,より良い複数ターン推論を行えることが わかった
  10. サンプル分析 • 会話(i) • 結婚式はEricのではなく,Ivanの兄弟のものであるのに,ベー スラインでは間違った要約が行われている • 会話(ii) • 貸した充電器を返して欲しいという会話であるに,ベースラ

    インではこれから貸すことになってしまっている • 会話(iii) • 間違った共参照情報の データを用いると,生成する 要約文も影響がある