論文紹介:Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions

This deck explains the paper "Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions".

Transcript

1. Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions Asahara Ryutaro
2. はじめに ◼ Haitao Lin, Junnan Zhu, Lu Xiang, Yu Zhou, Jiajun Zhang, and Chengqing Zong. 2022. Other Roles Matter! Enhancing Role-Oriented Dialogue Summarization via Role Interactions. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 2545–2558, Dublin, Ireland. Association for Computational Linguistics. ◼ 選んだ理由 ⚫ 自分で考えたテーマのアイデアと似ていたため ⚫ 新しいの読みたかった
3. 背景 ◼ ロール指向型対話要約(Lin, et al. 2021)というタスクがある ⚫ 話者Aに関しては〇〇と要約，話者Bに関しては△△のように要約するといったように， ロールごとの要約を行うタスク ◼ 主に会議やオンラインチャットなどにおいて有効だとされている ◼ 先行研究 (Lin et al., 2021)では全体の対話履歴からユーザとエージェントそれ ぞれの要約を生成した
4. ロール指向型対話要約の例 ユーザ：元の電話番号は使い物にならないし、パスワードも忘れてしまった。 エージェント：担当に転送しましょうか？ ユーザ：はい エージェント：申し訳ありません、転送に失敗しました。3時間内にかけ直していただけますか？ ユーザ：了解です。 エージェント：他に何かお手伝いできることはありますか？ ユーザ：JDはwechat経由で支払うことができますか？ エージェント：はい、もちろんです ユーザに関する要約 ユーザーは、携帯電話番号が使い物にならず、パスワードも忘れてしまったという。ユーザーは、JDが wechatで支払えるかどうかを尋ねた。 エージェントに関する要約 カスタマーサービスは、転送が失敗した後、3時間以内に電話をかけ直すようにユーザーを支援した。 カスタマーサービスは、JDがwechatで支払うことができると言った。
5. 何をしたか ◼ ロール指向型対話要約を行った ◼ 他のロールの話者からの発話や他ロールの要約も明示的に用いることで、 より重要な情報を抽出する ◼ 提案手法によって既存モデルにおける要約性能を向上させた ◼ 去年作成したデータセットを使って新しい手法を試したよ、という論文
6. 他ロールの発話が重要な情報を持つ場合 ユーザ：元の電話番号は使い物にならないし、パスワードも忘れてしまった。 エージェント：担当に転送しましょうか？ ユーザ：はい エージェント：申し訳ありません、転送に失敗しました。3時間内にかけ直していただけますか？ ユーザ：了解です。 エージェント：他に何かお手伝いできることはありますか？ ユーザ：JDはwechat経由で支払うことができますか？ エージェント：はい、もちろんです ユーザに関する要約：ユーザーは、携帯電話番号が使い物にならず、パスワードも忘れてしまったとい う。ユーザーは、JDがwechatで支払えるかどうかを尋ねた。 エージェントに関する要約：カスタマーサービスは、転送が失敗した後、3時間以内に電話をかけ直す ようにユーザーを支援した。カスタマーサービスは、JDがwechatで支払うことができると言った。
7. 他ロールの要約が重要な情報を持つ場合 ユーザ：元の電話番号は使い物にならないし、パスワードも忘れてしまった。 エージェント：担当に転送しましょうか？ ユーザ：はい エージェント：申し訳ありません、転送に失敗しました。3時間内にかけ直していただけますか？ ユーザ：了解です。 エージェント：他に何かお手伝いできることはありますか？ ユーザ：JDはwechat経由で支払うことができますか？ エージェント：はい、もちろんです ユーザに関する要約：ユーザーは、携帯電話番号が使い物にならず、パスワードも忘れてしまったとい う。ユーザーは、JDがwechatで支払えるかどうかを尋ねた。 エージェントに関する要約：カスタマーサービスは、転送が失敗した後、3時間以内に電話をかけ直す ようにユーザーを支援した。カスタマーサービスは、JDがwechatで支払うことができると言った。
8. 提案手法① ◼ 全体の発話{𝑥1 , 𝑥2 , … , 𝑥𝑛 }をエンコーダを用いて文ベクトルにする（エンコーダ は図では省略） ◼ ユーザ発話とエージェント発話を分離 {ℎ1 , ℎ2 , … , ℎ𝑛 }: 文脈表現 𝐻𝑢 𝑒𝑛𝑐: ユーザ発話の文脈表現の集合 𝐻𝑎 𝑒𝑛𝑐: エージェント発話の文脈表現の集合
9. 提案手法② ◼Decoder Layer ⚫ ユーザ要約の教師データをデコーダに入力して隠れ状態 ℎ1 𝑢𝑠𝑒𝑟, ℎ2 𝑢𝑠𝑒𝑟, … , ℎ𝑛 𝑢𝑠𝑒𝑟 を得る
10. 提案手法③ 𝑎𝑡𝑡𝑢 𝑢: 𝐻𝑎 𝑒𝑛𝑐 とℎ𝑘 𝑢𝑠𝑒𝑟のattentionの分布 𝑎𝑡𝑡𝑢 𝑎: 𝐻𝑎 𝑒𝑛𝑐とℎ𝑘 𝑢𝑠𝑒𝑟のattentionの分布 𝑎𝑡𝑡𝑎 𝑢: 𝐻𝑢 𝑒𝑛𝑐とℎ 𝑘 𝑎𝑔𝑒𝑛𝑡のattentionの分布 𝑎𝑡𝑡𝑎 𝑎: 𝐻𝑎 𝑒𝑛𝑐とℎ 𝑘 𝑎𝑔𝑒𝑛𝑡のattentionの分布
11. Attention分布の一例（ユーザ要約）
12. Attention分布の一例（エージェント要約）
13. 提案手法④ ◼ 違う話者同士の発話から重要な情報を抽出するのは難しい ⚫ ユーザ側の要約を生成するための重要な情報がエージェント側の発話に含まれている ⚫ ユーザ発話と要約のattention分布とエージェント発話とユーザ要約のattention分布は似ているはず ◼ attentionの分布のKLダイバージェンスを損失とする
14. 提案手法⑤ Cross Attention MLP Softmax 𝑐𝑢,𝑘 𝑢 :ユーザ発話のself-attention 𝑐𝑎,𝑘 𝑢 : ユーザ発話とエージェント発話attention t : 時間ステップ
15. 提案手法⑥ 𝛼:任意のパラメータ NLL LOSS: NLL：Negative Log Likelihood 負の対数尤度関数
16. 提案手法⑦ 𝛽:任意のパラメータ Total LOSS:
17. 実験① ◼ データセット ⚫ CSDS4 (Lin et al., 2021)：中国語の接客データセット ⚫ MC5(Song et al.、2020) ：中国語の医療データセット（医者が患者に提案や説明を行って いる会話） ⚫ MC5の方が要約しやすく、CSDS4は難しいらしい ◼ モデル ⚫ PGN (See et al., 2017) ⚫ LSTMベースのSeq2seqモデル ⚫ BERTAbs (Liu and Lapata, 2019) ⚫ エンコーダにBERTを用いる TransformerベースのSeq2seqモデル
18. 実験② ◼ 比較手法 ⚫ single ⚫ ユーザとエージェントの対話履歴をそれぞれ別のモデルに入力にしてそれぞれ要約を行う ⚫ multi ⚫ singleとやっていることは同じだが、エンコーダのモデルのみ共有する ⚫ cross ⚫ Multiに提案手法のCross Attentionを追加したもの ⚫ self ⚫ Multiに提案手法のRole Attentionを追加したもの ⚫ both ⚫ crossとselfを両方用いたもの ⚫ フルの提案手法
19. 結果：定量的評価 CSDS4データセット ◼CSDS4データセットでの評価
20. 結果：人間による評価 CSDS4データセット ◼CSDS4データセットでの評価 ※ユーザ要約/エージェント要約 Info : 情報量 Non-Red :非冗長性 Flu : 流暢性 Overall : Info, Non-Red, Fluの平均値
21. 結果：定量的評価 MC5データセット ◼MC5データセットでの評価
22. ユーザ要約の例
23. エージェント要約の例
24. まとめ ◼ ロール型対話要約タスクにおいて、他ロールの情報も用いることで要約精度 向上を目指した ◼ 提案手法によって他ロールからの情報を明示的に扱うことができ、定量的評 価でも人手による評価でも既存手法を上回る結果を得た