論文紹介：「CLICK: Contrastive Learning for Injecting Contextual Knowledge to Conversational Recommender System」

This deck explains the paper "CLICK: Contrastive Learning for Injecting Contextual Knowledge to Conversational Recommender System".

Transcript

1. CLICK: Contrastive Learning for Injecting Contextual Knowledge to Conversational Recommender System Inaba Lab. M2. Ryutaro Asahara
2. 論文情報 • Hyeongjun Yang, Heesoo Won, Youbin Ahn, and Kyong-Ho Lee. 2023. CLICK: Contrastive Learning for Injecting Contextual Knowledge to Conversational Recommender System. In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics, pages 1875–1885, Dubrovnik, Croatia. Association for Computational Linguistics. 選んだ理由 • 推薦対話おいて放置されがちの問題について取り組んでいる
3. 背景 • 推薦対話システム(CRS – Conversational Recommender System)は 大きく2種類に分かれる • 共通事項→対話履歴から推薦するアイテムを予測し，応答を生成 • End to End • 全てを1つのモデルで一貫して行う • ChatGPTに推薦対話してください，というプロンプトを入力して対話する イメージ • 2 stage • 推薦をするモデルと応答をするモデルが別れている
4. 背景 • 推薦対話システム(CRS – Conversational Recommender System)は 大きく2種類に分かれる • 共通事項→対話履歴から推薦するアイテムを予測し，応答を生成 • End to End • 全てを1つのモデルで一貫して行う • ChatGPTに推薦対話してください，というプロンプトを入力して対話する イメージ • 2 stage • 推薦をするモデルと応答をするモデルが別れている 今回はこっち
5. 既存のCRSの問題点 • ユーザが言及したアイテムと 推薦候補のアイテムのベクトルをマッチングして 候補にランクを付けていく Item Encoder 候補アイテム1 候補アイテム2 候補アイテムn ・・・ ・・・ ユーザが⾔及した アイテム マッチング ⾔及したアイテムを⽤いるだけでは，アイテムに対する ユーザの好みレベルなどが分からない ⾔及しているだけで「〇〇は嫌い」と⾏っている可能性 Item Encoder
6. 本研究のアプローチ • 対話履歴を考慮して推薦候補アイテムとマッチングしたい • しかし，異なるモダリティ間のマッチングは好ましくない • 対照学習を用いて異なるモダリティ間のマッチングを可能にする Item Encoder 候補アイテム1 候補アイテム2 候補アイテムn ・・・ ・・・ BERT 対話履歴 マッチング
7. 本研究のアプローチ • ２段階の学習ステップを用いる • ステップ１ • 異なるモダリティ間のマッチングを可能にするための事前学習 • 対照学習によってテキストベクトルとアイテムベクトルを近づける • ステップ２ • テキストベクトルとアイテムベクトルを実際にマッチングする機構を作成 • 応答タイプ（質問，雑談，推薦）を決定する機構も追加
8. 事前学習 • 文脈を考慮した嗜好性を抽出するために事前学習 • Redditデータセットを用いる[1] [1]Penha, Gustavo and Hauff, Claudia. What Does BERT Know about Books, Movies and Music? Probing BERT for Conversational Recommendation. RecSys2020.
9. 事前学習
10. 事前学習– Redditデータセット • おすすめなアイテムを求める要求文と 実際に推薦されたアイテムからなる データセット • 要求文のベクトルとアイテムベクトル を近づける 𝑞：要求⽂ 𝑠：要求に対する提案アイテム 𝑣：提案アイテムのスコア（いいねの数） 𝑡：提案アイテムの根拠
11. 事前学習– DBpedia • Dbpediaを用いて映画の知識グラフを作成 • 30,471のエンティティ，392,682のトリプルで構成 • 先行研究と同様の手法を採用 • RGCNでエンコードし，アイテムベクトルを得る [2] [2] Kun Zhou, Wayne Xin Zhao, Shuqing Bian, Yuanhang Zhou, Ji-Rong Wen, Jingsong Yu. Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion. 2020.
12. 事前学習–対照学習 • 要求文qをBERTでエンコード • 対照学習の損失 • 正例には推薦アイテムsを用いる • スコアが大きいほどより近くなるように 学習される ：ℎ! とℎ" のコサイン類似度 ：RGCNでエンコードした アイテムの表現 ：要求⽂qに対する アイテムsのスコア
13. 事前学習
14. 事前学習 – 応答生成 • 応答生成器にはGPT-2を採用 • 入力 • 推薦応答を表すスペシャルトークン • アイテム名 • 出力 • 推薦根拠t • 2層目のAttention 𝐴&を以下式で計算 • 損失は負の対数尤度 ：1層⽬の出⼒ ：要求⽂qをBERTに ⼊⼒した際の出⼒ベクトル
15. Finetuning • 対話履歴から応答生成を行うためにFinetuning • 2つのモジュールに分かれる • Contextual Knowledge-enhanced Recommendation：推薦モジュール • Context-enhanced Response Generation：応答モジュール
16. Finetuning – 推薦モジュール • 対話履歴をエンコード • 対話履歴とe番目のアイテムベクトル𝑛! から重みを計算 • 対話履歴を使って候補アイテム群に重みをつける • アイテムベクトルに重みをかける • ユーザの嗜好性を考慮したアイテムベクトル が得られる 𝑛' ∈ 𝑁()) 𝑁())：⾔及されたアイテムの集合
17. Finetuning – 推薦モジュール • アイテムベクトル ，対話履歴のベクトル のどちらを使うか 決定するためにゲート機構を採用 • 最終的なユーザベクトル を得る • 内積を用いて候補アイテムと マッチングスコアを計算
18. Finetuning – 推薦モジュール • クロスエントロピー損失
19. Finetuning – 応答モジュール • 対話履歴のベクトルから応答タイプ（質問，雑談，推薦）を予測
20. Finetuning – 応答モジュール • GPT-2を用いて応答を生成 • 入力 • 応答タイプを表すスペシャルトークン • 選ばれた推薦アイテム • 出力 • 応答 • 対話履歴の情報は事前学習と 同様に，Attentionに注入
21. 実験 – データセット • REDIAL • CRSのための映画ドメインデータセット • 1000万対話を収録 • 発話タイプはこのデータセットにラベルがあるためそれを使う • 知識グラフ • DBpedia
22. 結果（推薦） • +Reddit • 事前にRedditデータによる推薦根拠生成タスクで学習されているもの
23. 結果（推薦） – Ablation Study • w/o relevance • 対照学習損失からいいね数のスコアを削除 • w/o pre-training
24. 結果（応答生成）
25. 結果（応答生成） - Ablation Study • w/o gen. cross-att • 対話履歴の情報をAttention層に注入しない • つまり，対話履歴をそのままGPT-2に入力 • w/o gen. pre-training • 応答生成の事前学習のみ 行わない • w/o pre-training
26. Case Study • Case 3においてユーザは”ジョ ンウィック”が見たいと言って いる • しかし聞いているのは娘にお すすめの映画 • CLICは対話履歴を考慮してい るために娘に対する適切な推 薦が可能
27. まとめ • 対話履歴を考慮して推薦を行うためにCLICを提案 • CLICは対照学習を用いた事前学習でエンコーダ間のモダリティの差 異を緩和 • 事前学習とFinetuningを行うことで最良の性能を示した
28. 不十分な点や弱点は？ • 事前学習時は短いテキストでの学習を行っているが，Finetuning時 は対話履歴をエンコードしている • 事前学習時にも対話履歴での学習をするほうが望ましい • 対話履歴に対して嗜好性を表すアノテーションが必要