論文紹介：「COLA: Improving Conversational Recommender Systems by Collaborative Augmentation」

This deck explains the paper "COLA: Improving ConversationalRecommender Systems by Collaborative Augmentation."

Transcript

1. COLA: Improving Conversational Recommender Systems by Collaborative Augmentation Inaba Lab. M2. Ryutaro Asahara
2. 紹介する論文 COLA: Improving Conversational Recommender Systems by Collaborative Augmentation 紹介する理由 • 人気さや知名度を考慮した知識グラフを構築していた点に惹かれた
3. 推薦対話の前提知識 • CRS • 推薦対話システムのこと • アイテム • 映画名や観光地名など，推薦対象のこと（例：富士山，ハリーポッター） • 大きく２種類ある • 推薦モジュールと応答生成モジュールに分かれているもの • 推薦も応答生成も１つのモデルで行うもの
4. 背景・課題 • CRS(Conversational Recommendation System)では以下が重要 • 良質な推薦アイテムの表現の獲得 • ユーザの好みを上手く抽出する • 既存のCRSの問題点 • アイテムの人気を考慮していない • そもそも知名度がない，最近有名だから行ってみたい，など • 少ない対話履歴からではユーザの好みを把握しにくい
5. アプローチ • 先行研究の問題点 • アイテムの人気を考慮していない • 少ない対話履歴からではユーザの好みを把握しにくい • 本研究でのアプローチ • 全対話中から各アイテムに対する興味を抽出し，それを考慮した 知識グラフを構築 →人気を考慮した知識グラフ • 類似する対話を検索することでユーザの好みを拡張 • ◯◯が好きなら〇〇も好きかも，など
6. 提案手法 – COLAフレームワーク
7. 提案手法 - ユーザ好みによる知識グラフの拡張 • DBpediaから知識グラフを構築 → 通常グラフ • 人気度を考慮した知識グラフを構築 → 人気グラフ • アイテムに対するユーザの好き or 嫌いをルールベースで抽出 • 例： • Julia, like, The Matrix Reloaded • Jack, dislike, The BFG
8. 提案手法 - 知識グラフのエンコード（R-GCN） • 通常グラフ • 人気グラフ • アイテムノードとユーザノードを別々に計算 𝑘! " ：𝑙層目におけるノード𝑒の表現 𝑍!,$ ：正規化のための係数 𝑣%,! " ：𝑙層目におけるアイテムノード𝑒の表現 𝑣%,& " ：𝑙層目におけるユーザノード𝑢の表現
9. 提案手法 - 人気度表現の加算 • ノードごとに人気度情報を加算 • 人気グラフ中のアイテムノードの埋め込みを通常グラフに加算することで， 人気度情報が存在するもののみ補完
10. 提案手法 - ユーザ表現の獲得 • ユーザの表現を2種類の方法で抽出 • 対話履歴中のアイテムと，類似対話中のアイテムからグラフ表現を得る • ConceptNetによって対話履歴中の単語のグラフ表現を得る
11. 提案手法 - ユーザ表現の拡張1 • BM25（検索アルゴリズム）によっ て類似した対話を検索 • 現在対話のアイテムがクエリ • 上位n個の対話に含まれる アイテムを使用する • 同じアイテムを好む（or 嫌い）人の 対話によってユーザ表現を拡張
12. 提案手法 - ユーザ表現の拡張2 • 現在対話と類似対話から 抽出したアイテムをそれぞれ エンコードして結合 • self-attentionを計算 𝑟：類似対話から抽出したアイテム m：現在対話から抽出したアイテム 𝐸 − ：R-GCNによるEncoder
13. 提案手法 - ユーザ表現の拡張 • 対話履歴からentityを抽出して ConceptNetにより知識グラフを構築 • GCNによってエンコード 𝑉 ! "：𝑙層目におけるノード𝑐の表現 𝐴：グラフの隣接行列 D：グラフの次数行列
14. 提案手法 - ユーザ表現の拡張3 • 現在対話から抽出したentityを エンコード • self-attentionを計算 𝑚：現在対話から抽出したentity C − ：GCNによるEncoder
15. 提案手法 - ユーザ表現の拡張4 • ゲート機構を用いて最終的なユーザ表現𝐸! を得る
16. 提案手法 - 推薦アイテムの選択 • ユーザ表現𝐸! と各アイテム表現𝐸",$ を以下式で計算してマッチング • ここまでの学習のクロスエントロピー損失関数 • 𝑃%&'($) の値が上位kまでのアイテムを推薦候補
17. 提案手法 - 応答生成 • 事前学習なしのTransformerのデコーダを用いる • 対話履歴𝐻はTransformerエンコーダでエンコード済み • 応答生成時の損失関数（負の対数尤度）
18. 実験 - ベースラインモデル • ReDial(Li et al.2018) • 推薦モジュールをAE，応答生成モジュールにHREDというモデルを採用 • KBRD(Chen et al.2019) • 対話履歴中のアイテムから知識グラフを構築して応答生成に使用 • TG-ReDial(Zhou et al.2020c) • 対話のトピックと推薦アイテムを予測し，それを元に応答を生成 • KECRS(Zhang et al.2021) • 高品質な知識グラフとBag-of-Entityという損失を採用
19. 実験 - ベースラインモデル • KGSF(Zhou et al.2020a) • ConceptNetとDBpediaの両方を用いてユーザ表現とアイテム表現をマッチ ングするフレームワーク • NTRD(Liang et al.2021) • テンプレートとなる発話を生成し，そこに推薦アイテムを挿入することで応答 する • CR-Walker(Ma、Takanobu、Huang 2021) • 推薦モジュールに動的な知識グラフを使用 • RevCore(Lu et al.2021) • 推薦モジュールにレビューデータを使用して知識を拡張
20. 実験 – データセット • RecDIAL • 映画に関する10006対話で構成 • ユーザのアイテム対する「好き」or「嫌い」ラベルが存在するためそれを使用 • TG-ReDial • 映画に関する10000対話 • 事前にキーワードセットを定義して使用 • 面白い，良かった→好き • 怖すぎ，嫌だった→嫌い
21. 実験 –評価指標 • Recall@k (k=1, 10, 50) • (上位k個の予測に含まれる正解数) / (総正解数) • MRR@k (k=1, 10, 50) • 最初に出現した𝑖の順位を𝑟𝑎𝑛𝑘4 • PPL（パープレキシティ） • BLEU • DIST(DISTINCT)
22. 実験 – 自動評価 • 推薦モジュールの評価
23. 実験 – 自動評価 • 応答生成モジュールの評価
24. 実験 – Ablation Study • IG：人気グラフの有無 • RT：類似対話の検索による ユーザ表現の拡張 • DB：DBpediaの有無 • CN：ConceptNetの有無
25. 実験 – Ablation Study • IG：人気グラフの有無 • RT：類似対話の検索による ユーザ表現の拡張 • DB：DBpediaの有無 • CN：ConceptNetの有無
26. 実験 – Ablation Study • IG：人気グラフの有無 • RT：類似対話の検索による ユーザ表現の拡張 • DB：DBpediaの有無 • CN：ConceptNetの有無
27. 実験 – Ablation Study • IG：人気グラフの有無 • RT：類似対話の検索による ユーザ表現の拡張 • DB：DBpediaの有無 • CN：ConceptNetの有無
28. 実験 – Ablation Study • IG：人気グラフの有無 • RT：類似対話の検索による ユーザ表現の拡張 • DB：DBpediaの有無 • CN：ConceptNetの有無
29. 実験 – 応答生成例 • ユーザがハリーポッター好き • 同じ好みを持つユーザの対話履歴を 検索 • パイレーツ・オブ・カリビアンが 推薦候補に入る • ユーザの好みを踏まえた応答を生成
30. 不十分な点や弱点は？ • 知名度について • 人気度情報がないアイテム（誰にも言及されていないアイテム）の重要性を 下げる工夫があっても良いかなと感じた • 現状は人気度の情報があるものにのみ情報を加えてる
31. まとめ • 人気さを考慮し，ユーザアイテムを拡張するCOLAを提案 • 推薦モジュール，応答生成モジュール共に性能向上 • 潜在的な興味を反映