IRReading2020Fall-yanagida

IR Reading 2020秋（オンライン）で以下の論文を紹介しました．
Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu. Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401174.
Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401057.

Transcript

1. 筑波大学 加藤研究室 B4 柳田雄輝 https://ynagi2.github.io/ Interactive Recommender System via Knowledge Graph- enhanced Reinforcement Learning(SIGIR 2020) Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View(SIGIR 2020) の紹介 2020-10-31 IR Reading 2020秋（オンライン）
2. Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning(SIGIR 2020) 2 Authors: Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu
3. • グラフに強化学習を用いた推薦手法が提案されている ◦ 強化学習のエージェントがグラフ上を探索 ◦ エージェントが辿ったパスから多様なアイテムを推薦可能 背景 3 NES CAFE うまい棒 pocky KitKat 共に買われたアイテムのネットワーク エージェント NES CAFE pocky KitKat pockyを買った人に NESCAFEを推薦 エージェントが辿ったパス 例
4. • 強化学習では多くのサンプリングとデータが必要 ◦ エージェントの試行回数がかなり必要 • 効率的に学習したい • エージェントに知識グラフを探索させ効率的に学習 ◦ e.g. うまい棒を見たユーザに対してはお菓子を中心に探索 本研究のアイデア 4 NES CAFE pocky KitKat Nestle お菓子 うまい 棒 知識グラフ お菓子以外は探索されない 2-hopまで辿るとすると， 任意のお菓子を辿れる produced by belongs to
5. 手法の全体像 5 Q学習に基づきエージェントの 行動(推薦するアイテム)を決定 クリックしてきたアイテムの埋め込みから 状態(ユーザの選好)を得る 推薦候補となるアイテムを知識グラフから得る Q学習: 行動価値関数に基づくアルゴリズム
6. グラフ構造を加味した埋め込みをクリックしたアイテム順に RNNへ入力，状態(ユーザの選好)を得る 手法 1/2 (状態の表現) 6 Graph Convolutional Network(GCN)でグラフ構造を加味 アイテムの 埋め込み グラフ構造を加味した 埋め込みに変換 例 A B C 特徴量を持ったノード GCN A B C グラフ構造を加味した 特徴量を持ったノード
7. クリックしたノードからk-hop以内のアイテムを推薦候補 とし，その中から行動(推薦するアイテム)を決定 手法 2/2 (行動の決定) 7 得た候補もGCNにかける • 得た状態と行動から最も価値が高くなるアイテムを推薦 ◦ Dueling Q-Networkによって行動を決定 • Q関数を状態で決まる部分と行動で決まる部分に分けて求める
8. アイテムが32回クリックされるまでの平均報酬， 平均累積適合率，平均累積再現率で評価 評価 8 • データセットはBook-Crossing, MovieLens ◦ シミュレーションにより実験 ◦ 報酬(エージェントの評価)はシミュレーションで期待される レーティング値と推薦の成功回数を用いて決定 • ベースラインはGreedySVDやDDPG[1]など ◦ DDPG: 連続値空間でKNN+Q学習を用いて推薦を行う手法 [1] Dulac-Arnold et al. Deep reinforcement learning in large discrete action spaces. arXiv preprint arXiv:1512.07679 (2015)
9. 9 • ベースラインよりも良い パフォーマンスを記録 • 結果はAppendixに掲載 • より長い期間で実験した 結果，他の手法と比べて 少ない試行数で高い報酬 が得られることを確認 • 提案手法により効率的な 学習が実現できていると いえる 実験 提案手法
10. • 提案手法の各構成要素を除いてみて実験 ◦ グラフとして扱わない，GCNを用いない など • 知識グラフを除いた場合と過去のデータを用いて学習 した場合で結果にほぼ差がないとしている ◦ 知識グラフは過去のデータの代替手段となり得る • 知識グラフはコールドスタート問題にも有効といえる 提案手法の分析 10
11. アイデア: エージェントに知識グラフ を探索させ効率的に学習 まとめ 11 Q学習: 行動価値関数に基づくアルゴリズム 推薦候補となるアイテムを知識グラフから得る クリックしてきたアイテムの埋め込みから 状態(ユーザの選好)を得る Q学習に基づきエージェントの 行動(推薦するアイテム)を決定
12. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View(SIGIR 2020) 12 Authors: Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu
13. MOOCsで講義コースではなくknowledge conceptを推薦 ◦ knowledge concept(KC): depth-first search, binary tree など • 各講義動画のタグのような役割を果たす ◦ 目的: よりミクロな興味を考慮した推薦を可能にする 研究目的 13 MOOCsでのデータ例 ユーザのたどったKC
14. 手法の流れ 14 word2vecで KCを埋め込む Matrix Factorizationでユーザの KCへの興味を予測 クリック情報などからメタパスを 表す行列を生成 • メタパス: ノードを抽象化したパス ◦ ノード間の関係性を表現できる ◦ e.g. user-course-userは同じコースを受講する人の関係 生成した行列を考慮した 埋め込みを得る Attentionで 重み付け
15. • 緑: ユーザの興味に関係するKC ◦ より多く興味のあるKCを推薦できている • 水色: ユーザが実際にクリックしたKC ケーススタディ 15 コースのみを 考慮した場合 KCを考慮した場合
16. • knowledge conceptを考慮することで，よりミクロな 興味を考慮した推薦を可能にした ◦ よりユーザの要求に即した推薦を行っている ◦ knowledge concept(KC): depth-first search, binary tree など • メタパスとAttentionを用いてKCへの興味を予測 ◦ ノード間の関係性をメタパスで表し従来のコース推薦手法 と比較 まとめ 16
17. Appendix 17
18. KGQRのパフォーマンス 18