筑波大学 加藤研究室 B4 柳田雄輝 https://ynagi2.github.io/ Interactive Recommender System via Knowledge Graph- enhanced Reinforcement Learning(SIGIR 2020) Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View(SIGIR 2020) の紹介 2020-10-31 IR Reading 2020秋（オンライン）

Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning(SIGIR 2020) 2 Authors: Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu

• グラフに強化学習を用いた推薦手法が提案されている ○ 強化学習のエージェントがグラフ上を探索 ○ エージェントが辿ったパスから多様なアイテムを推薦可能 背景 3 NES CAFE うまい棒 pocky KitKat 共に買われたアイテムのネットワーク エージェント NES CAFE pocky KitKat pockyを買った人に NESCAFEを推薦 エージェントが辿ったパス 例

• 強化学習では多くのサンプリングとデータが必要 ○ エージェントの試行回数がかなり必要 • 効率的に学習したい • エージェントに知識グラフを探索させ効率的に学習 ○ e.g. うまい棒を見たユーザに対してはお菓子を中心に探索 本研究のアイデア 4 NES CAFE pocky KitKat Nestle お菓子 うまい 棒 知識グラフ お菓子以外は探索されない 2-hopまで辿るとすると， 任意のお菓子を辿れる produced by belongs to

手法の全体像 5 Q学習に基づきエージェントの 行動(推薦するアイテム)を決定 クリックしてきたアイテムの埋め込みから 状態(ユーザの選好)を得る 推薦候補となるアイテムを知識グラフから得る Q学習: 行動価値関数に基づくアルゴリズム

グラフ構造を加味した埋め込みをクリックしたアイテム順に RNNへ入力，状態(ユーザの選好)を得る 手法 1/2 (状態の表現) 6 Graph Convolutional Network(GCN)でグラフ構造を加味 アイテムの 埋め込み グラフ構造を加味した 埋め込みに変換 例 A B C 特徴量を持ったノード GCN A B C グラフ構造を加味した 特徴量を持ったノード

クリックしたノードからk-hop以内のアイテムを推薦候補 とし，その中から行動(推薦するアイテム)を決定 手法 2/2 (行動の決定) 7 得た候補もGCNにかける • 得た状態と行動から最も価値が高くなるアイテムを推薦 ○ Dueling Q-Networkによって行動を決定 • Q関数を状態で決まる部分と行動で決まる部分に分けて求める

アイテムが32回クリックされるまでの平均報酬， 平均累積適合率，平均累積再現率で評価 評価 8 • データセットはBook-Crossing, MovieLens ○ シミュレーションにより実験 ○ 報酬(エージェントの評価)はシミュレーションで期待される レーティング値と推薦の成功回数を用いて決定 • ベースラインはGreedySVDやDDPG[1]など ○ DDPG: 連続値空間でKNN+Q学習を用いて推薦を行う手法 [1] Dulac-Arnold et al. Deep reinforcement learning in large discrete action spaces. arXiv preprint arXiv:1512.07679 (2015)

9 • ベースラインよりも良い パフォーマンスを記録 • 結果はAppendixに掲載 • より長い期間で実験した 結果，他の手法と比べて 少ない試行数で高い報酬 が得られることを確認 • 提案手法により効率的な 学習が実現できていると いえる 実験 提案手法

• 提案手法の各構成要素を除いてみて実験 ○ グラフとして扱わない，GCNを用いない など • 知識グラフを除いた場合と過去のデータを用いて学習 した場合で結果にほぼ差がないとしている ○ 知識グラフは過去のデータの代替手段となり得る • 知識グラフはコールドスタート問題にも有効といえる 提案手法の分析 10

アイデア: エージェントに知識グラフ を探索させ効率的に学習 まとめ 11 Q学習: 行動価値関数に基づくアルゴリズム 推薦候補となるアイテムを知識グラフから得る クリックしてきたアイテムの埋め込みから 状態(ユーザの選好)を得る Q学習に基づきエージェントの 行動(推薦するアイテム)を決定

Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View(SIGIR 2020) 12 Authors: Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu

MOOCsで講義コースではなくknowledge conceptを推薦 ○ knowledge concept(KC): depth-first search, binary tree など • 各講義動画のタグのような役割を果たす ○ 目的: よりミクロな興味を考慮した推薦を可能にする 研究目的 13 MOOCsでのデータ例 ユーザのたどったKC

手法の流れ 14 word2vecで KCを埋め込む Matrix Factorizationでユーザの KCへの興味を予測 クリック情報などからメタパスを 表す行列を生成 • メタパス: ノードを抽象化したパス ○ ノード間の関係性を表現できる ○ e.g. user-course-userは同じコースを受講する人の関係 生成した行列を考慮した 埋め込みを得る Attentionで 重み付け

• 緑: ユーザの興味に関係するKC ○ より多く興味のあるKCを推薦できている • 水色: ユーザが実際にクリックしたKC ケーススタディ 15 コースのみを 考慮した場合 KCを考慮した場合

• knowledge conceptを考慮することで，よりミクロな 興味を考慮した推薦を可能にした ○ よりユーザの要求に即した推薦を行っている ○ knowledge concept(KC): depth-first search, binary tree など • メタパスとAttentionを用いてKCへの興味を予測 ○ ノード間の関係性をメタパスで表し従来のコース推薦手法 と比較 まとめ 16

Appendix 17

KGQRのパフォーマンス 18