IRReading2020Fall-yanagida

IR Reading 2020秋（オンライン）で以下の論文を紹介しました．
Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu. Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401174.
Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401057.

Transcript

1. 筑波大学 加藤研究室 B4
   柳田雄輝
   https://ynagi2.github.io/
   Interactive Recommender System via Knowledge Graph-
   enhanced Reinforcement Learning(SIGIR 2020)
   Attentional Graph Convolutional Networks for Knowledge
   Concept Recommendation in MOOCs in a Heterogeneous
   View(SIGIR 2020)
   の紹介
   2020-10-31
   IR Reading 2020秋（オンライン）
   

   View Slide

2. Interactive Recommender System via Knowledge
   Graph-enhanced Reinforcement Learning(SIGIR 2020)
   2
   Authors: Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang,
   Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu
   

   View Slide

3. • グラフに強化学習を用いた推薦手法が提案されている
   ○ 強化学習のエージェントがグラフ上を探索
   ○ エージェントが辿ったパスから多様なアイテムを推薦可能
   背景 3
   NES
   CAFE
   うまい棒
   pocky
   KitKat
   共に買われたアイテムのネットワーク
   エージェント
   NES
   CAFE
   pocky KitKat pockyを買った人に
   NESCAFEを推薦
   エージェントが辿ったパス
   例
   

   View Slide

4. • 強化学習では多くのサンプリングとデータが必要
   ○ エージェントの試行回数がかなり必要
   • 効率的に学習したい
   • エージェントに知識グラフを探索させ効率的に学習
   ○ e.g. うまい棒を見たユーザに対してはお菓子を中心に探索
   本研究のアイデア 4
   NES
   CAFE
   pocky
   KitKat Nestle
   お菓子
   うまい
   棒
   知識グラフ
   お菓子以外は探索されない
   2-hopまで辿るとすると，
   任意のお菓子を辿れる
   produced
   by
   belongs
   to
   

   View Slide

5. 手法の全体像 5
   Q学習に基づきエージェントの
   行動(推薦するアイテム)を決定
   クリックしてきたアイテムの埋め込みから
   状態(ユーザの選好)を得る
   推薦候補となるアイテムを知識グラフから得る
   Q学習: 行動価値関数に基づくアルゴリズム
   

   View Slide

6. グラフ構造を加味した埋め込みをクリックしたアイテム順に
   RNNへ入力，状態(ユーザの選好)を得る
   手法 1/2 (状態の表現) 6
   Graph Convolutional Network(GCN)でグラフ構造を加味
   アイテムの
   埋め込み
   グラフ構造を加味した
   埋め込みに変換
   例 A
   B C
   特徴量を持ったノード
   GCN
   A
   B C
   グラフ構造を加味した
   特徴量を持ったノード
   

   View Slide

7. クリックしたノードからk-hop以内のアイテムを推薦候補
   とし，その中から行動(推薦するアイテム)を決定
   手法 2/2 (行動の決定) 7
   得た候補もGCNにかける
   • 得た状態と行動から最も価値が高くなるアイテムを推薦
   ○ Dueling Q-Networkによって行動を決定
   • Q関数を状態で決まる部分と行動で決まる部分に分けて求める
   

   View Slide

8. アイテムが32回クリックされるまでの平均報酬，
   平均累積適合率，平均累積再現率で評価
   評価 8
   • データセットはBook-Crossing, MovieLens
   ○ シミュレーションにより実験
   ○ 報酬(エージェントの評価)はシミュレーションで期待される
   レーティング値と推薦の成功回数を用いて決定
   • ベースラインはGreedySVDやDDPG[1]など
   ○ DDPG: 連続値空間でKNN+Q学習を用いて推薦を行う手法
   [1] Dulac-Arnold et al. Deep reinforcement learning in large discrete action spaces. arXiv preprint
   arXiv:1512.07679 (2015)
   

   View Slide

9. 9
   • ベースラインよりも良い
   パフォーマンスを記録
   • 結果はAppendixに掲載
   • より長い期間で実験した
   結果，他の手法と比べて
   少ない試行数で高い報酬
   が得られることを確認
   • 提案手法により効率的な
   学習が実現できていると
   いえる
   実験
   提案手法
   

   View Slide

10. • 提案手法の各構成要素を除いてみて実験
    ○ グラフとして扱わない，GCNを用いない など
    • 知識グラフを除いた場合と過去のデータを用いて学習
    した場合で結果にほぼ差がないとしている
    ○ 知識グラフは過去のデータの代替手段となり得る
    • 知識グラフはコールドスタート問題にも有効といえる
    提案手法の分析 10
    

    View Slide

11. アイデア:
    エージェントに知識グラフ
    を探索させ効率的に学習
    まとめ 11
    Q学習: 行動価値関数に基づくアルゴリズム
    推薦候補となるアイテムを知識グラフから得る
    クリックしてきたアイテムの埋め込みから
    状態(ユーザの選好)を得る
    Q学習に基づきエージェントの
    行動(推薦するアイテム)を決定
    

    View Slide

12. Attentional Graph Convolutional Networks for
    Knowledge Concept Recommendation in MOOCs in
    a Heterogeneous View(SIGIR 2020)
    12
    Authors: Jibing Gong, Shen Wang, Jinlong Wang,
    Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu
    

    View Slide

13. MOOCsで講義コースではなくknowledge conceptを推薦
    ○ knowledge concept(KC): depth-first search, binary tree など
    • 各講義動画のタグのような役割を果たす
    ○ 目的: よりミクロな興味を考慮した推薦を可能にする
    研究目的 13
    MOOCsでのデータ例 ユーザのたどったKC
    

    View Slide

14. 手法の流れ 14
    word2vecで
    KCを埋め込む
    Matrix Factorizationでユーザの
    KCへの興味を予測
    クリック情報などからメタパスを
    表す行列を生成
    • メタパス: ノードを抽象化したパス
    ○ ノード間の関係性を表現できる
    ○ e.g. user-course-userは同じコースを受講する人の関係
    生成した行列を考慮した
    埋め込みを得る
    Attentionで
    重み付け
    

    View Slide

15. • 緑: ユーザの興味に関係するKC
    ○ より多く興味のあるKCを推薦できている
    • 水色: ユーザが実際にクリックしたKC
    ケーススタディ 15
    コースのみを
    考慮した場合
    KCを考慮した場合
    

    View Slide

16. • knowledge conceptを考慮することで，よりミクロな
    興味を考慮した推薦を可能にした
    ○ よりユーザの要求に即した推薦を行っている
    ○ knowledge concept(KC): depth-first search, binary tree など
    • メタパスとAttentionを用いてKCへの興味を予測
    ○ ノード間の関係性をメタパスで表し従来のコース推薦手法
    と比較
    まとめ 16
    

    View Slide

17. Appendix
    17
    

    View Slide

18. KGQRのパフォーマンス 18
    

    View Slide