$30 off During Our Annual Pro Sale. View Details »

IRReading2020Fall-yanagida

 IRReading2020Fall-yanagida

IR Reading 2020秋(オンライン)で以下の論文を紹介しました.
Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu. Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401174.
Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401057.

YANAGIDA Yuki

October 31, 2020
Tweet

More Decks by YANAGIDA Yuki

Other Decks in Research

Transcript

  1. 筑波大学 加藤研究室 B4
    柳田雄輝
    https://ynagi2.github.io/
    Interactive Recommender System via Knowledge Graph-
    enhanced Reinforcement Learning(SIGIR 2020)
    Attentional Graph Convolutional Networks for Knowledge
    Concept Recommendation in MOOCs in a Heterogeneous
    View(SIGIR 2020)
    の紹介
    2020-10-31
    IR Reading 2020秋(オンライン)

    View Slide

  2. Interactive Recommender System via Knowledge
    Graph-enhanced Reinforcement Learning(SIGIR 2020)
    2
    Authors: Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang,
    Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu

    View Slide

  3. • グラフに強化学習を用いた推薦手法が提案されている
    ○ 強化学習のエージェントがグラフ上を探索
    ○ エージェントが辿ったパスから多様なアイテムを推薦可能
    背景 3
    NES
    CAFE
    うまい棒
    pocky
    KitKat
    共に買われたアイテムのネットワーク
    エージェント
    NES
    CAFE
    pocky KitKat pockyを買った人に
    NESCAFEを推薦
    エージェントが辿ったパス

    View Slide

  4. • 強化学習では多くのサンプリングとデータが必要
    ○ エージェントの試行回数がかなり必要
    • 効率的に学習したい
    • エージェントに知識グラフを探索させ効率的に学習
    ○ e.g. うまい棒を見たユーザに対してはお菓子を中心に探索
    本研究のアイデア 4
    NES
    CAFE
    pocky
    KitKat Nestle
    お菓子
    うまい

    知識グラフ
    お菓子以外は探索されない
    2-hopまで辿るとすると,
    任意のお菓子を辿れる
    produced
    by
    belongs
    to

    View Slide

  5. 手法の全体像 5
    Q学習に基づきエージェントの
    行動(推薦するアイテム)を決定
    クリックしてきたアイテムの埋め込みから
    状態(ユーザの選好)を得る
    推薦候補となるアイテムを知識グラフから得る
    Q学習: 行動価値関数に基づくアルゴリズム

    View Slide

  6. グラフ構造を加味した埋め込みをクリックしたアイテム順に
    RNNへ入力,状態(ユーザの選好)を得る
    手法 1/2 (状態の表現) 6
    Graph Convolutional Network(GCN)でグラフ構造を加味
    アイテムの
    埋め込み
    グラフ構造を加味した
    埋め込みに変換
    例 A
    B C
    特徴量を持ったノード
    GCN
    A
    B C
    グラフ構造を加味した
    特徴量を持ったノード

    View Slide

  7. クリックしたノードからk-hop以内のアイテムを推薦候補
    とし,その中から行動(推薦するアイテム)を決定
    手法 2/2 (行動の決定) 7
    得た候補もGCNにかける
    • 得た状態と行動から最も価値が高くなるアイテムを推薦
    ○ Dueling Q-Networkによって行動を決定
    • Q関数を状態で決まる部分と行動で決まる部分に分けて求める

    View Slide

  8. アイテムが32回クリックされるまでの平均報酬,
    平均累積適合率,平均累積再現率で評価
    評価 8
    • データセットはBook-Crossing, MovieLens
    ○ シミュレーションにより実験
    ○ 報酬(エージェントの評価)はシミュレーションで期待される
    レーティング値と推薦の成功回数を用いて決定
    • ベースラインはGreedySVDやDDPG[1]など
    ○ DDPG: 連続値空間でKNN+Q学習を用いて推薦を行う手法
    [1] Dulac-Arnold et al. Deep reinforcement learning in large discrete action spaces. arXiv preprint
    arXiv:1512.07679 (2015)

    View Slide

  9. 9
    • ベースラインよりも良い
    パフォーマンスを記録
    • 結果はAppendixに掲載
    • より長い期間で実験した
    結果,他の手法と比べて
    少ない試行数で高い報酬
    が得られることを確認
    • 提案手法により効率的な
    学習が実現できていると
    いえる
    実験
    提案手法

    View Slide

  10. • 提案手法の各構成要素を除いてみて実験
    ○ グラフとして扱わない,GCNを用いない など
    • 知識グラフを除いた場合と過去のデータを用いて学習
    した場合で結果にほぼ差がないとしている
    ○ 知識グラフは過去のデータの代替手段となり得る
    • 知識グラフはコールドスタート問題にも有効といえる
    提案手法の分析 10

    View Slide

  11. アイデア:
    エージェントに知識グラフ
    を探索させ効率的に学習
    まとめ 11
    Q学習: 行動価値関数に基づくアルゴリズム
    推薦候補となるアイテムを知識グラフから得る
    クリックしてきたアイテムの埋め込みから
    状態(ユーザの選好)を得る
    Q学習に基づきエージェントの
    行動(推薦するアイテム)を決定

    View Slide

  12. Attentional Graph Convolutional Networks for
    Knowledge Concept Recommendation in MOOCs in
    a Heterogeneous View(SIGIR 2020)
    12
    Authors: Jibing Gong, Shen Wang, Jinlong Wang,
    Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu

    View Slide

  13. MOOCsで講義コースではなくknowledge conceptを推薦
    ○ knowledge concept(KC): depth-first search, binary tree など
    • 各講義動画のタグのような役割を果たす
    ○ 目的: よりミクロな興味を考慮した推薦を可能にする
    研究目的 13
    MOOCsでのデータ例 ユーザのたどったKC

    View Slide

  14. 手法の流れ 14
    word2vecで
    KCを埋め込む
    Matrix Factorizationでユーザの
    KCへの興味を予測
    クリック情報などからメタパスを
    表す行列を生成
    • メタパス: ノードを抽象化したパス
    ○ ノード間の関係性を表現できる
    ○ e.g. user-course-userは同じコースを受講する人の関係
    生成した行列を考慮した
    埋め込みを得る
    Attentionで
    重み付け

    View Slide

  15. • 緑: ユーザの興味に関係するKC
    ○ より多く興味のあるKCを推薦できている
    • 水色: ユーザが実際にクリックしたKC
    ケーススタディ 15
    コースのみを
    考慮した場合
    KCを考慮した場合

    View Slide

  16. • knowledge conceptを考慮することで,よりミクロな
    興味を考慮した推薦を可能にした
    ○ よりユーザの要求に即した推薦を行っている
    ○ knowledge concept(KC): depth-first search, binary tree など
    • メタパスとAttentionを用いてKCへの興味を予測
    ○ ノード間の関係性をメタパスで表し従来のコース推薦手法
    と比較
    まとめ 16

    View Slide

  17. Appendix
    17

    View Slide

  18. KGQRのパフォーマンス 18

    View Slide