Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

tetsu9923
January 10, 2022

LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

tetsu9923

January 10, 2022
Tweet

More Decks by tetsu9923

Other Decks in Technology

Transcript

  1. LightGCN: Simplifying and Powering
    Graph Convolution Network for Recommendation
    [He+, SIGIR 2020]
    • テーマ
    • 情報推薦向けに単純化したGCNモデルを提案
    • 概要
    • GCNを用いた協調フィルタリングの手法である
    Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019]
    の構造を単純化したLightGCNを提案
    • 結果
    • NGCFよりも計算コスト、精度の両面で性能向上
    1

    View Slide

  2. Neural Graph Collaborative Filtering
    (NGCF) [Wang+, SIGIR 2019]
    • GCNを用いてユーザ・アイテム間の相互関係を考慮した
    埋め込み表現を得る手法
    • それらの内積をとってリンクごとにスコアを得る
    2

    View Slide

  3. Neural Graph Collaborative Filtering
    (NGCF) [Wang+, SIGIR 2019]
    3
    ユーザ埋め込みベ
    クトル
    アイテム埋め込み
    ベクトル
    ユーザ𝑢に隣接
    するアイテム𝑖
    アイテム𝑖に隣接
    するユーザ𝑢

    View Slide

  4. NGCFの各要素を取り除く
    • NGCFの各要素を取り除き、単純化したモデルの精度を検証
    • NGCF-f: 特徴変換行列 , を取り除く
    • NGCF-n: 非線形関数σを取り除く
    • NGCF-fn: , とσの両方を取り除く
    4

    View Slide

  5. NGCFの各要素を取り除く
    • 非線形関数σを取り除くと精度は下がるが、特徴変換行列 , を
    取り除くと精度が上がる
    • 両方取り除くと最も精度が高くなる
    5

    View Slide

  6. LightGCN
    • 各層では近傍ノードの特徴量の和を取るだけ
    • 各層の出力の重み付き和( )を最終的な出力とする
    • 学習するパラメータはノードの初期特徴量 , のみ
    6

    View Slide

  7. LightGCN
    7

    View Slide

  8. 結果
    8
    • 精度、収束速度の両面でLightGCNが優れている
    • Gowalla: ユーザを推薦?(位置情報を利用したSNS)
    • Yelp2018: お店を推薦(≒食べログ)
    • Amazon-book: 本を推薦

    View Slide

  9. 結果
    • 精度、収束速度の両面でLightGCNが優れている
    • Gowalla: ユーザを推薦?(位置情報を利用したSNS)
    • Yelp2018: お店を推薦(≒食べログ)
    • Amazon-book: 本を推薦
    9

    View Slide

  10. 単純化して精度が上がる理由の考察
    • 一般的なGCNのノード分類タスクでは、ノードに意味的な特徴量が
    付与される(e.g. 論文のdoc2vec)
    • ユーザ・アイテム間の関係を表すグラフにおいては、
    ノードの初期特徴量がIDを表すone-hotベクトルでしかない
    → 特徴変換や非線形関数をかける操作がより良い特徴量を学習する
    ことに貢献しない
    • 単純な入力に複雑すぎる操作を加えても意味ない、というイメージ
    10

    View Slide

  11. まとめ
    • テーマ
    • 情報推薦向けに単純化したGCNモデルを提案
    • 概要
    • GCNを用いた協調フィルタリングの手法である
    Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019]
    の構造を単純化したLightGCNを提案
    • 結果
    • NGCFよりも計算コスト、精度の両面で性能向上
    11

    View Slide