Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LightGCN: Simplifying and Powering Graph Convol...
Search
tetsu9923
January 10, 2022
Technology
0
580
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
tetsu9923
January 10, 2022
Tweet
Share
More Decks by tetsu9923
See All by tetsu9923
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting
tetsu9923
0
46
Deep-learning Architecture for Short-term Passenger Flow Forecasting in Urban Rail Transit
tetsu9923
0
24
Other Decks in Technology
See All in Technology
Building a cloud native business on open source
lizrice
0
180
プロダクト開発と社内データ活用での、BI×AIの現在地 / Data_Findy
sansan_randd
0
180
Implementing and Evaluating a High-Level Language with WasmGC and the Wasm Component Model: Scala’s Case
tanishiking
0
190
RemoteFunctionを使ったコロケーション
mkazutaka
1
120
AI-Readyを目指した非構造化データのメダリオンアーキテクチャ
r_miura
1
330
AI機能プロジェクト炎上の 3つのしくじりと学び
nakawai
0
120
OCIjp_Oracle AI World_Recap
shinpy
1
180
Azure Well-Architected Framework入門
tomokusaba
1
130
ViteとTypeScriptのProject Referencesで 大規模モノレポのUIカタログのリリースサイクルを高速化する
shuta13
3
210
IBC 2025 動画技術関連レポート / IBC 2025 Report
cyberagentdevelopers
PRO
2
180
クラウドとリアルの融合により、製造業はどう変わるのか?〜クラスメソッドの製造業への取組と共に〜
hamadakoji
0
430
AI駆動で進める依存ライブラリ更新 ─ Vue プロジェクトの品質向上と開発スピード改善の実践録
sayn0
1
320
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
658
61k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
Embracing the Ebb and Flow
colly
88
4.9k
Why Our Code Smells
bkeepers
PRO
340
57k
Unsuck your backbone
ammeep
671
58k
Scaling GitHub
holman
463
140k
Speed Design
sergeychernyshev
32
1.2k
The Invisible Side of Design
smashingmag
302
51k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Optimising Largest Contentful Paint
csswizardry
37
3.5k
Transcript
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation [He+,
SIGIR 2020] • テーマ • 情報推薦向けに単純化したGCNモデルを提案 • 概要 • GCNを用いた協調フィルタリングの手法である Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] の構造を単純化したLightGCNを提案 • 結果 • NGCFよりも計算コスト、精度の両面で性能向上 1
Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] • GCNを用いてユーザ・アイテム間の相互関係を考慮した
埋め込み表現を得る手法 • それらの内積をとってリンクごとにスコアを得る 2
Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] 3 ユーザ埋め込みベ
クトル アイテム埋め込み ベクトル ユーザ𝑢に隣接 するアイテム𝑖 アイテム𝑖に隣接 するユーザ𝑢
NGCFの各要素を取り除く • NGCFの各要素を取り除き、単純化したモデルの精度を検証 • NGCF-f: 特徴変換行列 , を取り除く • NGCF-n:
非線形関数σを取り除く • NGCF-fn: , とσの両方を取り除く 4
NGCFの各要素を取り除く • 非線形関数σを取り除くと精度は下がるが、特徴変換行列 , を 取り除くと精度が上がる • 両方取り除くと最も精度が高くなる 5
LightGCN • 各層では近傍ノードの特徴量の和を取るだけ • 各層の出力の重み付き和( )を最終的な出力とする • 学習するパラメータはノードの初期特徴量 , のみ
6
LightGCN 7
結果 8 • 精度、収束速度の両面でLightGCNが優れている • Gowalla: ユーザを推薦?(位置情報を利用したSNS) • Yelp2018: お店を推薦(≒食べログ)
• Amazon-book: 本を推薦
結果 • 精度、収束速度の両面でLightGCNが優れている • Gowalla: ユーザを推薦?(位置情報を利用したSNS) • Yelp2018: お店を推薦(≒食べログ) •
Amazon-book: 本を推薦 9
単純化して精度が上がる理由の考察 • 一般的なGCNのノード分類タスクでは、ノードに意味的な特徴量が 付与される(e.g. 論文のdoc2vec) • ユーザ・アイテム間の関係を表すグラフにおいては、 ノードの初期特徴量がIDを表すone-hotベクトルでしかない → 特徴変換や非線形関数をかける操作がより良い特徴量を学習する
ことに貢献しない • 単純な入力に複雑すぎる操作を加えても意味ない、というイメージ 10
まとめ • テーマ • 情報推薦向けに単純化したGCNモデルを提案 • 概要 • GCNを用いた協調フィルタリングの手法である Neural
Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] の構造を単純化したLightGCNを提案 • 結果 • NGCFよりも計算コスト、精度の両面で性能向上 11