Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LightGCN: Simplifying and Powering Graph Convol...
Search
tetsu9923
January 10, 2022
Technology
0
330
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
tetsu9923
January 10, 2022
Tweet
Share
More Decks by tetsu9923
See All by tetsu9923
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting
tetsu9923
0
35
Deep-learning Architecture for Short-term Passenger Flow Forecasting in Urban Rail Transit
tetsu9923
0
19
Other Decks in Technology
See All in Technology
Strong Skipping Mode によってrecompositionはどう変わったのか
mikanichinose
0
110
Making Linux sucks less
ennael
PRO
0
440
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
340
あなたのアプリケーションをレガシーコードにしないための実践Pytest入門/pyconjp2024_pytest
mhrtech
6
1.2k
C# 13 / .NET 9 の新機能 (RC 1 時点)
nenonaninu
1
1.1k
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
11
2.7k
ITエンジニアとして知っておいてほしい、電子メールという大きな穴
logica0419
1
290
FastAPIでのasync defとdefの使い分け
takashi1029
6
1.7k
【swonet.conf_】NOCメンバーが語るSTMの実態!! ~ShowNetから若者への贈り物~
shownet
PRO
0
210
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
3
540
HashHub会社案内「なぜ今、パブリックブロックチェーンに賭けるのか」
hashhub
3
75k
LINEヤフー新卒採用 コーディングテスト解説 アルゴリズム問題編
lycorp_recruit_jp
0
12k
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
104
48k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.6k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Become a Pro
speakerdeck
PRO
23
4.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
124
18k
How GitHub Uses GitHub to Build GitHub
holman
472
290k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
Building Adaptive Systems
keathley
37
2.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
90
16k
[RailsConf 2023] Rails as a piece of cake
palkan
49
4.7k
Transcript
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation [He+,
SIGIR 2020] • テーマ • 情報推薦向けに単純化したGCNモデルを提案 • 概要 • GCNを用いた協調フィルタリングの手法である Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] の構造を単純化したLightGCNを提案 • 結果 • NGCFよりも計算コスト、精度の両面で性能向上 1
Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] • GCNを用いてユーザ・アイテム間の相互関係を考慮した
埋め込み表現を得る手法 • それらの内積をとってリンクごとにスコアを得る 2
Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] 3 ユーザ埋め込みベ
クトル アイテム埋め込み ベクトル ユーザ𝑢に隣接 するアイテム𝑖 アイテム𝑖に隣接 するユーザ𝑢
NGCFの各要素を取り除く • NGCFの各要素を取り除き、単純化したモデルの精度を検証 • NGCF-f: 特徴変換行列 , を取り除く • NGCF-n:
非線形関数σを取り除く • NGCF-fn: , とσの両方を取り除く 4
NGCFの各要素を取り除く • 非線形関数σを取り除くと精度は下がるが、特徴変換行列 , を 取り除くと精度が上がる • 両方取り除くと最も精度が高くなる 5
LightGCN • 各層では近傍ノードの特徴量の和を取るだけ • 各層の出力の重み付き和( )を最終的な出力とする • 学習するパラメータはノードの初期特徴量 , のみ
6
LightGCN 7
結果 8 • 精度、収束速度の両面でLightGCNが優れている • Gowalla: ユーザを推薦?(位置情報を利用したSNS) • Yelp2018: お店を推薦(≒食べログ)
• Amazon-book: 本を推薦
結果 • 精度、収束速度の両面でLightGCNが優れている • Gowalla: ユーザを推薦?(位置情報を利用したSNS) • Yelp2018: お店を推薦(≒食べログ) •
Amazon-book: 本を推薦 9
単純化して精度が上がる理由の考察 • 一般的なGCNのノード分類タスクでは、ノードに意味的な特徴量が 付与される(e.g. 論文のdoc2vec) • ユーザ・アイテム間の関係を表すグラフにおいては、 ノードの初期特徴量がIDを表すone-hotベクトルでしかない → 特徴変換や非線形関数をかける操作がより良い特徴量を学習する
ことに貢献しない • 単純な入力に複雑すぎる操作を加えても意味ない、というイメージ 10
まとめ • テーマ • 情報推薦向けに単純化したGCNモデルを提案 • 概要 • GCNを用いた協調フィルタリングの手法である Neural
Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] の構造を単純化したLightGCNを提案 • 結果 • NGCFよりも計算コスト、精度の両面で性能向上 11