Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LightGCN: Simplifying and Powering Graph Convol...
Search
tetsu9923
January 10, 2022
Technology
0
410
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
tetsu9923
January 10, 2022
Tweet
Share
More Decks by tetsu9923
See All by tetsu9923
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting
tetsu9923
0
35
Deep-learning Architecture for Short-term Passenger Flow Forecasting in Urban Rail Transit
tetsu9923
0
19
Other Decks in Technology
See All in Technology
新機能VPCリソースエンドポイント機能検証から得られた考察
duelist2020jp
0
210
プロダクト開発を加速させるためのQA文化の築き方 / How to build QA culture to accelerate product development
mii3king
1
250
フロントエンド設計にモブ設計を導入してみた / 20241212_cloudsign_TechFrontMeetup
bengo4com
0
1.9k
Password-less Journey - パスキーへの移行を見据えたユーザーの準備 @ AXIES 2024
ritou
3
1.4k
株式会社ログラス − エンジニア向け会社説明資料 / Loglass Comapany Deck for Engineer
loglass2019
3
31k
複雑性の高いオブジェクト編集に向き合う: プラガブルなReactフォーム設計
righttouch
PRO
0
110
日本版とグローバル版のモバイルアプリ統合の開発の裏側と今後の展望
miichan
1
120
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
150
Storage Browser for Amazon S3
miu_crescent
1
130
私なりのAIのご紹介 [2024年版]
qt_luigi
1
120
1等無人航空機操縦士一発試験 合格までの道のり ドローンミートアップ@大阪 2024/12/18
excdinc
0
150
Amazon VPC Lattice 最新アップデート紹介 - PrivateLink も似たようなアップデートあったけど違いとは
bigmuramura
0
190
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
169
14k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Bash Introduction
62gerente
608
210k
The Cost Of JavaScript in 2023
addyosmani
45
7k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Navigating Team Friction
lara
183
15k
Optimizing for Happiness
mojombo
376
70k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Become a Pro
speakerdeck
PRO
26
5k
Transcript
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation [He+,
SIGIR 2020] • テーマ • 情報推薦向けに単純化したGCNモデルを提案 • 概要 • GCNを用いた協調フィルタリングの手法である Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] の構造を単純化したLightGCNを提案 • 結果 • NGCFよりも計算コスト、精度の両面で性能向上 1
Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] • GCNを用いてユーザ・アイテム間の相互関係を考慮した
埋め込み表現を得る手法 • それらの内積をとってリンクごとにスコアを得る 2
Neural Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] 3 ユーザ埋め込みベ
クトル アイテム埋め込み ベクトル ユーザ𝑢に隣接 するアイテム𝑖 アイテム𝑖に隣接 するユーザ𝑢
NGCFの各要素を取り除く • NGCFの各要素を取り除き、単純化したモデルの精度を検証 • NGCF-f: 特徴変換行列 , を取り除く • NGCF-n:
非線形関数σを取り除く • NGCF-fn: , とσの両方を取り除く 4
NGCFの各要素を取り除く • 非線形関数σを取り除くと精度は下がるが、特徴変換行列 , を 取り除くと精度が上がる • 両方取り除くと最も精度が高くなる 5
LightGCN • 各層では近傍ノードの特徴量の和を取るだけ • 各層の出力の重み付き和( )を最終的な出力とする • 学習するパラメータはノードの初期特徴量 , のみ
6
LightGCN 7
結果 8 • 精度、収束速度の両面でLightGCNが優れている • Gowalla: ユーザを推薦?(位置情報を利用したSNS) • Yelp2018: お店を推薦(≒食べログ)
• Amazon-book: 本を推薦
結果 • 精度、収束速度の両面でLightGCNが優れている • Gowalla: ユーザを推薦?(位置情報を利用したSNS) • Yelp2018: お店を推薦(≒食べログ) •
Amazon-book: 本を推薦 9
単純化して精度が上がる理由の考察 • 一般的なGCNのノード分類タスクでは、ノードに意味的な特徴量が 付与される(e.g. 論文のdoc2vec) • ユーザ・アイテム間の関係を表すグラフにおいては、 ノードの初期特徴量がIDを表すone-hotベクトルでしかない → 特徴変換や非線形関数をかける操作がより良い特徴量を学習する
ことに貢献しない • 単純な入力に複雑すぎる操作を加えても意味ない、というイメージ 10
まとめ • テーマ • 情報推薦向けに単純化したGCNモデルを提案 • 概要 • GCNを用いた協調フィルタリングの手法である Neural
Graph Collaborative Filtering (NGCF) [Wang+, SIGIR 2019] の構造を単純化したLightGCNを提案 • 結果 • NGCFよりも計算コスト、精度の両面で性能向上 11