Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
Search
cocomoff
July 04, 2023
Research
0
33
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
July 04, 2023
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
220
ClimaX: A foundation model for weather and climate
cocomoff
0
400
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
140
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
150
論文読み会 AAAI2022 | Online Certification of Preference-based Fairness for Personalized Recommender Systems
cocomoff
0
390
論文読み会 HT2010 | Automatic Construction of Travel Itineraries Using Social Breadcrumbs
cocomoff
0
87
論文読み会 SIG-SPATIAL'21 | Brownian Bridge Interpolation for Human Mobility?
cocomoff
0
250
論文読み会 SIG-SPATIAL'20 | Spatio-Temporal Hierarchical Adaptive Dispatching for Ridesharing Systems
cocomoff
0
44
論文読み会 SDM2021 | LDFeRR: A Fuel-efficient Route Recommendation Approach for Long-distance Driving Based on Historical Trajectories
cocomoff
0
59
Other Decks in Research
See All in Research
機械学習を用いたポケモン対戦選出予測
fufufukakaka
1
560
The past, present, and future of local-first
ept
0
390
高精度、高効率アナログCompute-in-Memory回路に向けて
kentaroy47
2
110
-SSII技術マップを通して見る過去・現在,そして未来-
hf149
1
490
ヘルプデスクの事例で学ぶAIエージェント
masatoto
11
4.5k
IVILab. Research Introduction
ysugano
0
260
LINEチャットボット「全力肯定彼氏くん(LuC4)」の 1年を振り返る
o_ob
0
680
SSII2024 [PD] 画像センシングの未来
ssii
PRO
0
290
動物倫理学ことはじめ:人間以外の動物との倫理的な付き合い方を考える
takeshit_m
0
350
Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift
nanofi
3
230
Minimum Bayes-Risk Decoding における性能変動の理解に向けて(2024年6月5日 第59回 NLPコロキウム)
atsumoto
0
210
ICLR2024 LLMエージェントの研究動向
masatoto
13
9.1k
Featured
See All Featured
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.6k
Into the Great Unknown - MozCon
thekraken
20
1.3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Creatively Recalculating Your Daily Design Routine
revolveconf
214
11k
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
A better future with KSS
kneath
231
17k
A Philosophy of Restraint
colly
200
16k
Writing Fast Ruby
sferik
623
60k
Fireside Chat
paigeccino
25
2.8k
Building an army of robots
kneath
301
42k
Design by the Numbers
sachag
277
18k
Atom: Resistance is Futile
akmur
261
25k
Transcript
Knowledge-Enhanced Top-K Recommendation in Poincaré Ball 著者: Chen Ma, Liheng
Ma, Yingxue Zhang, Haolun Wu, Xue Liu, Mark Coates (McGill Univ. & Huawei Noah's Ark Lab Montreal) 学会: AAAI2021 2023-7-4 @cocomoff 1/17
発表の内容 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ: 外部知識を表現する
(e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 2/17
概要 (イントロ) 推薦モデル (例: アイテムの評価値を計算する) + 知識グラフ (例: 同じ監督) KG活用のこれまでのアプローチと課題
[アプローチ] Path-based: KG上の経路を使って高次の情報を活用する [アプローチ] Regularization-based: KG由来のロスを追加する [課題] KG埋め込みがユークリッド空間 [課題] KG上で隣接するentityの扱いが効率的ではなかった [課題] KG由来のロスを制御するハイパーパラメータの調整が難しかった 提案手法 (後述) は前ページの3つの技術的な貢献によって良い性能を出した 3/17
(1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した 4/17
ポアンカレ埋め込みの復習 非ユークリッド空間の1つである、双極空間に埋め 込む手法の代表例 (NeurIPS2017) 次元 、半径 の空間 ; . 局所的な測り方
ユークリッド空間: ; 円周に近づくと無限 距離 (歪んでるので測地線を使う) として : メビウス和 (右) 歴史的には他にもあった 勾配法は少し改造 (Riemannian SGD) 勾配を求めて、軽量を直して (歪み補正)、更新して、歪んだ空間に戻す 5/17
埋め込みベクトルとランキングロス・知識グラフ ランキングロス [前ページ] ベクトル の間の距離 が得られた ユーザ と アイテム の距離
を用いてランキングロスを考える ユーザ 、正例 、負例 について: KG 知識グラフ あるアイテム のKG情報 TransE-styleの埋め込みを考える (ユークリッド空間で のこと) ポアンカレ空間上の距離が近いと大きくなる重み 6/17
知識グラフの活用 近傍の情報を集約すれば良いが、曲がっている空間で重み付き集約できるのか 提案手法: hyperbolic attention [知見1] 双極空間モデルの1つであるクライン円盤モデルでは、Einstein midpoint という名前のものが存在することが知られている [知見2]
クライン円盤モデル( )とポアンカレボール( )は対応関係がある 対応関係は 7/17
知識グラフの活用(全体のロス) ポアンカレ埋め込みを学習するとき、知識グラフのデータを活用したい 英語: "The goal is to transfer the inductive
bias in KG to the item representation:" 乖離具合を評価するために、集約したものと学習している埋め込みベクトルとの距離 を使う 全体のロスは 8/17
(3) ハイパーパラメータに対処するためにバイレベル最適化を導入した 9/17
ロスのパラメータ化とバイレベル最適化 これまでもロスをくっつけるタイプの枠組みはあったが [課題1] ハイパラ の扱いが微妙だった (固定するとデータセットで異なる) [課題2] そもそもアイテム によって の強さが変わりそう
[課題3] 学習が進んでいくとそもそも の調整がいりそう 対策: ロスをパラメタライズする: . バイレベル最適化 (最適化が入れ子になったやつ。NASがとかもそう) に落とし込む 内側 (inner): を固定したときの全体ロス最良な を求める 外側 (outer): に対してランキングロス最良な を求める 10/17
バイレベル最適化を交互最適化と正則化を着けて解く 入れ子になっていても勾配は近似できる 近似関係を使って更新式を代用する (define a proxy function to link ...)
あとは と を順番に更新する Adamを使う 正則化も乗っている 結局ハイパラ は復活したけど、[課題 2]と[課題3] は対応できてそう 11/17
バイレベル最適化のブロック図 12/17
(4) 実験で性能を確認した 13/17
データセット・比較手法・結果 推薦でよく出てくるデータセット: Amazon-book、Last-FM、Yelp2018 いずれも80%を学習データ (内10%がvalidation)に、20%をテストデータに 評価指標: Recall@K と NDCG@K 比較手法
Factorization Machine とそのニューラルタイプ: MF/NMF 既存のKG活用手法: CKE (MF+TransR)/CFKG (TransE)/RippleNet/GC- MC (GCN)/KGAT 提案手法 Hyper-Know 14/17
Ablation BPR + E/H (Euclidean v.s. Hyperbolic) BPR + Att
+ E/H (Hyperbolic Attentionの比較) BPR + Avg + H (BPR + Att + H のAttをただの平均に置き換えた) Hyper-Know (全部) 15/17
計算時間・埋め込みの可視化 効率的 埋め込みを可視化した例 (3階層ぐらいを学習した) 16/17
まとめ (再掲) 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ:
外部知識を表現する (e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 17/17