Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recom...
Search
cocomoff
July 04, 2023
Research
0
73
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
July 04, 2023
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
54
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
40
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
220
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
120
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
37
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
290
ClimaX: A foundation model for weather and climate
cocomoff
0
570
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
230
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
200
Other Decks in Research
See All in Research
「エージェントって何?」から「実際の開発現場で役立つ考え方やベストプラクティス」まで
mickey_kubo
0
120
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
yumulab
0
220
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.4k
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
1
510
数理最適化に基づく制御
mickey_kubo
5
650
クラウドのテレメトリーシステム研究動向2025年
yuukit
3
950
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
satai
3
410
90 分で学ぶ P 対 NP 問題
e869120
17
7.4k
コーパスを丸呑みしたモデルから言語の何がわかるか
eumesy
PRO
12
3.7k
SSII2025 [SS2] 横浜DeNAベイスターズの躍進を支えたAIプロダクト
ssii
PRO
6
3.3k
Mathematics in the Age of AI and the 4 Generation University
hachama
0
160
Streamlit 総合解説 ~ PythonistaのためのWebアプリ開発 ~
mickey_kubo
1
870
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.5k
Why Our Code Smells
bkeepers
PRO
337
57k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
228
22k
RailsConf 2023
tenderlove
30
1.1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Unsuck your backbone
ammeep
671
58k
The Straight Up "How To Draw Better" Workshop
denniskardys
233
140k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Six Lessons from altMBA
skipperchong
28
3.8k
Building a Modern Day E-commerce SEO Strategy
aleyda
41
7.3k
Transcript
Knowledge-Enhanced Top-K Recommendation in Poincaré Ball 著者: Chen Ma, Liheng
Ma, Yingxue Zhang, Haolun Wu, Xue Liu, Mark Coates (McGill Univ. & Huawei Noah's Ark Lab Montreal) 学会: AAAI2021 2023-7-4 @cocomoff 1/17
発表の内容 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ: 外部知識を表現する
(e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 2/17
概要 (イントロ) 推薦モデル (例: アイテムの評価値を計算する) + 知識グラフ (例: 同じ監督) KG活用のこれまでのアプローチと課題
[アプローチ] Path-based: KG上の経路を使って高次の情報を活用する [アプローチ] Regularization-based: KG由来のロスを追加する [課題] KG埋め込みがユークリッド空間 [課題] KG上で隣接するentityの扱いが効率的ではなかった [課題] KG由来のロスを制御するハイパーパラメータの調整が難しかった 提案手法 (後述) は前ページの3つの技術的な貢献によって良い性能を出した 3/17
(1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した 4/17
ポアンカレ埋め込みの復習 非ユークリッド空間の1つである、双極空間に埋め 込む手法の代表例 (NeurIPS2017) 次元 、半径 の空間 ; . 局所的な測り方
ユークリッド空間: ; 円周に近づくと無限 距離 (歪んでるので測地線を使う) として : メビウス和 (右) 歴史的には他にもあった 勾配法は少し改造 (Riemannian SGD) 勾配を求めて、軽量を直して (歪み補正)、更新して、歪んだ空間に戻す 5/17
埋め込みベクトルとランキングロス・知識グラフ ランキングロス [前ページ] ベクトル の間の距離 が得られた ユーザ と アイテム の距離
を用いてランキングロスを考える ユーザ 、正例 、負例 について: KG 知識グラフ あるアイテム のKG情報 TransE-styleの埋め込みを考える (ユークリッド空間で のこと) ポアンカレ空間上の距離が近いと大きくなる重み 6/17
知識グラフの活用 近傍の情報を集約すれば良いが、曲がっている空間で重み付き集約できるのか 提案手法: hyperbolic attention [知見1] 双極空間モデルの1つであるクライン円盤モデルでは、Einstein midpoint という名前のものが存在することが知られている [知見2]
クライン円盤モデル( )とポアンカレボール( )は対応関係がある 対応関係は 7/17
知識グラフの活用(全体のロス) ポアンカレ埋め込みを学習するとき、知識グラフのデータを活用したい 英語: "The goal is to transfer the inductive
bias in KG to the item representation:" 乖離具合を評価するために、集約したものと学習している埋め込みベクトルとの距離 を使う 全体のロスは 8/17
(3) ハイパーパラメータに対処するためにバイレベル最適化を導入した 9/17
ロスのパラメータ化とバイレベル最適化 これまでもロスをくっつけるタイプの枠組みはあったが [課題1] ハイパラ の扱いが微妙だった (固定するとデータセットで異なる) [課題2] そもそもアイテム によって の強さが変わりそう
[課題3] 学習が進んでいくとそもそも の調整がいりそう 対策: ロスをパラメタライズする: . バイレベル最適化 (最適化が入れ子になったやつ。NASがとかもそう) に落とし込む 内側 (inner): を固定したときの全体ロス最良な を求める 外側 (outer): に対してランキングロス最良な を求める 10/17
バイレベル最適化を交互最適化と正則化を着けて解く 入れ子になっていても勾配は近似できる 近似関係を使って更新式を代用する (define a proxy function to link ...)
あとは と を順番に更新する Adamを使う 正則化も乗っている 結局ハイパラ は復活したけど、[課題 2]と[課題3] は対応できてそう 11/17
バイレベル最適化のブロック図 12/17
(4) 実験で性能を確認した 13/17
データセット・比較手法・結果 推薦でよく出てくるデータセット: Amazon-book、Last-FM、Yelp2018 いずれも80%を学習データ (内10%がvalidation)に、20%をテストデータに 評価指標: Recall@K と NDCG@K 比較手法
Factorization Machine とそのニューラルタイプ: MF/NMF 既存のKG活用手法: CKE (MF+TransR)/CFKG (TransE)/RippleNet/GC- MC (GCN)/KGAT 提案手法 Hyper-Know 14/17
Ablation BPR + E/H (Euclidean v.s. Hyperbolic) BPR + Att
+ E/H (Hyperbolic Attentionの比較) BPR + Avg + H (BPR + Att + H のAttをただの平均に置き換えた) Hyper-Know (全部) 15/17
計算時間・埋め込みの可視化 効率的 埋め込みを可視化した例 (3階層ぐらいを学習した) 16/17
まとめ (再掲) 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ:
外部知識を表現する (e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 17/17