Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
輪講資料:KGDM: A Diffusion Model to Capture Multipl...
Search
Ryuki Ida
May 24, 2025
0
10
輪講資料:KGDM: A Diffusion Model to Capture Multiple Relation Semantics for Knowledge Graph Embedding
5分で論文紹介
研究室内の輪講で使用した資料です.
Ryuki Ida
May 24, 2025
Tweet
Share
More Decks by Ryuki Ida
See All by Ryuki Ida
ACL読み会2025@名大:A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive
iryuki1110
0
65
最先端NLP勉強会2025: Disentangling Memory and Reasoning Ability in Large Language Models
iryuki1110
0
130
ACL読み会2024@名大:SCIMON : Scientific Inspiration Machines Optimized for Novelty
iryuki1110
0
57
最先端NLP勉強会2024: TTM-RE Memory-Augmented Document-Level Relation Extraction
iryuki1110
0
150
Featured
See All Featured
Six Lessons from altMBA
skipperchong
29
4k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Done Done
chrislema
185
16k
How GitHub (no longer) Works
holman
315
140k
Code Review Best Practice
trishagee
72
19k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Optimizing for Happiness
mojombo
379
70k
The Cost Of JavaScript in 2023
addyosmani
55
9k
Build your cross-platform service in a week with App Engine
jlugia
232
18k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Balancing Empowerment & Direction
lara
5
690
4 Signs Your Business is Dying
shpigford
185
22k
Transcript
※ 図表は論文より引用 @AAAI 2024 読み手:井田 龍希(D2)
/9 全体像:拡散モデルを用いたKGE • テイル予測問題を条件付きエンティティ生成問題とみなす • DDPMを用いてターゲットエンティティの分布を推定 • ヘッドエンティティと関係を条件として生成過程を制御 2024/4/14 t
h r 2
/9 特定関係タイプの複数の意味を捉える • 知識の曖昧性により複数の意味を持つ関係タイプが存在する • 例:“LocationContains” • 国 - 都市:
(US, LocationContains, New York) • 国 - 大学: (US, LocationContains, Yale University) • 決定論的な予測をする既存手法では複数の意味を捉えられない ➔ KGDMの目標:関係タイプの複数の意味を捉えるKGEの実現 2024/4/14 3
/9 全体像:拡散モデルを用いたKGE • テイル予測問題を条件付きエンティティ生成問題とみなす • DDPMを用いてターゲットエンティティの分布を推定 • ヘッドエンティティと関係を条件として生成過程を制御 2024/4/14 t
h r 4
/9 全体像:拡散モデルを用いたKGE • テイル予測問題を条件付きエンティティ生成問題とみなす • DDPMを用いてターゲットエンティティの分布を推定 • ヘッドエンティティと関係を条件として生成過程を制御 2024/4/14 t
h r 5 1. デノイザーの設計 と 2. 学習・推論の流れ さえ分かれば後は一般的な拡散モデル
/9 条件付きエンティティデノイザーの設計 • Diffusion Transformerを基にグラフに特化した軽量なモデル • Scoring Module:関係パターンを捉える条件埋め込みの計算 • CEDenoiser
Block:単純なMLPによる軽量なノイズ予測 2024/4/14 6
/9 学習・推論の流れ • 学習:負例サンプリングを用いた条件付きノイズ予測の最適化 • 推論:ガウシアンノイズから段階的な条件付きデノイジング 2024/4/14 7
/9 実験結果と評価 • 複数のベンチマークデータで 最先端の性能を達成 • 特にFB15k-237で大幅に向上 • FB15k-237は関係タイプが多い 2024/4/14
8
/9 事例研究 • 事例:(ロードランニング,オリンピック競技開催国,?) • KGDM:条件付きデノイジングにより多様な候補を表現可能 ➔ 評価時にはせずに,解析のために実施? (上手くできたら面白い,画像生成の多様性の話とかと関連?) 2024/4/14
9