輪講資料：KGDM: A Diffusion Model to Capture Multiple Relation Semantics for Knowledge Graph Embedding

5分で論文紹介
研究室内の輪講で使用した資料です．

Transcript

1. ※ 図表は論文より引用 @AAAI 2024 読み手：井田 龍希（D2）
2. /9 全体像：拡散モデルを用いたKGE • テイル予測問題を条件付きエンティティ生成問題とみなす • DDPMを用いてターゲットエンティティの分布を推定 • ヘッドエンティティと関係を条件として生成過程を制御 2024/4/14 t h r 2
3. /9 特定関係タイプの複数の意味を捉える • 知識の曖昧性により複数の意味を持つ関係タイプが存在する • 例：“LocationContains” • 国 - 都市： (US, LocationContains, New York) • 国 - 大学： (US, LocationContains, Yale University) • 決定論的な予測をする既存手法では複数の意味を捉えられない ➔ KGDMの目標：関係タイプの複数の意味を捉えるKGEの実現 2024/4/14 3
4. /9 全体像：拡散モデルを用いたKGE • テイル予測問題を条件付きエンティティ生成問題とみなす • DDPMを用いてターゲットエンティティの分布を推定 • ヘッドエンティティと関係を条件として生成過程を制御 2024/4/14 t h r 4
5. /9 全体像：拡散モデルを用いたKGE • テイル予測問題を条件付きエンティティ生成問題とみなす • DDPMを用いてターゲットエンティティの分布を推定 • ヘッドエンティティと関係を条件として生成過程を制御 2024/4/14 t h r 5 1. デノイザーの設計 と 2. 学習・推論の流れ さえ分かれば後は一般的な拡散モデル
6. /9 条件付きエンティティデノイザーの設計 • Diffusion Transformerを基にグラフに特化した軽量なモデル • Scoring Module：関係パターンを捉える条件埋め込みの計算 • CEDenoiser Block：単純なMLPによる軽量なノイズ予測 2024/4/14 6
7. /9 学習・推論の流れ • 学習：負例サンプリングを用いた条件付きノイズ予測の最適化 • 推論：ガウシアンノイズから段階的な条件付きデノイジング 2024/4/14 7
8. /9 実験結果と評価 • 複数のベンチマークデータで 最先端の性能を達成 • 特にFB15k-237で大幅に向上 • FB15k-237は関係タイプが多い 2024/4/14 8
9. /9 事例研究 • 事例：（ロードランニング，オリンピック競技開催国，？） • KGDM：条件付きデノイジングにより多様な候補を表現可能 ➔ 評価時にはせずに，解析のために実施？ （上手くできたら面白い，画像生成の多様性の話とかと関連？） 2024/4/14 9