Slide 3
Slide 3 text
Integrating Knowledge Graph Embeddings and Pre-trained Language
Models in Hypercomplex Spaces
Mojtaba Nayyeri, Zihao Wang, Mst. Mahfuja Akter, Mirza Mohtashim, Md Rashad Al Hasan Rony, Jens Lehmann and Steffen Staab/University
of Stuttgart, Stuttgart, Germany
• ⼀⾔でいうと
知識グラフ埋め込みと複数の事前学習済み⾔語モデルを超複合空間で統合する新
しいフレームワーク
• 動機
既存の知識グラフ埋め込み(KGE)モデルが単⼀の事前学習済み⾔語モデルに依存
しており,異なるモデル間での相補的な活⽤がまだ
• ⼿法
超複合代数を使⽤して,構造的知識グラフの埋め込みと複数のテキスト表現間の
相互作⽤をモデル化. Dihedron Modelを⽤いて、構造的知識、単語レベル、⽂
レベル、ドキュメントレベルの4つの異なる表現を統合して複雑空間上に表現
• 背景
KGはAIシステムの中で重要な要素だが,実世界の事実と⽐べ不完全であるためテ
キストが必要だった
• 結果
リンク予測のタスクで多くの⼿法と⽐較し,SOTAを達成
• 考察
⼩規模なデータセットから⼤規模なデータセットで有効であることを⽰した.特にデー
タがスパースな場合に、テキスト情報の統合の有⽤性を確かめることができた
• 課題
複数ソースの情報を統合し、マルチホップKG補完シナリオや他のタスクにモデルを適⽤
Research Track