EMNLP 2023 2023.12.20 M2　凌　志棟 1

概要 Knowledge Base Embedding（KBE）が語義をモデリングする能力を調べた。 2つの仮説： ● KBEモデルは単語間の関係を捉えている⇒語義も捉えられている。 ● KBEモデルの関係予測性能は他のタスクの性能の代理（Proxy） を検証 結果どちらも成立しなかった（むしろ負の相関） 2

Knowledge Base Embedding (KBE) Models Knowledge Base = 知識グラフ Knowledge Baseには(h,r,t)のようなトリプルが含まれている ノード (Entity) h と t は関係 r で連結 e.g. BERT is a Transformerの場合 (BERT, is a, Transformer) KBEはこのような関係をベクトル空間でうまく表現するには v BERT + v is a = v Transformer を成立させる ノードとその関係をモデリングするのはKBEモデル 3 BERT Transformer is a h t r

TransE [Bordes+, 2013] モチベ：(h,r,t)の関係をv h + v r ≈ v t で表現 トリプルの関係の正しさを関係スコア　f(h,r,t)=||v h + v r - v t || （ノルム）で表現 正しいトリプルであれば f(h,r,t) が0に近い トリプル集合Dとして、目的関数L(V)を最小化するように学習 4 Dにある正例 hかtをランダムに置き換えた負例

DistMult[Yang+, 2015] TransEと違って、関係を行列で表現する関係スコアを使う 　　　f(h,r,t) = vT h Rv t Rは対称な関係行列にしたため、行列対角化することで計算速度向上 f(h,r,t)=f(t,r,h)はモデリングできるが、非対称関係は不向き（1対n） 5

他のKBEモデル ● MuRP [Balaževic+, 2019] ○ 双曲空間埋め込みでノードを表現し、メビウス変換で関係を表現 ○ 階層関係や (1対n)(n対n)関係をうまく表現できた ● KBGAT[Nathani+, 2019]、rGAT[Chen+, 2021] ○ Graph Neural Network(GNN)ベースのモデル、より複雑な関係を Graph Attentionで表現 ○ 関係予測タスクにつよい ● FuncE [Chen+, 2023]←本研究で提案 ○ ノードをファジィ関数 f:Rn→[0,1] で表現 ○ 異なる種類の関係に対して異なる関係スコアを使用 (同義語ならDistMult、ほかはTransE) ○ ノードの上位下位関係を自然に表現できる 6

KBEモデルの訓練・評価用データセット ● WN18[Bordes+, 2013] ○ WordNetから抽出したトリプル集合 ● WN18RR[Dettmers+, 2018] ○ WN18の逆関係をフィルタリング ● WN18A ○ 関係種類を増やさずにノード数とトリプル数を増やす ● WN25 ○ 全部増やす 7 データセット 関係数 ノード数 トリプル数 WN18 18 40,943 141,442 WN18RR 11 40,943 93,003 WN18A 18 112,195 217,495 WN26 25 116,744 363,593

検証実験設定 ● （再考）仮説： ○ KBEモデルは単語間の関係を捉えている⇒語義も捉えられている。 ○ KBEモデルの関係予測性能は他のタスクの性能の代理＝関係予測ができれば語義タスクもできる ● 使用するモデル： ○ TransE, DistMult, MuRP, FuncE, KBGAT, rGAT, Wnet2vec (Baseline) ● 訓練データ：WN18RR, WN18A, WN25 ● パラメータ：Table 8 ● 評価指標： ○ 関係予測タスク：MRR（平均逆順位）とHits＠k（正解が上位k個の答えにある割合） ○ 語義タスク：4種類のタスクで評価 8

語義モデリング性能評価 ● Word Similarity: SimLex999 ○ Spearman rho ● Word Analogy: BATS ○ Hits@10 ● POS-tagging: PTB ○ acc. ● NER: CoNLL’03 ○ F1 score 9

関係予測タスクと語義タスクの性能は負の相関 10

Good at Link Prediction ≠ Good at Semantics ● 関係予測の性能と語義タスクの性能が負の相関 ● 同種類タスクの性能は正の相関 11

関係予測タスクと語義タスクの性能は負の相関 12

語義類似性・類推は品詞タグ付け・NERと正の相関 13

訓練データ量の影響 ● 訓練データを増やしても性能向上は見られない（むしろ低下した場合が多い） ● DistMultとrGATの性能低下は関係スコアが言語性質を考慮しないに起因すると 14

上位関係が近い単語の語義類似性を表現しにくい ● 上位関係が近い単語の類似度が高いはず ● TransEはOKだが、DistMultとrGATは表現できていない 15 ナス科野菜＿＿＿＿＿＿＿＿＿

上下位関係の推移性を表現しにくい ● ほぼ全部のKBEモデルが上位語の推移関係を予測できない ● FuncEはファジィ関数のため性質上推移を表現できる 16 Potatoは野菜、野菜は食べ物⇒Potatoは食べ物

語義タスクで単語品詞別の影響とデータ量の影響 ● 類似度タスクでは形容詞が名詞と動詞より結果がよい ● KBEモデルは辺の数が多いノードに高い類似度を与える傾向がある ● 関連性は高いが類似度が低い関係に高いスコア　は SimLexの語義類似度に反する ● WN18A→WN25データを増やすことで、類似度タスクで性能低下・類推タスクが性能向上 17

本研究はKEBモデルの語義モデリング能力を評価した。 2つの仮説を検証したところ ● KBEモデルは、関係予測でいい性能≠語義類似度タスクでいい性能 ● 関係予測評価はKBEモデルの語義モデリング能力の評価に向いていない Conclusions 18