Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介_Are Embedded Potatoes Still Vegetables_ On...
Search
Lexuss-D
December 20, 2023
Research
0
72
論文紹介_Are Embedded Potatoes Still Vegetables_ On the Limitation of WordNet Embeddings for Lexical Semantics
Lexuss-D
December 20, 2023
Tweet
Share
More Decks by Lexuss-D
See All by Lexuss-D
論文紹介_Learning Dynamic Contextualised Word Embeddings via Template-based Temporal Adptation
lexusd
0
58
論文紹介_Interpretable Word Sense Representations via Definition Generation_ The Case of Semantic Change Analysis
lexusd
0
76
論文紹介_Twitter Topic Classification
lexusd
0
62
論文紹介_What is Done is Done_ an Incremental Approach to Semantic Shift Detection
lexusd
0
79
Demoの作り方_研究会チュートリアル
lexusd
0
82
論文紹介_Ruddit_Norms of Offensiveness for English Readdit Comments
lexusd
0
17
論文紹介_I Beg to Differ A study of constructive disagreement in online conversations
lexusd
0
17
論文紹介_Distinguishing Japanese Non-standard Usages from Standard Ones
lexusd
0
20
Other Decks in Research
See All in Research
[依頼講演] 適応的実験計画法に基づく効率的無線システム設計
k_sato
0
130
情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」
ksudoh
3
370
機械学習でヒトの行動を変える
hiromu1996
1
300
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
640
marukotenant01/tenant-20240916
marketing2024
0
500
ダイナミックプライシング とその実例
skmr2348
3
400
機械学習による言語パフォーマンスの評価
langstat
6
720
ニュースメディアにおける事前学習済みモデルの可能性と課題 / IBIS2024
upura
3
510
snlp2024_multiheadMoE
takase
0
430
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
5
640
Practical The One Person Framework
asonas
1
1.6k
3次元点群の分類における評価指標について
kentaitakura
0
410
Featured
See All Featured
What's new in Ruby 2.0
geeforr
343
31k
Docker and Python
trallard
40
3.1k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
Making Projects Easy
brettharned
115
5.9k
A Tale of Four Properties
chriscoyier
156
23k
Embracing the Ebb and Flow
colly
84
4.5k
GraphQLとの向き合い方2022年版
quramy
43
13k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
89
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Visualization
eitanlees
145
15k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
Building Better People: How to give real-time feedback that sticks.
wjessup
364
19k
Transcript
EMNLP 2023 2023.12.20 M2 凌 志棟 1
概要 Knowledge Base Embedding(KBE)が語義をモデリングする能力を調べた。 2つの仮説: • KBEモデルは単語間の関係を捉えている⇒語義も捉えられている。 • KBEモデルの関係予測性能は他のタスクの性能の代理(Proxy) を検証
結果どちらも成立しなかった(むしろ負の相関) 2
Knowledge Base Embedding (KBE) Models Knowledge Base = 知識グラフ Knowledge
Baseには(h,r,t)のようなトリプルが含まれている ノード (Entity) h と t は関係 r で連結 e.g. BERT is a Transformerの場合 (BERT, is a, Transformer) KBEはこのような関係をベクトル空間でうまく表現するには v BERT + v is a = v Transformer を成立させる ノードとその関係をモデリングするのはKBEモデル 3 BERT Transformer is a h t r
TransE [Bordes+, 2013] モチベ:(h,r,t)の関係をv h + v r ≈ v
t で表現 トリプルの関係の正しさを関係スコア f(h,r,t)=||v h + v r - v t || (ノルム)で表現 正しいトリプルであれば f(h,r,t) が0に近い トリプル集合Dとして、目的関数L(V)を最小化するように学習 4 Dにある正例 hかtをランダムに置き換えた負例
DistMult[Yang+, 2015] TransEと違って、関係を行列で表現する関係スコアを使う f(h,r,t) = vT h Rv t Rは対称な関係行列にしたため、行列対角化することで計算速度向上
f(h,r,t)=f(t,r,h)はモデリングできるが、非対称関係は不向き(1対n) 5
他のKBEモデル • MuRP [Balaževic+, 2019] ◦ 双曲空間埋め込みでノードを表現し、メビウス変換で関係を表現 ◦ 階層関係や (1対n)(n対n)関係をうまく表現できた
• KBGAT[Nathani+, 2019]、rGAT[Chen+, 2021] ◦ Graph Neural Network(GNN)ベースのモデル、より複雑な関係を Graph Attentionで表現 ◦ 関係予測タスクにつよい • FuncE [Chen+, 2023]←本研究で提案 ◦ ノードをファジィ関数 f:Rn→[0,1] で表現 ◦ 異なる種類の関係に対して異なる関係スコアを使用 (同義語ならDistMult、ほかはTransE) ◦ ノードの上位下位関係を自然に表現できる 6
KBEモデルの訓練・評価用データセット • WN18[Bordes+, 2013] ◦ WordNetから抽出したトリプル集合 • WN18RR[Dettmers+, 2018] ◦
WN18の逆関係をフィルタリング • WN18A ◦ 関係種類を増やさずにノード数とトリプル数を増やす • WN25 ◦ 全部増やす 7 データセット 関係数 ノード数 トリプル数 WN18 18 40,943 141,442 WN18RR 11 40,943 93,003 WN18A 18 112,195 217,495 WN26 25 116,744 363,593
検証実験設定 • (再考)仮説: ◦ KBEモデルは単語間の関係を捉えている⇒語義も捉えられている。 ◦ KBEモデルの関係予測性能は他のタスクの性能の代理=関係予測ができれば語義タスクもできる • 使用するモデル: ◦
TransE, DistMult, MuRP, FuncE, KBGAT, rGAT, Wnet2vec (Baseline) • 訓練データ:WN18RR, WN18A, WN25 • パラメータ:Table 8 • 評価指標: ◦ 関係予測タスク:MRR(平均逆順位)とHits@k(正解が上位k個の答えにある割合) ◦ 語義タスク:4種類のタスクで評価 8
語義モデリング性能評価 • Word Similarity: SimLex999 ◦ Spearman rho • Word
Analogy: BATS ◦ Hits@10 • POS-tagging: PTB ◦ acc. • NER: CoNLL’03 ◦ F1 score 9
関係予測タスクと語義タスクの性能は負の相関 10
Good at Link Prediction ≠ Good at Semantics • 関係予測の性能と語義タスクの性能が負の相関
• 同種類タスクの性能は正の相関 11
関係予測タスクと語義タスクの性能は負の相関 12
語義類似性・類推は品詞タグ付け・NERと正の相関 13
訓練データ量の影響 • 訓練データを増やしても性能向上は見られない(むしろ低下した場合が多い) • DistMultとrGATの性能低下は関係スコアが言語性質を考慮しないに起因すると 14
上位関係が近い単語の語義類似性を表現しにくい • 上位関係が近い単語の類似度が高いはず • TransEはOKだが、DistMultとrGATは表現できていない 15 ナス科野菜_________
上下位関係の推移性を表現しにくい • ほぼ全部のKBEモデルが上位語の推移関係を予測できない • FuncEはファジィ関数のため性質上推移を表現できる 16 Potatoは野菜、野菜は食べ物⇒Potatoは食べ物
語義タスクで単語品詞別の影響とデータ量の影響 • 類似度タスクでは形容詞が名詞と動詞より結果がよい • KBEモデルは辺の数が多いノードに高い類似度を与える傾向がある • 関連性は高いが類似度が低い関係に高いスコア は SimLexの語義類似度に反する • WN18A→WN25データを増やすことで、類似度タスクで性能低下・類推タスクが性能向上
17
本研究はKEBモデルの語義モデリング能力を評価した。 2つの仮説を検証したところ • KBEモデルは、関係予測でいい性能≠語義類似度タスクでいい性能 • 関係予測評価はKBEモデルの語義モデリング能力の評価に向いていない Conclusions 18