本日の講演の内容 ● LUKE (EMNLP 2020) LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention ● 多言語LUKE (mLUKE) (ACL 2022) mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models ● LUKEのエンティティリンキングへの応用 (NAACL 2022) Global Entity Disambiguation with BERT ● LUKEのエンティティエンべディングの補完 (EMNLP Findings 2022) Entity Embedding Completion for Wide-Coverage Entity Disambiguation ● 日本語LUKE (2022) 3 知識拡張型モデル「LUKE」とその後続の研究での展開についてお話します
訓練済み言語モデル（PLM）はエンティティをうまく表現できない ○ PLMはエンティティのスパンに対応する表現を出力できない ○ エンティティは複数の入力トークンに分割されるため、Transformer内部で エンティティ同士の関係を捉えることが難しい ○ PLMの訓練タスクはエンティティに向いているとは言えない 7 BERT...? GPT…? The Force is not strong with them. Mark Hamill by Gage Skidmore 2 LUKE: 背景
訓練済み言語モデル（PLM）はエンティティをうまく表現できない ○ PLMはエンティティのスパンに対応する表現を出力できない ○ エンティティは複数の入力トークンに分割されるため、Transformer内部で エンティティ同士の関係を捉えることが難しい ○ PLMの訓練タスクはエンティティに向いているとは言えない 8 BERT...? ERNIE…? The Force is not strong with them. Mark Hamill by Gage Skidmore 2 LUKE: 背景 ”ハリー・[MASK]”に対して”ポッター”を予測するのは ”ハリー・ポッター”全体を予測するより明らかに簡単
LUKE: アーキテクチャ ● LUKE は単語とエンティティを独立したトークンとして扱う ● エンティティが独立したトークンとして扱われているので ○ エンティティのスパンが自然に表現できる ○ エンティティ同士の関係がTransformer内部で自然に捉えられる 10 Wikipediaのエンティティアノテーション付きの入力テキスト: Beyoncé lives in Los Angeles 入力表現の計算
LUKE: 事前訓練: 単語とエンティティをマスク 17 Wikipediaリンク を エンティティの アノテーション として使用 Wikipediaに含まれる単語およびエンティティをランダムにマスクする 単語およびエンティティを15%の 確率で[MASK] 単語、[MASK]エン ティティに変換 Born and raised in Houston, Texas, Beyoncé performed in various singing and dancing competitions as a child. She rose to fame in the late 1990s as the lead singer of Destiny's Child Born and [MASK] in Houston, Texas, [MASK] performed in various [MASK] and dancing competitions as a [MASK]. She rose to fame in the [MASK] 1990s as the lead singer of Destiny's Child
多言語LUKE (mLUKE) 29 mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models Ryokan Ri, Ikuya Yamada, Yoshimasa Tsuruoka ACL 2022
LUKEによるエンティティリンキング: Research Question SOTAモデル: 訓練済み言語モデル＋ローカルコンテクスト (Févry et al., 2020; Cao et al., 2021; Barba et al., 2022) 47 グローバルコンテキストは表現力の高い 訓練済み言語モデルにおいても有効か？
LUKEによるエンティティリンキング: 実験結果 55 Name Accuracy Ganea and Hoffman (2017) 92.2 Cao et al. (2021) 93.3 Barba et al. (2022) 92.6 Our local model 94.5 Our global model 95.0 Name Average F1 Ganea and Hoffman (2017) 85.2 Cao et al. (2021) 87.8 Barba et al. (2022) 88.9 Our local model 89.4 Our global model 89.9 Accuracy on AIDA-CoNLL Average F1 scores on MSNBC, AQUAINT, ACE2004, WNED-WIKI, and WNED-CWEB ● 複数のエンティティリンキングのデータセットでSOTAを獲得 ● グローバルモデルはローカルモデルより一貫して高性能
LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 56 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke 文書: 推論の順序:
LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 57 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke 文書: 推論の順序:
LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 58 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke 文書: 推論の順序:
LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 59 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke ローカルモデルは、Nigel Walker と Matthew Burke で 間違ったエンティティを予測 文書: 推論の順序:
LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 60 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke グローバルモデルでは、Nigel Walker が野球選手ではなく、 元ラグビープレーヤーに正しくリンクされた 文書: 推論の順序:
LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 61 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke Matthew Burke が 、1964年生まれのオーストラリアの 元ラグビープレーヤー ではなく、1973年生まれのオーストラリアの 元ラグビープレーヤーに正しくリンクされた 文書: 推論の順序:
ikuyamada
sbtechnight
nutslove
mapbox_jp
kenichirokimura
takakuni
foursue
koba1t
miyakemito
piacerex
visional_engineering_and_design
mizunohiroaki
sagara
62gerente
cromwellryan
jasonvnalue
hursman
philhawksworth
chrisshort
jrom
sugarenia
gr2m
shpigford
orderedlist
danielanewman