Slide 1
Slide 1 text
山田 育矢 (Ikuya Yamada)
知識拡張型言語モデル
Studio Ousia & RIKEN
Slide 2
Slide 2 text
自己紹介
山田 育矢 (@ikuyamada)
Studio Ousia 共同創業者チーフサイエンティスト
理化学研究所AIP 客員研究員（知識獲得チーム、言語情報アクセス技術チーム）
● 大学入学時に、ベンチャー企業を起業し売却（2000年〜2006年）
○ インターネットの基盤技術（Peer to Peer通信におけるNAT越え問題）の研究開発を推進
○ 売却先企業は株式上場
● Studio Ousiaを共同創業し、自然言語処理に取り組む（2007年〜）
○ 質問応答・言語モデルを中心とした自然言語処理の研究開発を推進
● プログラミングが好き
○ 最近よく使うライブラリ：PyTorch、PyTorch-lightning、transformers、Wikipedia2Vec
● コンペティションにいろいろ出場
○ Kaggle master
○ 優勝したタスク：#Microposts @ WWW2015, W-NUT Task #1 @ ACL 2015, HCQA @ NAACL 2016,
HCQA @ NIPS 2017, Semantic Web Challenge @ ISWC 2020
2
Slide 3
Slide 3 text
本日の講演の内容
● LUKE (EMNLP 2020)
LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention
● 多言語LUKE (mLUKE) (ACL 2022)
mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models
● LUKEのエンティティリンキングへの応用 (NAACL 2022)
Global Entity Disambiguation with BERT
● LUKEのエンティティエンべディングの補完 (EMNLP Findings 2022)
Entity Embedding Completion for Wide-Coverage Entity Disambiguation
● 日本語LUKE (2022) 3
知識拡張型モデル「LUKE」とその後続の研究での展開についてお話します
Slide 4
Slide 4 text
LUKE
4
LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention
Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto
EMNLP 2020
Slide 5
Slide 5 text
LUKE:
概要
● 知識を使うことが重要なダウンストリームタスクにおいて良い性能を達成
e.g., 質問応答・エンティティリンキング・固有表現抽出・関係認識・型認識
● Huggingface Transformers経由で簡単に使える
5
単語とエンティティの文脈付きベクトルを出力する
知識拡張型 (knowledge-enhanced)の訓練済み言語モデル
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained(“studio-ousia/luke-base”)
tokenizer = AutoModel.from_pretrained(“studio-ousia/luke-base”)
Slide 6
Slide 6 text
LUKE:
エンティティとは
物や概念をあらわす言語表現
本講演では主にWikipediaに存在するような
世界の知識に関するエンティティを指す
6
Slide 7
Slide 7 text
訓練済み言語モデル（PLM）はエンティティをうまく表現できない
○ PLMはエンティティのスパンに対応する表現を出力できない
○ エンティティは複数の入力トークンに分割されるため、Transformer内部で
エンティティ同士の関係を捉えることが難しい
○ PLMの訓練タスクはエンティティに向いているとは言えない
7
BERT...? GPT…? The Force is
not strong with them.
Mark Hamill by
Gage Skidmore 2
LUKE:
背景
Slide 8
Slide 8 text
訓練済み言語モデル（PLM）はエンティティをうまく表現できない
○ PLMはエンティティのスパンに対応する表現を出力できない
○ エンティティは複数の入力トークンに分割されるため、Transformer内部で
エンティティ同士の関係を捉えることが難しい
○ PLMの訓練タスクはエンティティに向いているとは言えない
8
BERT...? ERNIE…? The Force
is not strong with them.
Mark Hamill by
Gage Skidmore 2
LUKE:
背景
”ハリー・[MASK]”に対して”ポッター”を予測するのは
”ハリー・ポッター”全体を予測するより明らかに簡単
Slide 9
Slide 9 text
● Transformer（RoBERTa）をベースにした訓練済み言語モデル
○ 単語とエンティティの双方を独立したトークンとして扱う
○ ランダムに単語とエンティティをマスクして訓練を行う
○ エンティティに適したアテンションメカニズムを提案 (省略)
LUKE:
アーキテクチャ
9
Wikipediaのエンティティアノテーション付きの入力テキスト: Beyoncé lives in Los Angeles
Slide 10
Slide 10 text
LUKE:
アーキテクチャ
● LUKE は単語とエンティティを独立したトークンとして扱う
● エンティティが独立したトークンとして扱われているので
○ エンティティのスパンが自然に表現できる
○ エンティティ同士の関係がTransformer内部で自然に捉えられる
10
Wikipediaのエンティティアノテーション付きの入力テキスト: Beyoncé lives in Los Angeles
入力表現の計算
Slide 11
Slide 11 text
● トークンエンべディング：単語もしくはエンティティ自体をあらわす
LUKE:
入力表現：3種類のエンベディング
11
Slide 12
Slide 12 text
LUKE:
入力表現：3種類のエンベディング
12
● トークンエンべディング：単語もしくはエンティティ自体をあらわす
● ポジションエンべディング：トークンの単語列中での位置をあらわす
Slide 13
Slide 13 text
LUKE:
入力表現：3種類のエンベディング
13
● トークンエンべディング：単語もしくはエンティティ自体をあらわす
● ポジションエンべディング：トークンの単語列中での位置をあらわす
○ 複数の単語を含むエンティティの場合は、ポジションエンべディングを平均する
Slide 14
Slide 14 text
LUKE:
入力表現：3種類のエンベディング
14
● トークンエンべディング：単語もしくはエンティティ自体をあらわす
● ポジションエンべディング：トークンの単語列中での位置をあらわす
○ 複数の単語を含むエンティティの場合は、ポジションエンべディングを平均する
● エンティティタイプエンベディング：入力トークンがエンティティであることを
あらわす
Slide 15
Slide 15 text
LUKE:
入力表現の計算
15
● 単語表現:
トークンエンべディング + ポジションエンべディング
Slide 16
Slide 16 text
LUKE:
入力表現の計算
16
● 単語表現:
トークンエンべディング + ポジションエンべディング
● エンティティ表現:
トークンエンべディング + ポジションエンべディング +
エンティティタイプエンベディング
Slide 17
Slide 17 text
LUKE:
事前訓練: 単語とエンティティをマスク
17
Wikipediaリンク を エンティティの
アノテーション として使用
Wikipediaに含まれる単語およびエンティティをランダムにマスクする
単語およびエンティティを15%の
確率で[MASK] 単語、[MASK]エン
ティティに変換
Born and raised in Houston, Texas,
Beyoncé performed in various singing
and dancing competitions as a child. She
rose to fame in the late 1990s as the
lead singer of Destiny's Child
Born and [MASK] in Houston, Texas,
[MASK] performed in various [MASK]
and dancing competitions as a [MASK].
She rose to fame in the [MASK] 1990s as
the lead singer of Destiny's Child
Slide 18
Slide 18 text
LUKE:
事前訓練: マスクした単語とエンティティを予測して訓練
18
下記の2つのタスクで訓練
● マスクされた単語の元の単語を予測
● マスクされたエンティティの元のエンティティを予測
Wikipediaに含まれる単語およびエンティティをランダムにマスクし
それらを予測することで訓練
Slide 19
Slide 19 text
LUKE:
ダウンストリームタスクでのエンティティ表現の利用
19
LUKEにエンティティを入力する2つの方法：
1. [MASK] エンティティを入力
○ 事前訓練時に使った[MASK] エンティティを利用する
○ 入力テキスト中からエンティティに関する情報を集約したエンティティ表現が得られる
Slide 20
Slide 20 text
LUKE:
ダウンストリームタスクでのエンティティ表現の利用
20
LUKEにエンティティを入力する2つの方法：
1. [MASK] エンティティを入力
○ 事前訓練時に使った[MASK] エンティティを利用する
○ 入力テキスト中からエンティティに関する情報を集約したエンティティ表現が得られる
2. Wikipediaエンティティを入力
○ 入力テキストに含まれるWikipediaエンティティを入力する
○ エンティティエンべディングに含まれる豊富な情報を使ってタスクを解くことができる
○ エンティティリンキングが必要
Slide 21
Slide 21 text
LUKE:
実験
5つの異なる知識の必要なタスク（knowledge-intensive tasks）でSOTAを更新
21
Dataset Task
Open Entity エンティティ型認識
TACRED 関係認識
CoNLL-2003 固有表現認識
ReCoRD 穴埋め式質問応答
SQuAD 抽出型質問応答
Slide 22
Slide 22 text
LUKE:
実験: エンティティ型認識、関係認識、穴埋め式質問応答
22
モデル:
エンティティ表現を入力とする線形分類層を追加
モデルへの入力:
● テキスト
● 対象となるエンティティのスパンに対応する
[MASK] エンティティ
エンティティ型認識、関係認識、穴埋め式質問応答にてSOTAを更新
Results on Open Entity
Results on TACRED
Results on ReCoRD
データセット:
● Open Entity (エンティティ型認
識)
● TACRED (関係認識)
● ReCoRD (穴埋め式質問応答)
Slide 23
Slide 23 text
LUKE:
実験: 固有表現認識
23
モデル:
1. 入力テキスト中の全てのスパンをエンティティの
候補として扱う
2. 各スパンをエンティティの型、もしくはnon-entity型に分類
3. ロジットの大きいものから順に分類結果を確定
モデルへの入力:
● 入力テキスト
● 入力テキスト中の全てのエンティティスパンに対応する
[MASK] エンティティ
固有表現認識データセット（CoNLL-2003）でSOTAを更新
Results on CoNLL-2003
Slide 24
Slide 24 text
LUKE:
実験: 抽出型質問応答
24
モデル:
出力単語表現の上に開始位置、終了位置を推定する
線形分類層を追加
モデルへの入力:
● 質問及びパッセージのテキスト
● パッセージに含まれるWikipediaエンティティ
抽出型質問応答データセット（SQuAD v1.1）でSOTAを更新
Results on SQuAD v1.1
LUKE got #1 on leaderboard
Slide 25
Slide 25 text
LUKE:
エンティティ表現の有効性の評価
25
固有表現認識（CoNLL-2003）と抽出型質問応答（SQuAD v1.1）の双方で
エンティティ表現を使うことで性能が改善
Slide 26
Slide 26 text
LUKE:
エンティティ表現の有効性の評価
26
固有表現認識（CoNLL-2003）と抽出型質問応答（SQuAD v1.1）の双方で
エンティティ表現を使うことで性能が改善
[MASK]エンティティを
入力
Wikipediaエンティティを入
力
Slide 27
Slide 27 text
LUKE:
固有表現抽出（CoNLL-2003）の結果の変化
27
http://explainaboard.nlpedia.ai/leaderboard/task-ner/
Slide 28
Slide 28 text
LUKE:
固有表現抽出（CoNLL-2003）の結果の変化
28
http://explainaboard.nlpedia.ai/leaderboard/task-ner/
Slide 29
Slide 29 text
多言語LUKE (mLUKE)
29
mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models
Ryokan Ri, Ikuya Yamada, Yoshimasa Tsuruoka
ACL 2022
Slide 30
Slide 30 text
mLUKE:
Wikipediaエンティティは言語非依存
Wikipediaのエンティティは、Wikidataを通じて言語を横断して相互にリンクされている
30
Slide 31
Slide 31 text
mLUKE:
言語非依存なエンティティエンベディング
Wikidataのinter-language linksを使って、
言語非依存なエンティティエンべディングを作成
31
言語横断でエンティティとエンベディングが対応
Slide 32
Slide 32 text
mLUKE:
概要
アーキテクチャの変更点
● 言語非依存な共有エンティティエンベディングの導入
● 多言語訓練済み言語モデル（XLM-RoBERTa）をベースモデルに使用
事前訓練の変更点
● 24言語のWikipediaを利用
● エンティティの語彙数を500K -> 1.2Mに増やした
32
LUKEに言語非依存なエンティティエンベディングを導入し、
クロスリンガル転移性能を向上させる
Slide 33
Slide 33 text
mLUKE:
クロスリンガル転移学習
33
ダウンストリームタスクの訓練と評価を異なる言語で行って、
言語を跨いだ転移性能を評価
Slide 34
Slide 34 text
mLUKE:
Research Question
34
mLUKEでのクロスリンガル転移性能が改善する二つの要因とその評価方法:
1. エンティティを用いた事前訓練での性能改善
エンティティを入力として使わずに単語のみを入力とすることで評価
👉mLUKE-Wと表記
2. エンティティを入力として用いることによる性能改善
エンティティを入力として用いたモデルを使って評価
👉mLUKE-Eと表記
言語非依存なエンティティエンベディングによって
クロスリンガル転移性能は改善するか？
Slide 35
Slide 35 text
mLUKE:
実験：クロスリンガル関係分類
35
● 訓練データ：KBP37
● 評価データ：RELX (KBP37のテストセットを翻訳)
クロスリンガル関係分類において性能向上を確認
Slide 36
Slide 36 text
mLUKE:
実験：クロスリンガル関係分類
36
● 訓練データ：KBP37
● 評価データ：RELX (KBP37のテストセットを翻訳)
クロスリンガル関係分類において性能向上を確認
事前訓練での改善：
XLM-Rベースラインと同様に
mLUKEの単語表現のみを利用
エンティティ表現による改善：
[MASK]エンティティを使った
エンティティ表現を利用
Slide 37
Slide 37 text
mLUKE:
実験：クロスリンガル質問応答
37
● 訓練データ：SQuAD
● 評価データ：XQuAD、MLQA、MLQA G-XLT (質問と回答が異なる言語で与えられる)
クロスリンガル質問応答において性能向上を確認
Slide 38
Slide 38 text
mLUKE:
実験：クロスリンガル質問応答
38
● 訓練データ：SQuAD
● 評価データ：XQuAD、MLQA、MLQA G-XLT (質問と回答が異なる言語で与えられる)
クロスリンガル質問応答において性能向上を確認
事前訓練での改善：
XLM-Rベースラインと同様に
mLUKEの単語表現のみを利用
エンティティ表現による改善：
Wikipediaエンティティを
入力として使用
Slide 39
Slide 39 text
mLUKE:
実験：穴埋めタスク
39
XLM-R & mLUKE-W mLUKE-E ([Y])
穴埋め形式のタスクでの性能を異なるモデルの設定で評価
mLUKE-E ([X] & [Y])
Slide 40
Slide 40 text
mLUKE:
実験：穴埋めタスク
40
● 評価データ：mLAMA
穴埋め形式のタスクでの性能を異なるモデルの設定で評価
Slide 41
Slide 41 text
mLUKE:
実験：穴埋めタスクにおける言語バイアスの改善
41
「[X]は[Y]に設立されました。」というクエリでの [Y] の間違った予測の件数と
その中での「Japan」の割合
言語依存性の少ないエンティティ表現を使うことで言語バイアスが改善
Slide 42
Slide 42 text
LUKEによるエンティティリンキング
42
Global Entity Disambiguation with BERT
Ikuya Yamada, Koki Washio, Hiroyuki Shindo, Yuji Matsumoto
NAACL 2022
Slide 43
Slide 43 text
LUKEによるエンティティリンキング:
エンティティリンキングとは
43
エンティティリンキング: メンションをエンティティにリンクするタスク
メッシ と ロナウド が ワールドカップ に出場した
Slide 44
Slide 44 text
LUKEによるエンティティリンキング:
エンティティリンキングとは
44
エンティティリンキング: メンションをエンティティにリンクするタスク
メッシ と ロナウド が ワールドカップ に出場した
リオネル・
メッシ
FIFA
ワールドカップ
クリスティアーノ・
ロナウド
Slide 45
Slide 45 text
LUKEによるエンティティリンキング:
ローカルコンテクストとグローバルコンテクスト
● ローカルコンテクスト: メンションと共起しているサブワードから取得
45
ローカルコンテクスト: メ, ##ッシ, と, ロ, ##ナウ, ##ド, が, ワールドカップ, 出場, し, た
入力:
ワールドカップのコンテクスト:
メッシ と ロナウド が ワールドカップ に出場した
Slide 46
Slide 46 text
LUKEによるエンティティリンキング:
ローカルコンテクストとグローバルコンテクスト
● ローカルコンテクスト: メンションと共起しているサブワードから取得
● グローバルコンテクスト: 他のメンションに対応するエンティティから取得
46
ローカルコンテクスト: メ, ##ッシ, と, ロ, ##ナウ, ##ド, が, ワールドカップ, 出場, し, た
入力:
ワールドカップのコンテクスト:
メッシ と ロナウド が ワールドカップ に出場した
グローバルコンテクスト: リオネル・メッシ クリスティアーノ・ロナウド
Slide 47
Slide 47 text
LUKEによるエンティティリンキング:
Research Question
SOTAモデル: 訓練済み言語モデル＋ローカルコンテクスト
(Févry et al., 2020; Cao et al., 2021; Barba et al., 2022)
47
グローバルコンテキストは表現力の高い
訓練済み言語モデルにおいても有効か？
Slide 48
Slide 48 text
LUKEによるエンティティリンキング:
提案手法
48
提案するモデル：
ローカルコンテクストとグローバルコンテクストを利用する
LUKEベースのモデル
● エンティティを入力トークンとして利用
● エンティティを順にリンクしていき、確定したエンティティを
コンテクストとして利用
グローバルコンテクストを利用するための工夫:
Slide 49
Slide 49 text
LUKEによるエンティティリンキング:
ローカルモデル
49
ローカルモデル:
各メンションに対応する[MASK]エンティティを予測
Slide 50
Slide 50 text
LUKEによるエンティティリンキング:
グローバルモデル
50
● メンションを順に対応するエンティティに紐づけていく
● 紐づけたエンティティをコンテクストとして使う
グローバルモデル:
Slide 51
Slide 51 text
LUKEによるエンティティリンキング:
グローバルモデル
51
● メンションを順に対応するエンティティに紐づけていく
● 紐づけたエンティティをコンテクストとして使う
グローバルモデル:
Slide 52
Slide 52 text
LUKEによるエンティティリンキング:
グローバルモデル
52
● メンションを順に対応するエンティティに紐づけていく
● 紐づけたエンティティをコンテクストとして使う
グローバルモデル:
Slide 53
Slide 53 text
LUKEによるエンティティリンキング:
グローバルモデル
53
● メンションを順に対応するエンティティに紐づけていく
● 紐づけたエンティティをコンテクストとして使う
グローバルモデル:
Slide 54
Slide 54 text
LUKEによるエンティティリンキング:
グローバルモデル
54
● メンションを順に対応するエンティティに紐づけていく
● 紐づけたエンティティをコンテクストとして使う
グローバルモデル:
各ステップで最も確信度が高い予測を得た
メンションを紐づけていく
Slide 55
Slide 55 text
LUKEによるエンティティリンキング:
実験結果
55
Name Accuracy
Ganea and Hoffman (2017) 92.2
Cao et al. (2021) 93.3
Barba et al. (2022) 92.6
Our local model 94.5
Our global model 95.0
Name Average F1
Ganea and Hoffman (2017) 85.2
Cao et al. (2021) 87.8
Barba et al. (2022) 88.9
Our local model 89.4
Our global model 89.9
Accuracy on AIDA-CoNLL Average F1 scores on MSNBC, AQUAINT,
ACE2004, WNED-WIKI, and WNED-CWEB
● 複数のエンティティリンキングのデータセットでSOTAを獲得
● グローバルモデルはローカルモデルより一貫して高性能
Slide 56
Slide 56 text
LUKEによるエンティティリンキング:
グローバルモデルのケーススタディ（AIDA-CoNLL）
56
"Campo has a massive following in this country and has had the public with him ever since he first
played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On
tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip)
Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman
(Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley.
Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡
England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡
Matthew Burke
文書:
推論の順序:
Slide 57
Slide 57 text
LUKEによるエンティティリンキング:
グローバルモデルのケーススタディ（AIDA-CoNLL）
57
"Campo has a massive following in this country and has had the public with him ever since he first
played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On
tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip)
Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman
(Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley.
Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡
England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡
Matthew Burke
文書:
推論の順序:
Slide 58
Slide 58 text
LUKEによるエンティティリンキング:
グローバルモデルのケーススタディ（AIDA-CoNLL）
58
"Campo has a massive following in this country and has had the public with him ever since he first
played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On
tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip)
Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman
(Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley.
Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡
England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡
Matthew Burke
文書:
推論の順序:
Slide 59
Slide 59 text
LUKEによるエンティティリンキング:
グローバルモデルのケーススタディ（AIDA-CoNLL）
59
"Campo has a massive following in this country and has had the public with him ever since he first
played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On
tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip)
Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman
(Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley.
Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡
England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡
Matthew Burke
ローカルモデルは、Nigel Walker と Matthew Burke で
間違ったエンティティを予測
文書:
推論の順序:
Slide 60
Slide 60 text
LUKEによるエンティティリンキング:
グローバルモデルのケーススタディ（AIDA-CoNLL）
60
"Campo has a massive following in this country and has had the public with him ever since he first
played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On
tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip)
Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman
(Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley.
Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡
England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡
Matthew Burke
グローバルモデルでは、Nigel Walker が野球選手ではなく、
元ラグビープレーヤーに正しくリンクされた
文書:
推論の順序:
Slide 61
Slide 61 text
LUKEによるエンティティリンキング:
グローバルモデルのケーススタディ（AIDA-CoNLL）
61
"Campo has a massive following in this country and has had the public with him ever since he first
played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On
tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip)
Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman
(Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley.
Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡
England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡
Matthew Burke
Matthew Burke が 、1964年生まれのオーストラリアの
元ラグビープレーヤー ではなく、1973年生まれのオーストラリアの
元ラグビープレーヤーに正しくリンクされた
文書:
推論の順序:
Slide 62
Slide 62 text
エンティティエンべディングの補完
62
Entity Embedding Completion for Wide-Coverage Entity Disambiguation
Daisuke Oba, Ikuya Yamada, Naoki Yoshinaga, Masashi Toyoda
EMNLP Findings 2022
Slide 63
Slide 63 text
エンティティエンべディングの補完:
エンティティリンキングモデルの問題
63
● 訓練時の計算量やエンべディングに必要なGPUメモリの制約から、
Wikipediaエンティティ全体を使った訓練を行うことが難しい
○ 英語のWikipediaは、約7Mのエンティティを含む
7M * 256 (エンべディングの次元) * 4 (float32) * 3 (Adamの勾配履歴) ≒ 22GB
● 新しいエンティティを事後的に追加できない（例：COVID-19）
● エンティティの意味の変化をうまく扱えない（例：ドナルド・トランプ）
訓練時の語彙に含まれないエンティティや
意味の変化したエンティティをうまく扱えない
Slide 64
Slide 64 text
エンティティエンべディングの補完:
提案手法
64
エンティティの説明文やエンティティについての言及文から
エンティティエンべディングを補完する
1. Wikipediaでの頻出エンティティ500kをエンティティ語彙としてLUKEを訓練
2. エンティティの説明文・言及文から、1のエンティティエンべディングを予測する
エンコーダを訓練
Slide 65
Slide 65 text
エンティティエンべディングの補完:
提案手法
65
新しいエンティティ「COVID-19」を訓練済みのモデルに追加
Slide 66
Slide 66 text
エンティティエンべディングの補完:
実験結果
66
Micro F1 on AIDA-CoNLL
SOTAモデルと比較して遜色ない性能を達成
Slide 67
Slide 67 text
エンティティエンべディングの補完:
実験結果
67
Micro F1 on AIDA-CoNLL
SOTAモデルと比較して遜色ない性能を達成
評価時に必要となる候補エンティティを全て
語彙に追加して訓練する設定が採用されている
頻出エンティティのみ（47％）を使って訓練して
その他のエンべディング（53％）を補完
Slide 68
Slide 68 text
日本語LUKE
68
Slide 69
Slide 69 text
日本語LUKE:
概要
69
モデルの訓練：
1. XLM-RoBERTaを訓練
コーパス：日本語Wikipedia + 日本語CC100
トークナイザ：Sentencepiece（語彙はコーパスから学習）
ハイパーパラメータ：CamemBERT (ACL 2020) を再現
2. mLUKEを訓練
コーパス：日本語Wikipedia
ハイパーパラメータ：LUKE (EMNLP 2020) と同じ設定を使用
モチベーション：日本語の知識拡張型言語モデルを作りたい
Slide 70
Slide 70 text
日本語LUKE:
評価: baseモデル
70
JGLUEデータセットで既存モデルと比較して高い性能を獲得
Model MARC-ja JSTS JNLI JCommonsenseQA
日本語LUKE base 0.965 0.916/0.877 0.912 0.842
XLM-RoBERTa base (ベースモデル) 0.961 0.910/0.871 0.902 0.838
Tohoku BERT base 0.958 0.909/0.868 0.899 0.808
Waseda RoBERTa base 0.962 0.913/0.873 0.895 0.840
XLM-RoBERTa base (original) 0.961 0.877/0.831 0.893 0.687
● XLM-RoBERTaベースモデルと比較して性能が改善
● 全てのデータセットにおいて既存モデルよりも高い性能を獲得
Slide 71
Slide 71 text
日本語LUKE:
評価: largeモデル
71
JGLUEデータセットで既存モデルと比較して高い性能を獲得
Model MARC-ja JSTS JNLI JCommonsenseQA
日本語LUKE large 0.965 0.932/0.902 0.927 0.893
Tohoku BERT large 0.955 0.913/0.872 0.900 0.816
Waseda RoBERTa large (seq128) 0.954 0.930/0.896 0.924 0.907
Waseda RoBERTa large (seq512) 0.961 0.926/0.892 0.926 0.891
XLM-RoBERTa large (original) 0.961 0.877/0.831 0.919 0.840
● JCommonsenseQAを除くデータセットにおいて既存モデルよりも
高い性能を獲得
Slide 72
Slide 72 text
日本語LUKE:
性能改善の考えられる理由
● Wikipediaエンティティを予測する訓練が言語理解の性能向上に有効
● WikipediaでのLUKEの訓練が整った文の多いデータセットと相性が良い
● 事前訓練を長くした分、性能が改善しただけ
72
Slide 73
Slide 73 text
日本語LUKE:
性能改善の考えられる理由
● Wikipediaエンティティを予測する訓練が言語理解の性能向上に有効
● WikipediaでのLUKEの訓練が整った文の多いデータセットと相性が良い
● 事前訓練を長くした分、性能が改善しただけ
73
ベースモデルのJGLUEでの性能は約30％くらいの訓練ステップから横ばいで
訓練ステップが増えたことで性能改善につながったとはやや考えにくい
Slide 74
Slide 74 text
日本語LUKE:
利用方法
74
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained(“studio-ousia/luke-base-japanese”)
tokenizer = AutoModel.from_pretrained(“studio-ousia/luke-base-japanese”)
Huggingface Transformersからすぐに利用できます！
エンティティエンべディングあり エンティティエンべディングなし
studio-ousia/luke-base-japanese studio-ousia/luke-base-japanese-lite
studio-ousia/luke-large-japanese studio-ousia/luke-large-japanese-lite
Wikipediaエンティティを入力として使わないタスクでは、
エンティティエンべディングなしのliteモデルを使用してください
Slide 75
Slide 75 text
さいごに
● 多言語LUKE
東京大学鶴岡研究室とStudio Ousiaの共同研究の成果
主著：李 凌寒さん (東京大学博士課程・Studio Ousiaインターン)
● エンティティエンべディングの補完
東京大学豊田・根本・吉永・合田研究室とStudio Ousiaの共同研究の成果
主著：大葉 大輔さん (東京大学博士課程・Studio Ousiaインターン)
75
研究を進めるにあたって多大なご助力をいただきました
この場を借りて感謝いたします