知識拡張型言語モデルLUKE

言語処理学会第29回年次大会 併設ワークショップ JLR2023 (@jedws) での招待講演資料です。

Transcript

1. 山田 育矢 (Ikuya Yamada) 知識拡張型言語モデル Studio Ousia & RIKEN
2. 自己紹介 山田 育矢 (@ikuyamada) Studio Ousia 共同創業者チーフサイエンティスト 理化学研究所AIP 客員研究員（知識獲得チーム、言語情報アクセス技術チーム） • 大学入学時に、ベンチャー企業を起業し売却（2000年〜2006年） ◦ インターネットの基盤技術（Peer to Peer通信におけるNAT越え問題）の研究開発を推進 ◦ 売却先企業は株式上場 • Studio Ousiaを共同創業し、自然言語処理に取り組む（2007年〜） ◦ 質問応答・言語モデルを中心とした自然言語処理の研究開発を推進 • プログラミングが好き ◦ 最近よく使うライブラリ：PyTorch、PyTorch-lightning、transformers、Wikipedia2Vec • コンペティションにいろいろ出場 ◦ Kaggle master ◦ 優勝したタスク：#Microposts @ WWW2015, W-NUT Task #1 @ ACL 2015, HCQA @ NAACL 2016, HCQA @ NIPS 2017, Semantic Web Challenge @ ISWC 2020 2
3. 本日の講演の内容 • LUKE (EMNLP 2020) LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention • 多言語LUKE (mLUKE) (ACL 2022) mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models • LUKEのエンティティリンキングへの応用 (NAACL 2022) Global Entity Disambiguation with BERT • LUKEのエンティティエンべディングの補完 (EMNLP Findings 2022) Entity Embedding Completion for Wide-Coverage Entity Disambiguation • 日本語LUKE (2022) 3 知識拡張型モデル「LUKE」とその後続の研究での展開についてお話します
4. LUKE 4 LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto EMNLP 2020
5. LUKE: 概要 • 知識を使うことが重要なダウンストリームタスクにおいて良い性能を達成 e.g., 質問応答・エンティティリンキング・固有表現抽出・関係認識・型認識 • Huggingface Transformers経由で簡単に使える 5 単語とエンティティの文脈付きベクトルを出力する 知識拡張型 (knowledge-enhanced)の訓練済み言語モデル from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained(“studio-ousia/luke-base”) tokenizer = AutoModel.from_pretrained(“studio-ousia/luke-base”)
6. LUKE: エンティティとは 物や概念をあらわす言語表現 本講演では主にWikipediaに存在するような 世界の知識に関するエンティティを指す 6
7. 訓練済み言語モデル（PLM）はエンティティをうまく表現できない ◦ PLMはエンティティのスパンに対応する表現を出力できない ◦ エンティティは複数の入力トークンに分割されるため、Transformer内部で エンティティ同士の関係を捉えることが難しい ◦ PLMの訓練タスクはエンティティに向いているとは言えない 7 BERT...? GPT…? The Force is not strong with them. Mark Hamill by Gage Skidmore 2 LUKE: 背景
8. 訓練済み言語モデル（PLM）はエンティティをうまく表現できない ◦ PLMはエンティティのスパンに対応する表現を出力できない ◦ エンティティは複数の入力トークンに分割されるため、Transformer内部で エンティティ同士の関係を捉えることが難しい ◦ PLMの訓練タスクはエンティティに向いているとは言えない 8 BERT...? ERNIE…? The Force is not strong with them. Mark Hamill by Gage Skidmore 2 LUKE: 背景 ”ハリー・[MASK]”に対して”ポッター”を予測するのは ”ハリー・ポッター”全体を予測するより明らかに簡単
9. • Transformer（RoBERTa）をベースにした訓練済み言語モデル ◦ 単語とエンティティの双方を独立したトークンとして扱う ◦ ランダムに単語とエンティティをマスクして訓練を行う ◦ エンティティに適したアテンションメカニズムを提案 (省略) LUKE: アーキテクチャ 9 Wikipediaのエンティティアノテーション付きの入力テキスト: Beyoncé lives in Los Angeles
10. LUKE: アーキテクチャ • LUKE は単語とエンティティを独立したトークンとして扱う • エンティティが独立したトークンとして扱われているので ◦ エンティティのスパンが自然に表現できる ◦ エンティティ同士の関係がTransformer内部で自然に捉えられる 10 Wikipediaのエンティティアノテーション付きの入力テキスト: Beyoncé lives in Los Angeles 入力表現の計算
11. • トークンエンべディング：単語もしくはエンティティ自体をあらわす LUKE: 入力表現：3種類のエンベディング 11
12. LUKE: 入力表現：3種類のエンベディング 12 • トークンエンべディング：単語もしくはエンティティ自体をあらわす • ポジションエンべディング：トークンの単語列中での位置をあらわす
13. LUKE: 入力表現：3種類のエンベディング 13 • トークンエンべディング：単語もしくはエンティティ自体をあらわす • ポジションエンべディング：トークンの単語列中での位置をあらわす ◦ 複数の単語を含むエンティティの場合は、ポジションエンべディングを平均する
14. LUKE: 入力表現：3種類のエンベディング 14 • トークンエンべディング：単語もしくはエンティティ自体をあらわす • ポジションエンべディング：トークンの単語列中での位置をあらわす ◦ 複数の単語を含むエンティティの場合は、ポジションエンべディングを平均する • エンティティタイプエンベディング：入力トークンがエンティティであることを あらわす
15. LUKE: 入力表現の計算 15 • 単語表現: トークンエンべディング + ポジションエンべディング
16. LUKE: 入力表現の計算 16 • 単語表現: トークンエンべディング + ポジションエンべディング • エンティティ表現: トークンエンべディング + ポジションエンべディング + エンティティタイプエンベディング
17. LUKE: 事前訓練: 単語とエンティティをマスク 17 Wikipediaリンク を エンティティの アノテーション として使用 Wikipediaに含まれる単語およびエンティティをランダムにマスクする 単語およびエンティティを15%の 確率で[MASK] 単語、[MASK]エン ティティに変換 Born and raised in Houston, Texas, Beyoncé performed in various singing and dancing competitions as a child. She rose to fame in the late 1990s as the lead singer of Destiny's Child Born and [MASK] in Houston, Texas, [MASK] performed in various [MASK] and dancing competitions as a [MASK]. She rose to fame in the [MASK] 1990s as the lead singer of Destiny's Child
18. LUKE: 事前訓練: マスクした単語とエンティティを予測して訓練 18 下記の2つのタスクで訓練 • マスクされた単語の元の単語を予測 • マスクされたエンティティの元のエンティティを予測 Wikipediaに含まれる単語およびエンティティをランダムにマスクし それらを予測することで訓練
19. LUKE: ダウンストリームタスクでのエンティティ表現の利用 19 LUKEにエンティティを入力する2つの方法： 1. [MASK] エンティティを入力 ◦ 事前訓練時に使った[MASK] エンティティを利用する ◦ 入力テキスト中からエンティティに関する情報を集約したエンティティ表現が得られる
20. LUKE: ダウンストリームタスクでのエンティティ表現の利用 20 LUKEにエンティティを入力する2つの方法： 1. [MASK] エンティティを入力 ◦ 事前訓練時に使った[MASK] エンティティを利用する ◦ 入力テキスト中からエンティティに関する情報を集約したエンティティ表現が得られる 2. Wikipediaエンティティを入力 ◦ 入力テキストに含まれるWikipediaエンティティを入力する ◦ エンティティエンべディングに含まれる豊富な情報を使ってタスクを解くことができる ◦ エンティティリンキングが必要
21. LUKE: 実験 5つの異なる知識の必要なタスク（knowledge-intensive tasks）でSOTAを更新 21 Dataset Task Open Entity エンティティ型認識 TACRED 関係認識 CoNLL-2003 固有表現認識 ReCoRD 穴埋め式質問応答 SQuAD 抽出型質問応答
22. LUKE: 実験: エンティティ型認識、関係認識、穴埋め式質問応答 22 モデル: エンティティ表現を入力とする線形分類層を追加 モデルへの入力: • テキスト • 対象となるエンティティのスパンに対応する [MASK] エンティティ エンティティ型認識、関係認識、穴埋め式質問応答にてSOTAを更新 Results on Open Entity Results on TACRED Results on ReCoRD データセット: • Open Entity (エンティティ型認 識) • TACRED (関係認識) • ReCoRD (穴埋め式質問応答)
23. LUKE: 実験: 固有表現認識 23 モデル: 1. 入力テキスト中の全てのスパンをエンティティの 候補として扱う 2. 各スパンをエンティティの型、もしくはnon-entity型に分類 3. ロジットの大きいものから順に分類結果を確定 モデルへの入力: • 入力テキスト • 入力テキスト中の全てのエンティティスパンに対応する [MASK] エンティティ 固有表現認識データセット（CoNLL-2003）でSOTAを更新 Results on CoNLL-2003
24. LUKE: 実験: 抽出型質問応答 24 モデル: 出力単語表現の上に開始位置、終了位置を推定する 線形分類層を追加 モデルへの入力: • 質問及びパッセージのテキスト • パッセージに含まれるWikipediaエンティティ 抽出型質問応答データセット（SQuAD v1.1）でSOTAを更新 Results on SQuAD v1.1 LUKE got #1 on leaderboard
25. LUKE: エンティティ表現の有効性の評価 25 固有表現認識（CoNLL-2003）と抽出型質問応答（SQuAD v1.1）の双方で エンティティ表現を使うことで性能が改善
26. LUKE: エンティティ表現の有効性の評価 26 固有表現認識（CoNLL-2003）と抽出型質問応答（SQuAD v1.1）の双方で エンティティ表現を使うことで性能が改善 [MASK]エンティティを 入力 Wikipediaエンティティを入 力
27. LUKE: 固有表現抽出（CoNLL-2003）の結果の変化 27 http://explainaboard.nlpedia.ai/leaderboard/task-ner/
28. LUKE: 固有表現抽出（CoNLL-2003）の結果の変化 28 http://explainaboard.nlpedia.ai/leaderboard/task-ner/
29. 多言語LUKE (mLUKE) 29 mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models Ryokan Ri, Ikuya Yamada, Yoshimasa Tsuruoka ACL 2022
30. mLUKE: Wikipediaエンティティは言語非依存 Wikipediaのエンティティは、Wikidataを通じて言語を横断して相互にリンクされている 30
31. mLUKE: 言語非依存なエンティティエンベディング Wikidataのinter-language linksを使って、 言語非依存なエンティティエンべディングを作成 31 言語横断でエンティティとエンベディングが対応
32. mLUKE: 概要 アーキテクチャの変更点 • 言語非依存な共有エンティティエンベディングの導入 • 多言語訓練済み言語モデル（XLM-RoBERTa）をベースモデルに使用 事前訓練の変更点 • 24言語のWikipediaを利用 • エンティティの語彙数を500K -> 1.2Mに増やした 32 LUKEに言語非依存なエンティティエンベディングを導入し、 クロスリンガル転移性能を向上させる
33. mLUKE: クロスリンガル転移学習 33 ダウンストリームタスクの訓練と評価を異なる言語で行って、 言語を跨いだ転移性能を評価
34. mLUKE: Research Question 34 mLUKEでのクロスリンガル転移性能が改善する二つの要因とその評価方法: 1. エンティティを用いた事前訓練での性能改善 エンティティを入力として使わずに単語のみを入力とすることで評価 👉mLUKE-Wと表記 2. エンティティを入力として用いることによる性能改善 エンティティを入力として用いたモデルを使って評価 👉mLUKE-Eと表記 言語非依存なエンティティエンベディングによって クロスリンガル転移性能は改善するか？
35. mLUKE: 実験：クロスリンガル関係分類 35 • 訓練データ：KBP37 • 評価データ：RELX (KBP37のテストセットを翻訳) クロスリンガル関係分類において性能向上を確認
36. mLUKE: 実験：クロスリンガル関係分類 36 • 訓練データ：KBP37 • 評価データ：RELX (KBP37のテストセットを翻訳) クロスリンガル関係分類において性能向上を確認 事前訓練での改善： XLM-Rベースラインと同様に mLUKEの単語表現のみを利用 エンティティ表現による改善： [MASK]エンティティを使った エンティティ表現を利用
37. mLUKE: 実験：クロスリンガル質問応答 37 • 訓練データ：SQuAD • 評価データ：XQuAD、MLQA、MLQA G-XLT (質問と回答が異なる言語で与えられる) クロスリンガル質問応答において性能向上を確認
38. mLUKE: 実験：クロスリンガル質問応答 38 • 訓練データ：SQuAD • 評価データ：XQuAD、MLQA、MLQA G-XLT (質問と回答が異なる言語で与えられる) クロスリンガル質問応答において性能向上を確認 事前訓練での改善： XLM-Rベースラインと同様に mLUKEの単語表現のみを利用 エンティティ表現による改善： Wikipediaエンティティを 入力として使用
39. mLUKE: 実験：穴埋めタスク 39 XLM-R & mLUKE-W mLUKE-E ([Y]) 穴埋め形式のタスクでの性能を異なるモデルの設定で評価 mLUKE-E ([X] & [Y])
40. mLUKE: 実験：穴埋めタスク 40 • 評価データ：mLAMA 穴埋め形式のタスクでの性能を異なるモデルの設定で評価
41. mLUKE: 実験：穴埋めタスクにおける言語バイアスの改善 41 「[X]は[Y]に設立されました。」というクエリでの [Y] の間違った予測の件数と その中での「Japan」の割合 言語依存性の少ないエンティティ表現を使うことで言語バイアスが改善
42. LUKEによるエンティティリンキング 42 Global Entity Disambiguation with BERT Ikuya Yamada, Koki Washio, Hiroyuki Shindo, Yuji Matsumoto NAACL 2022
43. LUKEによるエンティティリンキング: エンティティリンキングとは 43 エンティティリンキング: メンションをエンティティにリンクするタスク メッシ と ロナウド が ワールドカップ に出場した
44. LUKEによるエンティティリンキング: エンティティリンキングとは 44 エンティティリンキング: メンションをエンティティにリンクするタスク メッシ と ロナウド が ワールドカップ に出場した リオネル・ メッシ FIFA ワールドカップ クリスティアーノ・ ロナウド
45. LUKEによるエンティティリンキング: ローカルコンテクストとグローバルコンテクスト • ローカルコンテクスト: メンションと共起しているサブワードから取得 45 ローカルコンテクスト: メ, ##ッシ, と, ロ, ##ナウ, ##ド, が, ワールドカップ, 出場, し, た 入力: ワールドカップのコンテクスト: メッシ と ロナウド が ワールドカップ に出場した
46. LUKEによるエンティティリンキング: ローカルコンテクストとグローバルコンテクスト • ローカルコンテクスト: メンションと共起しているサブワードから取得 • グローバルコンテクスト: 他のメンションに対応するエンティティから取得 46 ローカルコンテクスト: メ, ##ッシ, と, ロ, ##ナウ, ##ド, が, ワールドカップ, 出場, し, た 入力: ワールドカップのコンテクスト: メッシ と ロナウド が ワールドカップ に出場した グローバルコンテクスト: リオネル・メッシ クリスティアーノ・ロナウド
47. LUKEによるエンティティリンキング: Research Question SOTAモデル: 訓練済み言語モデル＋ローカルコンテクスト (Févry et al., 2020; Cao et al., 2021; Barba et al., 2022) 47 グローバルコンテキストは表現力の高い 訓練済み言語モデルにおいても有効か？
48. LUKEによるエンティティリンキング: 提案手法 48 提案するモデル： ローカルコンテクストとグローバルコンテクストを利用する LUKEベースのモデル • エンティティを入力トークンとして利用 • エンティティを順にリンクしていき、確定したエンティティを コンテクストとして利用 グローバルコンテクストを利用するための工夫:
49. LUKEによるエンティティリンキング: ローカルモデル 49 ローカルモデル: 各メンションに対応する[MASK]エンティティを予測
50. LUKEによるエンティティリンキング: グローバルモデル 50 • メンションを順に対応するエンティティに紐づけていく • 紐づけたエンティティをコンテクストとして使う グローバルモデル:
51. LUKEによるエンティティリンキング: グローバルモデル 51 • メンションを順に対応するエンティティに紐づけていく • 紐づけたエンティティをコンテクストとして使う グローバルモデル:
52. LUKEによるエンティティリンキング: グローバルモデル 52 • メンションを順に対応するエンティティに紐づけていく • 紐づけたエンティティをコンテクストとして使う グローバルモデル:
53. LUKEによるエンティティリンキング: グローバルモデル 53 • メンションを順に対応するエンティティに紐づけていく • 紐づけたエンティティをコンテクストとして使う グローバルモデル:
54. LUKEによるエンティティリンキング: グローバルモデル 54 • メンションを順に対応するエンティティに紐づけていく • 紐づけたエンティティをコンテクストとして使う グローバルモデル: 各ステップで最も確信度が高い予測を得た メンションを紐づけていく
55. LUKEによるエンティティリンキング: 実験結果 55 Name Accuracy Ganea and Hoffman (2017) 92.2 Cao et al. (2021) 93.3 Barba et al. (2022) 92.6 Our local model 94.5 Our global model 95.0 Name Average F1 Ganea and Hoffman (2017) 85.2 Cao et al. (2021) 87.8 Barba et al. (2022) 88.9 Our local model 89.4 Our global model 89.9 Accuracy on AIDA-CoNLL Average F1 scores on MSNBC, AQUAINT, ACE2004, WNED-WIKI, and WNED-CWEB • 複数のエンティティリンキングのデータセットでSOTAを獲得 • グローバルモデルはローカルモデルより一貫して高性能
56. LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 56 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke 文書: 推論の順序:
57. LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 57 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke 文書: 推論の順序:
58. LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 58 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke 文書: 推論の順序:
59. LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 59 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke ローカルモデルは、Nigel Walker と Matthew Burke で 間違ったエンティティを予測 文書: 推論の順序:
60. LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 60 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke グローバルモデルでは、Nigel Walker が野球選手ではなく、 元ラグビープレーヤーに正しくリンクされた 文書: 推論の順序:
61. LUKEによるエンティティリンキング: グローバルモデルのケーススタディ（AIDA-CoNLL） 61 "Campo has a massive following in this country and has had the public with him ever since he first played here in 1984," said Andrew, also likely to be making his final Twickenham appearance. On tour, Australia have won all four tests against Italy, Scotland, Ireland and Wales, (snip) Teams: Barbarians - 15 - Tim Stimpson (England); 14 - Nigel Walker (Wales), 13 - Allan Bateman (Wales), (snip) Australia - 15 - Matthew Burke; 14 - Joe Roff, (snip) 1 - Dan Crowley. Allan Bateman ➡ Rob Howley ➡ Nick Popplewell ➡ Tony Underwood ➡ (snip) ➡ England ➡ Wales ➡ (snip) ➡ Italy ➡ Scotland ➡ Ireland ➡ Nigel Walker ➡ New Zealand ➡ Matthew Burke Matthew Burke が 、1964年生まれのオーストラリアの 元ラグビープレーヤー ではなく、1973年生まれのオーストラリアの 元ラグビープレーヤーに正しくリンクされた 文書: 推論の順序:
62. エンティティエンべディングの補完 62 Entity Embedding Completion for Wide-Coverage Entity Disambiguation Daisuke Oba, Ikuya Yamada, Naoki Yoshinaga, Masashi Toyoda EMNLP Findings 2022
63. エンティティエンべディングの補完: エンティティリンキングモデルの問題 63 • 訓練時の計算量やエンべディングに必要なGPUメモリの制約から、 Wikipediaエンティティ全体を使った訓練を行うことが難しい ◦ 英語のWikipediaは、約7Mのエンティティを含む 7M * 256 (エンべディングの次元) * 4 (float32) * 3 (Adamの勾配履歴) ≒ 22GB • 新しいエンティティを事後的に追加できない（例：COVID-19） • エンティティの意味の変化をうまく扱えない（例：ドナルド・トランプ） 訓練時の語彙に含まれないエンティティや 意味の変化したエンティティをうまく扱えない
64. エンティティエンべディングの補完: 提案手法 64 エンティティの説明文やエンティティについての言及文から エンティティエンべディングを補完する 1. Wikipediaでの頻出エンティティ500kをエンティティ語彙としてLUKEを訓練 2. エンティティの説明文・言及文から、1のエンティティエンべディングを予測する エンコーダを訓練
65. エンティティエンべディングの補完: 提案手法 65 新しいエンティティ「COVID-19」を訓練済みのモデルに追加
66. エンティティエンべディングの補完: 実験結果 66 Micro F1 on AIDA-CoNLL SOTAモデルと比較して遜色ない性能を達成
67. エンティティエンべディングの補完: 実験結果 67 Micro F1 on AIDA-CoNLL SOTAモデルと比較して遜色ない性能を達成 評価時に必要となる候補エンティティを全て 語彙に追加して訓練する設定が採用されている 頻出エンティティのみ（47％）を使って訓練して その他のエンべディング（53％）を補完
68. 日本語LUKE 68
69. 日本語LUKE: 概要 69 モデルの訓練： 1. XLM-RoBERTaを訓練 コーパス：日本語Wikipedia + 日本語CC100 トークナイザ：Sentencepiece（語彙はコーパスから学習） ハイパーパラメータ：CamemBERT (ACL 2020) を再現 2. mLUKEを訓練 コーパス：日本語Wikipedia ハイパーパラメータ：LUKE (EMNLP 2020) と同じ設定を使用 モチベーション：日本語の知識拡張型言語モデルを作りたい
70. 日本語LUKE: 評価: baseモデル 70 JGLUEデータセットで既存モデルと比較して高い性能を獲得 Model MARC-ja JSTS JNLI JCommonsenseQA 日本語LUKE base 0.965 0.916/0.877 0.912 0.842 XLM-RoBERTa base (ベースモデル) 0.961 0.910/0.871 0.902 0.838 Tohoku BERT base 0.958 0.909/0.868 0.899 0.808 Waseda RoBERTa base 0.962 0.913/0.873 0.895 0.840 XLM-RoBERTa base (original) 0.961 0.877/0.831 0.893 0.687 • XLM-RoBERTaベースモデルと比較して性能が改善 • 全てのデータセットにおいて既存モデルよりも高い性能を獲得
71. 日本語LUKE: 評価: largeモデル 71 JGLUEデータセットで既存モデルと比較して高い性能を獲得 Model MARC-ja JSTS JNLI JCommonsenseQA 日本語LUKE large 0.965 0.932/0.902 0.927 0.893 Tohoku BERT large 0.955 0.913/0.872 0.900 0.816 Waseda RoBERTa large (seq128) 0.954 0.930/0.896 0.924 0.907 Waseda RoBERTa large (seq512) 0.961 0.926/0.892 0.926 0.891 XLM-RoBERTa large (original) 0.961 0.877/0.831 0.919 0.840 • JCommonsenseQAを除くデータセットにおいて既存モデルよりも 高い性能を獲得
72. 日本語LUKE: 性能改善の考えられる理由 • Wikipediaエンティティを予測する訓練が言語理解の性能向上に有効 • WikipediaでのLUKEの訓練が整った文の多いデータセットと相性が良い • 事前訓練を長くした分、性能が改善しただけ 72
73. 日本語LUKE: 性能改善の考えられる理由 • Wikipediaエンティティを予測する訓練が言語理解の性能向上に有効 • WikipediaでのLUKEの訓練が整った文の多いデータセットと相性が良い • 事前訓練を長くした分、性能が改善しただけ 73 ベースモデルのJGLUEでの性能は約30％くらいの訓練ステップから横ばいで 訓練ステップが増えたことで性能改善につながったとはやや考えにくい
74. 日本語LUKE: 利用方法 74 from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained(“studio-ousia/luke-base-japanese”) tokenizer = AutoModel.from_pretrained(“studio-ousia/luke-base-japanese”) Huggingface Transformersからすぐに利用できます！ エンティティエンべディングあり エンティティエンべディングなし studio-ousia/luke-base-japanese studio-ousia/luke-base-japanese-lite studio-ousia/luke-large-japanese studio-ousia/luke-large-japanese-lite Wikipediaエンティティを入力として使わないタスクでは、 エンティティエンべディングなしのliteモデルを使用してください
75. さいごに • 多言語LUKE 東京大学鶴岡研究室とStudio Ousiaの共同研究の成果 主著：李 凌寒さん (東京大学博士課程・Studio Ousiaインターン) • エンティティエンべディングの補完 東京大学豊田・根本・吉永・合田研究室とStudio Ousiaの共同研究の成果 主著：大葉 大輔さん (東京大学博士課程・Studio Ousiaインターン) 75 研究を進めるにあたって多大なご助力をいただきました この場を借りて感謝いたします
76. 76 ikuya@ousia.jp @ikuyamada 質問やコメント等は下記の連絡先までご連絡ください！ ありがとうございました！