Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文紹介】OAG-BERT: Pre-train Heterogeneous Entity-...
Search
Kaito Sugimoto
May 24, 2021
Research
0
180
【論文紹介】OAG-BERT: Pre-train Heterogeneous Entity-augmented Academic Language Models
研究室の日本語輪読会で発表したスライドです。
内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。
Kaito Sugimoto
May 24, 2021
Tweet
Share
More Decks by Kaito Sugimoto
See All by Kaito Sugimoto
ChatGPTを活用した病院検索体験の改善 〜病院探しをもっと楽しく〜
hellorusk
0
100
【論文紹介】Word Acquisition in Neural Language Models
hellorusk
0
220
【論文紹介】Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
hellorusk
0
240
【論文紹介】Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
hellorusk
0
440
【論文紹介】Modeling Mathematical Notation Semantics in Academic Papers
hellorusk
0
220
【論文紹介】Detecting Causal Language Use in Science Findings / Measuring Correlation-to-Causation Exaggeration in Press Releases
hellorusk
0
140
【論文紹介】Efficient Domain Adaptation of Language Models via Adaptive Tokenization
hellorusk
0
400
【論文紹介】SimCSE: Simple Contrastive Learning of Sentence Embeddings
hellorusk
0
890
【論文紹介】Automated Concatenation of Embeddings for Structured Prediction
hellorusk
0
240
Other Decks in Research
See All in Research
Global Evidence Summit (GES) 参加報告
daimoriwaki
0
240
[輪講] Transformer Layers as Painters
nk35jk
4
690
Intrinsic Self-Supervision for Data Quality Audits
fabiangroeger
0
340
サーブレシーブ成功率は勝敗に影響するか?
vball_panda
0
550
A Segment Anything Model based weakly supervised learning method for crop mapping using Sentinel-2 time series images
satai
3
140
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
5k
研究を支える拡張性の高い ワークフローツールの提案 / Proposal of highly expandable workflow tools to support research
linyows
0
310
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
0
120
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
430
地理空間情報と自然言語処理:「地球の歩き方旅行記データセット」の高付加価値化を通じて
hiroki13
1
190
知識強化言語モデルLUKE @ LUKEミートアップ
ikuyamada
0
250
Batch Processing Algorithm for Elliptic Curve Operations and Its AVX-512 Implementation
herumi
0
120
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Navigating Team Friction
lara
183
15k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
YesSQL, Process and Tooling at Scale
rocio
172
14k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
How to Ace a Technical Interview
jacobian
276
23k
Why Our Code Smells
bkeepers
PRO
336
57k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
For a Future-Friendly Web
brad_frost
176
9.6k
Transcript
OAG-BERT: Pre-train Heterogeneous Entity-augmented Academic Language Models Liu et al.
Kaito Sugimoto Aizawa Lab. M1 2021/05/24 1 / 16
どんな論文? • ドメイン知識を考慮した学術論文事前学習モデルを提案 • Open Academic Graph (OAG) を活用して, 論文のテキストだけで
なく Author, Field of Study, Venue, Affiliation などの Entity 情報を同 時に学習する • Entity 情報が重要になる各種タスクにおいて, SciBERT のスコア を上回る 2 / 16
Academic Graph とは • 論文, 著者, Venue (会議 or ジャーナル)
などの Entity と, authorship (論文-著者 間), paper-publish-in-venue (論文-Venue 間), co-authorship (著者-著者 間) などの Relation から構成されるグ ラフ 3 / 16
Academic Graph の例 • AMiner (KDD ’08) • Microsoft Academic
Graph (MAG) (WWW ’15) • Open Academic Graph (OAG) (KDD ’19) • AMiner を開発した Tsinghua University(精華大学) と MAG を開発した Microsoft の共同研究プロジェクト • https://www.microsoft.com/en-us/research/project/ open-academic-graph/ 4 / 16
OAG 5 / 16
OAG-BERT • 論文に関係する様々な Entity 情報も含めて学習を行う • 以下の 2 つのステップに分かれる •
First Stage: Pre-train the vanilla OAG-BERT. • Second Stage: Enrich OAG-BERT with entity knowledge. 6 / 16
First Stage: Pre-train the vanilla OAG-BERT vanilla version (Entity 情報を含めない,
SciBERT と同じテキストだけの 学習) の OAG-BERT を作成する AMiner に含まれる論文 PDF および PubMed XML の合計 500 万本の論 文テキストを学習に使う SciBERT との違いは? • SciBERT は Semantic Scholar から CS+BioMed 分野の計 114 万本 の論文で事前学習していた. • SciBERT は本文テキストを使うのに対し, OAG-BERT は本文のタ イトルと要旨の間に著者名も挿入する → この時点で著者の vocabularary が多い 7 / 16
Second Stage: Enrich OAG-BERT with entity knowledge 8 / 16
Second Stage: Enrich OAG-BERT with entity knowledge Entity-aware 2D-positional encoding
• Entity 間の区別と, Entity 内の語順の識別のために行う Span-aware entity masking • ERNIE や SpanBERT などの既存の Entity を考慮するモデルと同 様, いくつかの連続した token を MASK して予測させる • MASK する span の長さは幾何分布からサンプル (SpanBERT で効 果的だったから (? )) 9 / 16
Second Stage: Enrich OAG-BERT with entity knowledge 学習 • 少なくとも
3 本は論文を出している著者の論文からランダムに選 び, 1 億 2000 万本の論文を, Author, Fields of Study, Venue, Affiliation とともに学習で使う • vanilla version の学習と異なり, この段階では Text 部分 は title + abstract しか用いない 10 / 16
実験 評価タスク • Zero-shot Inference • Supervised Classification • Name
Disambiguation • Link Prediction • NLP Tasks 11 / 16
Zero-shot Inference prompt とは... 出力部の前に "Field of study:" のようなトークンを出力すること 12
/ 16
他のタスク Supervised Classification → モデルの重みそのままの freeze 設定では OAG-BERT が SciBERT
を全般的に上回るが, 訓練データで fine-tuning すると SciBERT がほぼ 互角になる author 情報を加えると affiliation 分類に役立つ(割と当たり前), field of study 情報は venue 分類に役立つが affiliation 分類にはあまり役立た ない, などの傾向も見られる 13 / 16
他のタスク Name Disambiguation (同じ著者の名前の論文を, 同じ人ごとにクラス タさせるタスク) → SciBERT を上回る (F1
で 0.05 ポイント程度) Link Prediction (Paper-Field, Paper-Venue リンク) heterogeneous graph transformer (HGT) において文字を encode する部 分を元の XLNet から OAG-BERT に置き換えるとスコアが高くなる (SciBERT で置き換えた場合よりも高い) 14 / 16
NLP tasks 15 / 16
まとめ・感想 • 特殊な方法で事前学習しても NLP tasks のパフォーマンスにあま り影響を受けないというのが面白い • わざわざ vanilla
バージョンで著者含めて tokenize したことから 考えるに、vocabulary の情報がかなり重要そう? • CS, BioMed 以外の分野の論文で事前学習して違いを調べたりし てほしいが, 世の中の研究者にそういうモチベーションがあまり ないのかもしれない 16 / 16