Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
SPECTER: Document-level Representation Learning using Citation-informed Transformers
Kaito Sugimoto
November 02, 2020
Research
0
140
SPECTER: Document-level Representation Learning using Citation-informed Transformers
研究室の日本語輪読会で発表したスライドです。
内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。
Kaito Sugimoto
November 02, 2020
Tweet
Share
More Decks by Kaito Sugimoto
See All by Kaito Sugimoto
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
hellorusk
0
31
Modeling Mathematical Notation Semantics in Academic Papers
hellorusk
0
15
Detecting Causal Language Use in Science Findings / Measuring Correlation-to-Causation Exaggeration in Press Releases
hellorusk
0
12
Efficient Domain Adaptation of Language Models via Adaptive Tokenization
hellorusk
0
71
SimCSE: Simple Contrastive Learning of Sentence Embeddings
hellorusk
0
140
Automated Concatenation of Embeddings for Structured Prediction
hellorusk
0
48
Assessing Phrasal Representation and Composition in Transformers
hellorusk
0
24
OAG-BERT: Pre-train Heterogeneous Entity-augmented Academic Language Models
hellorusk
0
31
PU (Positive-Unlabeled) Learning
hellorusk
0
420
Other Decks in Research
See All in Research
ゼロからのスタートアップ立ち上げにおけるリサーチ事例 by @takejune
takejune
2
760
P値のトリセツ
taka88
9
4.4k
PLDI '21論文読み会: Specification Synthesis with Constrainted Horn Clauses
ideininc
0
600
最適輸送と自然言語処理
eumesy
PRO
5
1.6k
第11回チャンピオンズミーティング・ピスケス杯ラウンド1集計 / Umamusume Pisces 2022 Round1
kitachan_black
0
1.8k
企業の業界分類予測における共変量シフト問題の抑制
taro_masuda
2
700
GovTechとマーケットデザイン (渋谷区山室係長)
daimoriwaki
0
160
深層学習を用いた三次元点群処理入門
nnchiba
5
3.2k
ECサイトにおけるデータ駆動型意思決定のための非線形テンソル因子分解を用いたVisual Analyticsシステムの検討
ae14watanabe
0
260
Fairseq初心者向けチュートリアル
tktkbohshi
2
540
PLDI '21論文読み会: DNNFusion: Accelerating Deep Neural Networks Execution with Advanced Operator Fusion
ideininc
0
630
DeNA, MoT AI勉強会発表資料「顔認識と最近のArcFaceまわりと」 / Face Recognition & ArcFace papers
takarasawa_
4
2.1k
Featured
See All Featured
Designing with Data
zakiwarfel
91
3.9k
Put a Button on it: Removing Barriers to Going Fast.
kastner
56
2.3k
The MySQL Ecosystem @ GitHub 2015
samlambert
238
11k
No one is an island. Learnings from fostering a developers community.
thoeni
9
1.1k
Designing for Performance
lara
597
63k
From Idea to $5000 a Month in 5 Months
shpigford
373
44k
Learning to Love Humans: Emotional Interface Design
aarron
261
37k
10 Git Anti Patterns You Should be Aware of
lemiorhan
638
52k
The Art of Programming - Codeland 2020
erikaheidi
32
9.3k
It's Worth the Effort
3n
172
25k
Clear Off the Table
cherdarchuk
79
280k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
237
19k
Transcript
SPECTER: Document-level Representation Learning using Citation-informed Transformers Cohan et al.,
ACL 2020 杉本 海人 Aizawa Lab. B4 2020/11/02 1 / 17
読んだ論文 ACL 2020 https://www.aclweb.org/anthology/2020.acl-main.207.pdf 2 / 17
どんな論文? • 文書間の関係の情報(引用ネットワークなど)を BERT に取り入 れて, document representation を生成する方法を新たに提案 •
論文の分類や推薦などの多くの downstream task で有効性を確認 なぜ読んだか: • context-aware citation recommendation という, 論文の特定の位置 からその箇所に対応づけるべき論文を選ぶタスクに興味を持っ ているが, BERT はまだ殆ど使われていない. 論文の埋め込みは BERT でどのように行うのが良いのかに興味 があった 3 / 17
論文の背景 • BERT のような pre-trained のニューラル言語モデルが word や sentence 単位の埋め込みにおいて有用であることは広く研究さ
れてきたが, document 全体の埋め込みに関しては相対的に研究が 少ない • 特に scientific paper analysis において, 引用ネットワークの埋め込 み自体は Graph Convolutional Network など研究されてきたが, そ れを BERT の 学習時に活かせていなかった 4 / 17
関連研究 hyperdoc2vec: Distributed Representations of Hypertext Documents (ACL 2018): (BERT
ではないが引用の情報を意識して学習) 5 / 17
関連研究 A Context-Aware Citation Recommendation Model with BERT and Graph
Convolutional Networks (2019) (BERT と GCN を組み合わせて論文推薦, ここでは引用の情報は BERT とは別物になっている) 6 / 17
提案手法 SPECTER: Scientific Paper Embeddings using Citation-informed TransformERs • 論文の埋め込みを
Transformer ベースで得る新たな手法 • Transformer を SciBERT(Semantic Scholar の論文で pre-trained さ れた BERT)で初期化する • SciBERT はすでに論文の中身に関する言語情報を獲得している と考えられるが, 論文間の関係情報は一切考慮していない。これ を考慮できるようにさらに学習する 7 / 17
提案手法: Training クエリの論文 PQ だけでなく, positive paper P+, negative paper
P− も加 えた 3 つ組 を入力として使う。 8 / 17
提案手法: Training P+: PQ が引用した論文 P−: 2 種類の選び方がある。1 つは, PQ
が引用していない論文からラ ンダムに 1 つ選ぶ。 もう 1 つは, P+ が引用しているにもかかわらず PQ が引用していない 論文からランダムに 1 つ選ぶ(hard neagtives) 。もし全くクエリに関 係ない論文なら, そのクエリが引用した論文とも全く関係ないのは自 明であるが, hard negatives では自明でない例を学習するということに なる。 9 / 17
提案手法: Training PQ, P+, P− それぞれの論文を入力として, Transformer モデルに入れ, [CLS] トークンの出力から埋め込みを得る.
入力形式は, 基本的には「論文のタイトル + abstract」としている。後 の実験で, abstract を使わないタイトルのみ場合や author(著者), venue(会議名)のメタ情報を入力に加えた場合とも比較している。 これら 3 つの埋め込みについて, 以下のような TripletMarginLoss を計 算し, back propagation する. 10 / 17
提案手法: Evaluation • クエリ論文 P を学習した Transformer モデルに入れ, [CLS] トーク
ンの出力から埋め込みを得る • 推論時には引用ネットワーク情報が不要というのがポイント 11 / 17
実験: pre-trained model の作成 • Semantic Scholar から 146K のクエリ論文を訓練用に,
32K の論文 を validation 用に抽出した。クエリ論文 1 つに対し, 最大 5 つの PQ, P+, P− の 3 つ組を作成。 5 つの 3 つ組のうち 2 つは hard negatives, 3 つは easy negatives となっている。 累計 684K の 3 つ組を訓練用に, 145K を validation 用に用意した • https://github.com/allenai/specter 12 / 17
実験: タスク・データセット scientific paper embeddings を包括的に評価するための新たなフレーム ワークである SCIDOCS を用意した(この論文のもう 1
つのポイ ント) 。 SCIDOCS では論文に関する 7 つのタスクで評価する。 • MeSH Classification • Paper Topic Classification • Citation Prediction (Direct Citations) • Citation Prediction (Co-Citations) • User Activity (Co-Views) • User Activity (Co-Reads) • Recommendation 13 / 17
結果 14 / 17
分析: Ablation Study 15 / 17
分析: Visualization 16 / 17
分析: Comparison with Task Specific Fine-Tuning 17 / 17