Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文紹介】Automated Concatenation of Embeddings for...
Search
Kaito Sugimoto
September 06, 2021
Research
0
280
【論文紹介】Automated Concatenation of Embeddings for Structured Prediction
研究室の日本語輪読会で発表したスライドです。
内容に問題や不備がある場合は、お手数ですが hellorusk1998 [at] gmail.com までご連絡お願いいたします。
Kaito Sugimoto
September 06, 2021
Tweet
Share
More Decks by Kaito Sugimoto
See All by Kaito Sugimoto
ChatGPTを活用した病院検索体験の改善 〜病院探しをもっと楽しく〜
hellorusk
0
130
【論文紹介】Word Acquisition in Neural Language Models
hellorusk
0
270
【論文紹介】Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning
hellorusk
0
260
【論文紹介】Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
hellorusk
0
510
【論文紹介】Modeling Mathematical Notation Semantics in Academic Papers
hellorusk
0
270
【論文紹介】Detecting Causal Language Use in Science Findings / Measuring Correlation-to-Causation Exaggeration in Press Releases
hellorusk
0
160
【論文紹介】Efficient Domain Adaptation of Language Models via Adaptive Tokenization
hellorusk
0
460
【論文紹介】SimCSE: Simple Contrastive Learning of Sentence Embeddings
hellorusk
0
990
【論文紹介】Assessing Phrasal Representation and Composition in Transformers
hellorusk
0
87
Other Decks in Research
See All in Research
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
110
近似動的計画入門
mickey_kubo
4
1k
NLP2025参加報告会 LT資料
hargon24
1
360
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
260
2025年度 生成AIの使い方/接し方
hkefka385
1
770
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
18k
NLP Colloquium
junokim
1
190
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
270
VectorLLM: Human-like Extraction of Structured Building Contours via Multimodal LLMs
satai
4
120
Cross-Media Information Spaces and Architectures
signer
PRO
0
230
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
1.2k
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
740
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Become a Pro
speakerdeck
PRO
29
5.5k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
183
54k
GraphQLとの向き合い方2022年版
quramy
49
14k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Navigating Team Friction
lara
189
15k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
The Invisible Side of Design
smashingmag
301
51k
Bash Introduction
62gerente
614
210k
Code Review Best Practice
trishagee
70
19k
Transcript
Automated Concatenation of Embeddings for Structured Prediction Wang et al.,
ACL-IJCNLP 2021 Kaito Sugimoto Aizawa Lab. M1 2021/09/06 1 / 22
どんな論文? • ACL-IJCNLP 2021 (long paper) • 脚注によると著者が Alibaba の
R&D 部門にインターンした際に 行われた研究らしい 2 / 22
どんな論文? • Structured Prediction タスク(入力文のラベルや構造を予測するタ スク)をより上手く解く研究 • Neural Architecture Search
(NAS) のアイデアを活用し, 最適な Embedding の組み合わせ方を強化学習として学習する • NER や Dependency Parsing などの 6 つのタスクで SOTA 3 / 22
背景 • NER タスクなどにおいて, BERT の Embedding を単独で用いるよ りも他のモデルの Embedding
と連結して使う方が精度が良くな ることが知られていた 1 1Strakova et al., Neural Architectures for Nested NER through Linearization (ACL 2019) 4 / 22
背景 • 沢山種類がある言語モデルの Embedding から最も良い組み合わ せを考えることで性能を上げられないだろうか? • しかし, L 種類の
Embedding があった場合に, ありうる Embedding の連結の仕方は 2L − 1 通りあり, 全探索するのは困難 • タスクごとに効果的な Embedding の組み合わせが異なる可能性 も十分考えられる 5 / 22
背景 • そこで本研究では Neural Architecture Search (NAS) の考え方を取 り入れる •
NAS においては通常, タスクごとにアーキテクチャ自体を探索す る. NLP でもこれまでタスクに応じた RNN や Transformer のより 良いアーキテクチャ探索の応用例がある • 今回は, モデルのアーキテクチャは探索しない(ラベル予測では BiLSTM-CRF で, 構造予測では BiLSTM-Biaffine で統一). その代わ り, モデルの入力である Embedding の組み合わせ方を探索する. 6 / 22
提案手法のコンセプト • モデルのアーキテクチャではなく, モデルに入力する Embedding の組み合わせ方を探索する • アーキテクチャ自体を探索するよりも GPU 時間の少ない効率的
な方法だと主張している 7 / 22
手法 L を候補の Embedding の総数とする. a = ( a1 a2
... aL ) をどの Embedding を使うか・使わないかの値とす る(強化学習における「行動」 ) 各 al は以下の 𝜽 = ( 𝜃1 𝜃2 ... 𝜃l ) をパラメータとする分布(強化学習 における「方策(Policy)関数」 )に従ってサンプリングされる PCtrl l (al ; 𝜃l ) = { 𝜎(𝜃l ) 1 − 𝜎(𝜃l ) 流れとしては, 前のステップで計算された 𝜽 をもとに a をサンプルし, モデルを訓練して accuracy を計算. その accuracy の結果をもとに 𝜽 を更新する. この繰り返し. 8 / 22
手法 accuracy の計算 前のステップで計算された 𝜽 をもとに a をサンプルし, どの Embedding
を使うかを決める(1 ステップ目は全部使う ∀l al = 1). 以下の式のように, 使う Embedding 以外は 0 埋めされたベクトルが入 力になる. これを入力としてモデル(BiLSTM-CRF または BiLSTM-Biafiine)を訓 練し, evaluation データの accuracy を計算する. モデル自体は全ステップで同じものを使い続ける. 9 / 22
手法 𝜽 の更新 モデルの Accuracy を報酬としたとき, Vanilla Policy Gradient という強
化学習の手法 2 により, 𝜽 は前のステップから以下の分だけ更新すれ ばよいと求まる(初期状態は 𝜽 = 0). (b は, この更新値の分散を小さくするための項で, 具体的にはその時 点までの accuracy の最高値を使えばよいとされる) 2『深層強化学習アルゴリズムまとめ』 https://qiita.com/shionhonda/items/ec05aade07b5bea78081 がわかりやすい 10 / 22
手法 著者らはさらに, どの Embedding がより accuracy の向上に寄与した のかを報酬関数に明示した方がよいのではないか? と考え, 先程の式
を以下のように修正(実際に ablation study した際に効果的だった). 11 / 22
実験 以下の 6 種類のタスクを行う • NER • POS Tagging(品詞タグ付け) •
Chunking("South Africa" のようなカタマリの抽出) • Aspect Extraction(品物のレビューなど, 意見や感情を含む文から それに関連する用語を抽出するタスク) • Syntactic Dependency Parsing • Semantic Dependency Parsing 12 / 22
実験 1. ベースラインとの比較 提案手法の探索がうまくいっているかを確かめるために, • 単純に全部の Embeddings を使った場合 • Random
Search した場合(毎回ランダムに使う Embedding の組 み合わせを試す場合) と比較 Embedding の候補としては ELMo, Flair, BERT, Glove, fastText, Multilingual-BERT など 11 種類 (今回は fine-tuning は行わずに Embedding を生成する) 13 / 22
実験 (RANDOM も ALL を上回ることが多い) 14 / 22
実験 ランダムに組み合わせを試すよりも効率的 15 / 22
実験 2. SOTA との比較 実験 1. と異なり, モデルをタスクごとに fine-tuning してから
Embedding を作成し, その組み合わせ方を提案手法で学習する Embedding の候補としてさらに XLNet と RoBERTa を追加. 16 / 22
実験 17 / 22
実験 18 / 22
実験 Embedding Weighting, Ensemble との比較 複数の Embedding の組み合わせ方は他にも考えられる • Embedding
を選ぶか選ばないかを 0/1 で決めるのではなく, 連続 値の weight として考える All + weight 手法(つまり, Policy 関数で ある Sigmoid 関数の値をそのまま渡す) • それぞれの Embedding による予測結果の多数決で決める Ensemble 手法(この場合強化学習そのものが不要) これらに対して提案手法は優っているのか? 19 / 22
実験 どれも僅差だが POS, AE で若干差が開いている Random も強いベースライン 20 / 22
実験 結局, どのモデルの Embedding が役に立つのか? はっきりとした結論は出せなかった. タスクがラベル予測か構造予測か, あるいは文法的なタスクか意味的 なタスクか, で若干の傾向の違いはありそう.
21 / 22
感想 • NAS の考え方を Embedding の組み合わせ方に応用するだけで, こ こまで多くのタスクで SOTA を出せるのは面白い
• 入力文の構造予測以外のタスクでも使えそうかどうかは気になる • 一方で, SOTA レベルのパフォーマンスを出すためには前提とし て沢山の fine-tuning モデルが必要であり, 前準備が大変である. そ こも含めて Huggingface のライブラリに組み込まれると便利そう 22 / 22