Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NERのための転移学習
Search
altescy
September 18, 2019
Research
2
1.2k
NERのための転移学習
altescy
September 18, 2019
Tweet
Share
Other Decks in Research
See All in Research
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
280
A Segment Anything Model based weakly supervised learning method for crop mapping using Sentinel-2 time series images
satai
3
190
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
2.1k
DeepSeek-R1の論文から読み解く背景技術
personabb
3
500
NLP2025 WS Shared Task 文法誤り訂正部門 ehiMetrick
sugiyamaseiji
0
150
Weekly AI Agents News! 11月号 論文のアーカイブ
masatoto
0
320
o1 pro mode の調査レポート
smorce
0
150
資産間の相関関係を頑健に評価する指標を用いたファクターアローケーション戦略の構築
nomamist
0
170
Mathematics in the Age of AI and the 4 Generation University
hachama
0
140
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
de9uch1
0
260
コーパスを丸呑みしたモデルから言語の何がわかるか
eumesy
PRO
11
3.3k
セミコン地域における総合交通戦略
trafficbrain
0
130
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
223
9.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
How STYLIGHT went responsive
nonsquared
99
5.4k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
135
33k
Code Reviewing Like a Champion
maltzj
522
39k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
The Language of Interfaces
destraynor
157
24k
Statistics for Hackers
jakevdp
798
220k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Making Projects Easy
brettharned
116
6.1k
Transcript
NERのための転移学習 山口泰弘
自己紹介 山口 泰弘 / Yasuhiro Yamaguchi ID: @altescy 奈良先端科学技術大学院大学 修士1年
転移学習 • あるドメインのデータや学習済みモデルを使って他の ドメインのモデルを学習する手法 • 自然言語処理の分野における転移学習 ◦ Cross-Domain 例: ニュース →
SNS ◦ Cross-Lingual 例: 日本語 → 英語 • データの多いドメインから得られる知識を活用したい domain-specificなNERを行いたいと いう要求は現実問題として多そう
アプローチ 1. 単語翻訳 (cross-lingual) 2. Fine-Tuning 3. 潜在表現の共有
アプローチ: 単語翻訳 NER MODEL 翻訳 ソース言語 ターゲット言語 ラベル
アプローチ: 単語翻訳 • Cheap Translation for Cross-Lingual Named Entity Recognition
[Mayhew+, 2017] ◦ 単語翻訳によるCross-Lingual NERの提案 • Neural Cross-Lingual NER with Minimal Resources [Xie+, 2018] ◦ 単語埋め込みのアライメントによる単語翻訳 ◦ self-attentionによる語順の違いの吸収
アプローチ: Fine-Tuning NER MODEL NER MODEL ソースのデータで学習 ターゲットのデータで再学習
アプローチ: Fine-Tuning • How Transferable are Neural Networks in NLP
Applications? [Mou+, 2016] ◦ Fine-TuningによるNERタスクの転移学習の可能性を 考察 • Neural Adaptation Layers for Cross-domain Named Entity Recognition [Lin+, 2018] ◦ Fine-Tuningと,固定の学習済みエンコーダの前後に レイヤーを追加する手法の比較
アプローチ: 潜在表現の共有 NER MODEL 共有エンコーダ ソース ターゲット
アプローチ: 潜在表現の共有 • Adversarial Transfer Learning for Chinese Named Entity
Recognition with Self-Attention Mechanism [Cao+, 2018] ◦ 中国語における,単語分割→NERの転移学習 • Dual Adversarial Neural Transfer for Low-Resource Named Entity Recognition [Zhou1+, 2019] ◦ 高リソース→低リソースの転移学習 ◦ 今回はこれにフォーカスします
Dual Adversarial Neural Transfer for Low-Resource NER [Zhou1+, 2019] 概要
• 高リソース→低リソースの転移学習 • 潜在表現を共有するモデル 提案手法 • リソース同士のデータの不均衡を考慮する (データ規模・予測の難しさ) • リソース特有の特徴を考慮する • 敵対訓練による正則化を行う
Dual Adversarial Neural Transfer for Low-Resource NER [Zhou1+, 2019] DATNet-P
ソース / 共有 / ターゲット DATNet-F すべて共有
Dual Adversarial Neural Transfer for Low-Resource NER [Zhou1+, 2019] Discriminator
• 共有の潜在表現がどちらのリソースのものか判別 • エンコーダは判別器が誤るように学習 • 不均衡を考慮した誤差関数 (いわゆる Focal-Loss) データ規模の不均衡を調整 予測の難しい例を学習 Adversarial Training • 単語埋め込みに敵対的摂動を与えながら学習
Dual Adversarial Neural Transfer for Low-Resource NER [Zhou1+, 2019] POSなど追加の特徴量を使わず既存手法と同程度以上
cross-lingual cross-domain
Dual Adversarial Neural Transfer for Low-Resource NER [Zhou1+, 2019] Cross-Lingual
(英→西) • ターゲットのデータ数が少ないときはDATNet-F, 多いと きはDATNet-Pがよい Cross-Domain (ニュース→SNS) • データ規模によらずDATNet-Fがよい
サーベイの所感 • ソースとターゲットで共有する情報と,ドメイン・ 言語特有の情報の処理を分けて学習する • self-attentionを利用する ◦ 大域的な依存関係を捉える ◦ 言語ごとの語順の違いを吸収する
• データの不均衡を考慮する ◦ ソース・ターゲットのデータ規模 ◦ 予測が簡単な例・難しい例