Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
DSGAN: Generative Adversarial Training for Dist...
Search
katsutan
May 15, 2019
Technology
310
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
文献紹介
長岡技術科学大学
勝田 哲弘
katsutan
May 15, 2019
Transcript
16 slides
文献紹介: DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pages 496–505 Melbourne, Australia, July 15 - 20, 2018. 長岡技術科学大学 勝田 哲弘
Abstract • Distant supervisoins ◦ 外部データから効果的にラベルを付けることができる ◦ ラベルにノイズがあることが問題 • DSGAN
◦ Generative Adversarial Networkを用いてデータセットのクリーニング ◦ 生成器の出力を負例として判別器を学習 2
Introduction • Relation extraction ◦ 文中のentityペア間の関係を予測する ◦ 例: The [owl]
held the mouse in its [claw]. ▪ Component-Whole • DSによるデータの生成 ◦ ノイズが多く含まれるため、ノイズ除去が課題 3
Adversarial Learning for Distant Supervision 4
Adversarial Learning for Distant Supervision 1. DSからデータセット作 成 2. True
Positive (high), False Positive (low)をG に抽出させる 5
Adversarial Learning for Distant Supervision 1. DSからデータセット作成 2. True Positive
(high), False Positive (low)をGに抽出させる 3. DはGのTPを負例として学習(GがTPを 抽出する能力が上がるほどDの性能は下 がる) 6
Pre-Training Strategy GANはPre-Trainingされたモデルのほうが収束しやすい DSデータセットからP, NG, NDを用意 • Discriminator: simple CNN (P,
ND) ◦ Accuracyが90%を超えるまで学習 • Generator: simple CNN (P, NG) ◦ Pにオーバーフィットさせる 後に、GにFPの確率を徐々に減少させることを学ばせる。 7
DSGAN algorithm 8
Generator LGは離散サンプリングステップを含むため、勾配に基づくアルゴリズムで直接最適化が できない Policy Gradientに基づいて以下の確率を最大化する 9
Discriminator 以下のクロスエントロピー損失関数を最小化する 各エポックの始めにPre-Trainingされたパラメータをロードする 1エポックでDのパフォーマンスが大きく低下 -> robustなG 10
Optimizing Generator Gの品質をより反映するために、2つの角度から報酬rを定義 1. Dでpositiveと判断されるpositive samplesの信頼度を最大化 2. ND上でDの分類精度を下げる(pの最大化) 11
Cleaning Noisy Dataset with Generator • 1つのrelationに対してGeneratorを1つ作成 • GeneratorでDSデータセットを分類 ◦
正例、負例に分割 12
Experiments • Reidel dataset ◦ distant supervision relation extraction dataset
• Freebase ◦ 数十億のtripleを含む知識ベース • New York Times corpus(NYT) • 評価 ◦ 対応するラベル付きデータセットないためHold-Outで評価 13
Training Process of DSGAN NDでDiscriminatorを評価 • 学習が進むにつれ、 Accuracyが下がる 正負の分類精度を評価 •
それぞれの手法でクリーニ ングしたデータで学習 14
Performance Relation Extractionの精度 15
Conclusion • GANによるDistant Supervisionのノイズを除去する方法を提 案 • タスクに依存しないため、あらゆるDistant Supervisionモデル に適用可 •
New York Time datasetで有意な向上が見られた 16
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
280
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
240
Simple task-specific bilingual word embeddings
katsutan
0
250
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
310
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
250
Improving Word Embeddings Using Kernel PCA
katsutan
0
260
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
380
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
310
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
330
Other Decks in Technology
See All in Technology
SBOM 生成ツールで 2026 Minimum Elements はどこまで満たせるのか
gokken
0
160
現場に渡し、構造で守る AI エージェントを活用したセルフサーブのデータ基盤の運用
legalontechnologies
PRO
0
110
プラガブルで宣言的なソフトウェアファクトリーを支えるTypeScript
timakin
2
620
閉域網でのAPI公開の選択肢全部比較!
takano0131
5
700
AWS Well-Arhitected Frameworkセキュリティの柱 について
miu_crescent
PRO
2
260
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
250
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
攻撃と守りは何が変わり、何が変わらないのか~最近の不正アクセスから考える、リスク評価と標準の使いどころ
oidfj
2
320
Context parameters で作る!はじめての型クラス
kworkdev
PRO
1
180
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
130
Terraform 0 to 100:100個以上のリポジトリを常に最新にし続けるための自動化
sue445
3
1.4k
新規事業開発でのAWS活用成功談&失敗談! 〜新規事業開発を専門に行うRelicならではのAWS活用〜
amixedcolor
1
140
Featured
See All Featured
A better future with KSS
kneath
240
18k
Odyssey Design
rkendrick25
PRO
3
970
Designing for Timeless Needs
cassininazir
1
570
New Earth Scene 8
popppiees
5
2.9k
Rails Girls Zürich Keynote
gr2m
96
14k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
760
Lightning talk: Run Django tests with GitHub Actions
sabderemane
0
330
Faster Mobile Websites
deanohume
310
32k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
Build your cross-platform service in a week with App Engine
jlugia
234
19k
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
3k