Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DSGAN: Generative Adversarial Training for Dist...
Search
katsutan
May 15, 2019
Technology
0
240
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
文献紹介
長岡技術科学大学
勝田 哲弘
katsutan
May 15, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
190
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
170
Simple task-specific bilingual word embeddings
katsutan
0
190
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
220
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
180
Improving Word Embeddings Using Kernel PCA
katsutan
0
200
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
270
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
240
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
260
Other Decks in Technology
See All in Technology
User Story Mapping + Inclusive Team
kawaguti
PRO
3
680
x86-64 Assembly Essentials
latte72
4
1.2k
Postman AI Agent Builderで AI Agentic workflow のプロトタイピング / Prototyping AI Agentic Workflow with Postman AI Agent Builder
yokawasa
0
220
いまから始めるAWS CDK 〜モダンなインフラ構築入門〜/iac-night-cdk-introduction
tomoki10
6
2k
# Azure Cosmos DB パフォーマンス最適化入門 - 設計・開発・運用の実践テクニック
shibayan
0
160
失敗しないAIエージェント開発:階層的タスク分解の実践
kworkdev
PRO
0
750
エンジニア採用と 技術広報の実践/acaricsummit2025
nishiuma
1
180
TechBullエンジニアコミュニティの取り組みについて
rvirus0817
0
490
テクスチャ画像付きのメッシュモデルを3次元点群へ変換する
kentaitakura
1
370
マネコン操作いらず! TerraformでAWSインフラのコーディングに入門しよう
minorun365
PRO
5
1.5k
入社半年で PTE に! 元海外在住者が語る Google Cloud × G-genで 成長する秘訣
risatube
PRO
0
110
20250309 無冠のわたし これからどう先生きのこれる?
akiko_pusu
11
2.2k
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Music & Morning Musume
bryan
46
6.4k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
115
51k
Into the Great Unknown - MozCon
thekraken
35
1.7k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
12k
Building Applications with DynamoDB
mza
93
6.3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
We Have a Design System, Now What?
morganepeng
51
7.4k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
590
Transcript
文献紹介: DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pages 496–505 Melbourne, Australia, July 15 - 20, 2018. 長岡技術科学大学 勝田 哲弘
Abstract • Distant supervisoins ◦ 外部データから効果的にラベルを付けることができる ◦ ラベルにノイズがあることが問題 • DSGAN
◦ Generative Adversarial Networkを用いてデータセットのクリーニング ◦ 生成器の出力を負例として判別器を学習 2
Introduction • Relation extraction ◦ 文中のentityペア間の関係を予測する ◦ 例: The [owl]
held the mouse in its [claw]. ▪ Component-Whole • DSによるデータの生成 ◦ ノイズが多く含まれるため、ノイズ除去が課題 3
Adversarial Learning for Distant Supervision 4
Adversarial Learning for Distant Supervision 1. DSからデータセット作 成 2. True
Positive (high), False Positive (low)をG に抽出させる 5
Adversarial Learning for Distant Supervision 1. DSからデータセット作成 2. True Positive
(high), False Positive (low)をGに抽出させる 3. DはGのTPを負例として学習(GがTPを 抽出する能力が上がるほどDの性能は下 がる) 6
Pre-Training Strategy GANはPre-Trainingされたモデルのほうが収束しやすい DSデータセットからP, NG, NDを用意 • Discriminator: simple CNN (P,
ND) ◦ Accuracyが90%を超えるまで学習 • Generator: simple CNN (P, NG) ◦ Pにオーバーフィットさせる 後に、GにFPの確率を徐々に減少させることを学ばせる。 7
DSGAN algorithm 8
Generator LGは離散サンプリングステップを含むため、勾配に基づくアルゴリズムで直接最適化が できない Policy Gradientに基づいて以下の確率を最大化する 9
Discriminator 以下のクロスエントロピー損失関数を最小化する 各エポックの始めにPre-Trainingされたパラメータをロードする 1エポックでDのパフォーマンスが大きく低下 -> robustなG 10
Optimizing Generator Gの品質をより反映するために、2つの角度から報酬rを定義 1. Dでpositiveと判断されるpositive samplesの信頼度を最大化 2. ND上でDの分類精度を下げる(pの最大化) 11
Cleaning Noisy Dataset with Generator • 1つのrelationに対してGeneratorを1つ作成 • GeneratorでDSデータセットを分類 ◦
正例、負例に分割 12
Experiments • Reidel dataset ◦ distant supervision relation extraction dataset
• Freebase ◦ 数十億のtripleを含む知識ベース • New York Times corpus(NYT) • 評価 ◦ 対応するラベル付きデータセットないためHold-Outで評価 13
Training Process of DSGAN NDでDiscriminatorを評価 • 学習が進むにつれ、 Accuracyが下がる 正負の分類精度を評価 •
それぞれの手法でクリーニ ングしたデータで学習 14
Performance Relation Extractionの精度 15
Conclusion • GANによるDistant Supervisionのノイズを除去する方法を提 案 • タスクに依存しないため、あらゆるDistant Supervisionモデル に適用可 •
New York Time datasetで有意な向上が見られた 16