Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DSGAN: Generative Adversarial Training for Dist...

DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction

文献紹介

長岡技術科学大学
勝田 哲弘

Avatar for katsutan

katsutan

May 15, 2019
Tweet

More Decks by katsutan

Other Decks in Technology

Transcript

  1. 文献紹介: DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction

    Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pages 496–505 Melbourne, Australia, July 15 - 20, 2018. 長岡技術科学大学 勝田 哲弘
  2. Abstract • Distant supervisoins ◦ 外部データから効果的にラベルを付けることができる ◦ ラベルにノイズがあることが問題 • DSGAN

    ◦ Generative Adversarial Networkを用いてデータセットのクリーニング ◦ 生成器の出力を負例として判別器を学習 2
  3. Introduction • Relation extraction ◦ 文中のentityペア間の関係を予測する ◦ 例: The [owl]

    held the mouse in its [claw]. ▪ Component-Whole • DSによるデータの生成 ◦ ノイズが多く含まれるため、ノイズ除去が課題 3
  4. Adversarial Learning for Distant Supervision 1. DSからデータセット作 成 2. True

    Positive (high), False Positive (low)をG に抽出させる 5
  5. Adversarial Learning for Distant Supervision 1. DSからデータセット作成 2. True Positive

    (high), False Positive (low)をGに抽出させる 3. DはGのTPを負例として学習(GがTPを 抽出する能力が上がるほどDの性能は下 がる) 6
  6. Pre-Training Strategy GANはPre-Trainingされたモデルのほうが収束しやすい DSデータセットからP, NG, NDを用意 • Discriminator: simple CNN (P,

    ND) ◦ Accuracyが90%を超えるまで学習 • Generator: simple CNN (P, NG) ◦ Pにオーバーフィットさせる 後に、GにFPの確率を徐々に減少させることを学ばせる。 7
  7. Experiments • Reidel dataset ◦ distant supervision relation extraction dataset

    • Freebase ◦ 数十億のtripleを含む知識ベース • New York Times corpus(NYT) • 評価 ◦ 対応するラベル付きデータセットないためHold-Outで評価 13