Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Simple and Effective Paraphrastic Similarity from Parallel Translations

katsutan
January 27, 2020

Simple and Effective Paraphrastic Similarity from Parallel Translations

文献紹介
https://www.aclweb.org/anthology/P19-1453.pdf

長岡技術科学大学
勝田 哲弘

katsutan

January 27, 2020
Tweet

More Decks by katsutan

Other Decks in Technology

Transcript

  1. Simple and Effective Paraphrastic Similarity from Parallel Translations 長岡技術科学大学 自然言語処理研究室

    勝田 哲弘 文献紹介 Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4602–4608 Florence, Italy, July 28 - August 2, 2019
  2. Learning Sentence Embeddings ➢Training ⚫ トレーニングデータ ⚫ それぞれソース言語とターゲット言語の一連の並列文 ペア (

    , ) ⚫ ネガティブサンプリング ⚫ の翻訳ではないターゲット文′ をランダムに選択 ⚫ ( , )を( , ′ )よりもマージンδ近づける 4 目的関数 (; ): 各言語のパラメーターを持つ センテンスエンコーダー
  3. Learning Sentence Embeddings ➢Negative Sampling ➢ mega-batching, Wieting and Gimpel(2018)

    ➢Mが大きいほど困難な例を提供 ➢Mega-batching ➢M個のミニバッチを集約して1つのメガバッチを作成し、 メガバッチから負の例を選択 ➢メガバッチの各ペアに負の例があれば、メガバッチはM 個のミニバッチに分割 5