Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介: Unsupervised Neural Machine Translation w...

文献紹介: Unsupervised Neural Machine Translation with Weight Sharing

2018/08/24の文献紹介で発表

Avatar for Yumeto Inaoka

Yumeto Inaoka

August 24, 2018
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Unsupervised Neural Machine Translation with Weight Sharing 文献紹介 (2018/08/24) 長岡技術科学大学

    自然言語処理研究室 稲岡 夢人 Zhen Yang, Wei Chen, Feng Wang, Bo Xu. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pages 46-55, 2018. 1
  2. Model Architecture • 各エンコーダの最後の数層と各デコーダの最初の数層は それぞれ重みを共有 (weight-sharing constraint) • 学習済みのcross-lingual embeddingsをエンコーダの強化に使用

    (embedding-reinforced encoder) embedding vectors E = {e1 , …, et } initial output sequence of the encoder stack H = {h1 , …, ht } final output sequence of the encoder Hr W1 , W2 , b is trainable parameters and shared by each encoders 10
  3. Datasets • 対訳コーパスから単言語コーパスを作成 • WMT14 English-French • WMT16 English-German •

    LDC Chinese-English • cross-lingual embeddingsは,単言語コーパスから別々に学習 したembeddingから同じ潜在空間へのmapを行うことで実現 (Artetxe et al. 2017) 12
  4. Baseline • Word-by-word translation (WBW): bilingual dictionaryを用いて単語毎に置換して翻訳 • Lample et

    al. (2017): 原言語と目的言語で同じencoder, decoderを使用する従来手法 • Supervised training: 標準的なcross-entropyを使って対訳文を学習 13