$30 off During Our Annual Pro Sale. View Details »

文献紹介: Self-Supervised_Neural_Machine_Translation

Yumeto Inaoka
December 13, 2019

文献紹介: Self-Supervised_Neural_Machine_Translation

2019/12/13の文献紹介で発表

Yumeto Inaoka

December 13, 2019
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Literature 2 Title: Self-Supervised Neural Machine Translation Authors: Dana Ruiter,

    Cristina España-Bonet, Josef van Genabith Volume: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics Pages: 1828–1834 Year: 2019
  2. Selection process • 以下の4つの戦略を検討する • Ce, Chのいずれか、または両方利用 1. Threshold dependent

    2. High precision, medium recall (System P) 3. Medium precision, high recall (System R) 4. Low precision, high recall 8
  3. High precision, medium recall • Threshold dependentとほとんど同じ • Ch, Ceの両方の表現を用いる

    • 両言語方向かつ両表現で一致したペアのみを用いる • 補完的なCh, Ceによってしきい値は不要となる 10
  4. Medium precision, high recall • High precision, medium recallは制限が強い •

    最高スコアの目的言語文だけを用いるのではなく top-n (本実験ではn=2) を用いるようにする • 両方の表現を用いるのは同じだが、上の拡張は Chにおいてのみ使用する 11
  5. Low precision, high recall • Medium precision, high recall における

    source-targetとCh-Ce を対称にした手法 12
  6. Experimental Setup (Data) • 初期の単語埋め込みの計算: Wikipedia の En/Fr (92M/27M sents.)を使用

    • 学習コーパス: 言語間でリンクできる記事のみを使用 (12M/8M) 13
  7. Experimental Setup (Model) • OpenNMT toolkitを使用 • LSTM: 1-layer Bi-LSTM

    with Attention, SGD • Transformer: 6-layer, 8-head, Adam 14
  8. Experimental Setup (Model) • simP: CeとChを使用, high precision, sim関数を使用 •

    margP: simPと同じ, margin関数を使用 • margR: margPと同じ, high recall • margH: margPと同じ, Chのみ使用, しきい値は1.0 • margE: margPと同じ, Ceのみ使用, しきい値は1.2 15
  9. Results • BLEUによる各システムの比較 • sim()とmargin()の差が明確 • 用いる表現による差は小さい • margEやmergHは両方使うより 2~10ポイント低い

    • UNMTより少ないコーパスで 同程度の結果が得られている → monolingual dataかcomparable corpusかの差 18