Slide 1

Slide 1 text

1 Bag-of-Words as Target for Neural Machine Translation 文献紹介 2019/1/22 長岡技術科学大学 自然言語処理研究室 稲岡 夢人

Slide 2

Slide 2 text

Literature • Bag-of-Words as Target for Neural Machine Translation • Shuming Ma, Xu SUN, Yizhong Wang, Junyang Lin • Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 332-338, 2018. 2

Slide 3

Slide 3 text

Abstract  翻訳において正解はひとつじゃない  既存のNMTではひとつのみを正解として使用 → 他の正解は誤りとして学習される  正解同士は似たBag-of-Words (BoW) を共有する → BoWによって正解とそれ以外を区別できる  学習セットにない正解を考慮するためにBoWを利用 → 中国語-英語の翻訳において優位性を確認 3

Slide 4

Slide 4 text

Introduction  NMTは首尾一貫の妥当な翻訳の生成ができる  現在のNeural Machine Translation (NMT)の 多くはSequence-to-Sequence モデル(Seq2Seq)に 基づいている 4

Slide 5

Slide 5 text

Seq2Seq (Overview) 5 私 は 元気だ I am fine 入力文 出力文 Encoder Decoder

Slide 6

Slide 6 text

Seq2Seq (Encoder) 6 私 は 元気だ One-hot vector Embedding layer Recurrent layer 入力文

Slide 7

Slide 7 text

Seq2Seq (Decoder) 7 I I am fine am fine One-hot vector Embedding layer Recurrent layer One-hot vector Output layer 出力文

Slide 8

Slide 8 text

Introduction  NMTではひとつの正解のみを 学習に用いる  他の正解は誤った翻訳と学習 → 悪影響を与える可能性 8

Slide 9

Slide 9 text

Introduction  正しい翻訳は似たBoWを共有 → 正しい翻訳と誤った翻訳は BoWで区別できる  文とBoWの両方を対象とする 手法を提案 → T.2よりT.1を優遇 9

Slide 10

Slide 10 text

Bag-of-Words Generation  マルチラベル分類問題のようにBoWを生成  Decoderの出力である単語レベルのスコアベクトル を 合計して、文レベルのスコアベクトルを得る  文レベルのスコアベクトルは、文中の任意の位置に 対応する単語が出現する確率を表す 10

Slide 11

Slide 11 text

Notation  データセットに含まれるサンプル数:N  i番目のサンプル:(, ) (x: source, y: target)  = 1 , 2 , … , = 1 , 2 , … , = 1 , 2 , … , はのBoWを表す 11

Slide 12

Slide 12 text

Bag-of-Words Generation  12 = softmax = �

Slide 13

Slide 13 text

Targets and Loss Function  文の翻訳とBoWの生成でそれぞれ損失関数(1 , 2 )を定義  重み で2つの損失を足し合わせる() (𝑖𝑖 : epoch , k, : fixed-value) 1 = − � =1 log l2 = − � =1 log = 1 + 2 = min(, + 𝛼𝛼) 13 𝑖𝑖

Slide 14

Slide 14 text

Experiments  LDCコーパス(1.25M)で学習、NIST翻訳タスクで評価  語彙サイズを英中それぞれ5万語に設定  BLEUで評価 14

Slide 15

Slide 15 text

Results 15 4.55 BLEU points↑

Slide 16

Slide 16 text

Results 16 4.55 BLEU points↑

Slide 17

Slide 17 text

Results 17

Slide 18

Slide 18 text

Conclusions  正解訳とBoWの両方を考慮する手法を提案  提案手法が強力なベースラインに対して優位である結果  Morphologically-rich language*や低資源言語において どのように適用するかについて今後の課題とする * 文法的関係が相対位置や助詞ではなく単語の変化で 決まるような言語 18