嫌いだ。 I dislike sad movies. I am sad movie hate. 彼は刑事だ。 He is a detective. He is a criminal. 彼が来ようが来ま いが、私は⾏く。 I will go whether he will come or not. He will Koyo but come Mai, but I go. 彼は⽬をとしてそ こに座りました。 He sat there with his eyes wide open. He sat there as the eye. ⾔語処理における GAN の展開 5 OpenNMT-py によるニューラル機械翻訳演習 (https://goo.gl/KmQFLM) 2018/8/27
NMT: Make the dough using the dough se@ng. • 挿⼊ over-transla+on • ⼊⼒: 紙に包んで • NMT: Wrap the cake in the cake paper • 重複 repe++on • ⼊⼒: 2時間程度圧⼒をかけて炊きましたら、⼀度、鍋を 開けて中を確認します。 • NMT: If you have Dme , eave to steam for about 2 hours, and open the pot, and open the pot to make sure they’re done. ⾔語処理における GAN の展開 6 2018/8/27
Nets with Policy Gradient (AAAI 2017; 初出 arXiv:1609) • Zhang et al. Feature Matching for Text Generation (ICML 2017; textGAN) • Fedus et al. MaskGAN: Better Text Generation via Filling in the ____ (ICLR 2018) ⾔語処理における GAN の展開 11 2018/8/27
Generaaon via Filling in the ____ (ICLR 2018) ポイント • エンコーダ・デコーダモデルで GAN を使って ⽣成するには Teacher-Forcing をしたりしないと 学習が安定しない →エンコーダをマスクしてデコード時に未知の ⼊⼒から復元できるように学習する ⾔語処理における GAN の展開 22 2018/8/27
Nets with Policy Gradient (AAAI 2017; 初出 arXiv:1609) • Zhang et al. Feature Matching for Text Generation (ICML 2017; textGAN) • Fedus et al. MaskGAN: Better Text Generation via Filling in the ____ (ICLR 2018) ⾔語処理における GAN の展開 25 2018/8/27
Dialogue Generation (EMNLP 2017) • Xu et al. Neural Response Generation via GAN with an Approximate Embedding Layer (EMNLP 2018) • Liu et al. Adversarial Learning of Task-Oriented Neural Dialog Models (SIGDIAL 2018) ⾔語処理における GAN の展開 39 2018/8/27
Dialogue Generation (EMNLP 2017) • Xu et al. Neural Response Generation via GAN with an Approximate Embedding Layer (EMNLP 2018) • Liu et al. Adversarial Learning of Task-Oriented Neural Dialog Models (SIGDIAL 2018) ⾔語処理における GAN の展開 49 2018/8/27