MixPoet

Transcript

1. MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space ArXiv: 2003.06094v1 Presenter: Yixiao Zhang
2. Overview • Idea: 诗人经历、历史背景等 => 诗歌风格多样化 • Methods: • semi-supervised VAE • disentangling latent space to sub-spaces • each sub-space corresponds to one factor conditioning • adversarial training
3. Introduction • 近年的研究，主要考虑语义连贯、主题相关 • 存在diversity的困扰 • diversity： • 主题间多样性：给定两个topic words，生成不同的诗歌 • 主题内多样性：给定一个topic word，生成不同的诗歌 • * 现有的模型倾向于记住常见pattern
4. Introduction • 生活经历、历史背景、文学流派 => 影响风格
5. Introduction • MixPoet: semi-supervised VAE • 将latent space分解为sub-spaces，与影响因子一一对应 • 训练阶段：模型预测无label诗歌的factors • 测试阶段：指定factor的值，生成风格化的诗歌
6. Related Work • 诗歌生成模型 (RNNs, Memory Models, etc. ) • 多样性的先前研究： • MRL system: 强化学习，鼓励选用高TF-IDF的词汇 • USPG: 无监督最大化style vector和诗歌的mutual information
7. Related Work • VAE文本生成/诗歌生成 • Yang et. al, 2018b: 学习context-conditioned latent variable • Hu et al. 2017: 对生成的诗歌进行对抗训练，增强topic相关性 • CVAE 对话多样性: Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders, ACL 2017 • 本文的对抗：在latent space上做对抗训练
8. Method • topic keyword: mixture empirical distributions: labeled/ unlabeled
9. Method: Generator • GRU based model • 是length embedding
10. Method: Semi-supervised C-VAE • 目的是学习 • 引入z • 由于style与semantics耦合 • 不假设y与z的独立性，而是： • 顺序: w => y => z => x (无y label时)
11. Method: Semi-supervised C-VAE • then for labeled data: • 估计先验 • 和后验 分别使用一个network计算， recon时最小化KL散度。
12. Method: Semi-supervised C-VAE • labeled data is too limited • 将y看作另一个latent variable • 估计先验 • 和后验 分别使用一个MLP network计算， recon y时最小化KL散度。
13. Method: Semi-supervised C-VAE • Total Loss:
14. Method: Latent Space Mixture • 多个factor时的情形： • 独立性假设：
15. Method: Latent Space Mixture • How to learn mixed latent space? • For Isotropic Gaussian Space:
16. Method: Latent Space Mixture • How to learn mixed latent space? • For Universal Space: 对于condition: ita是噪声，delta是脉冲函数，c是w, y => 从分布中sample出一个值
17. Method: Latent Space Mixture • 之后使得discriminator区分这两个z • 估计KL散度： • 其中 就是discriminator
18. Experiments • factors: • 军旅生涯, 乡村生活, 其他 • 时代繁荣, 时代衰落 • => 6种style
19. Experiments • Baseline: • Ground Truth • C-VAE • USPG • MRL: SOTA • fBasic, 监督学习模型
20. Experiments • 多样性，使用Jaccard Similarity指数评价，越低越好 • 诗歌质量：使用Language Model Score(LMS)评价 • 观察: • 大多数模型倾向生成重复的短语 • MRL与Basic在intra部分只能生成极其相似的诗歌 • C-VAE情况类似
21. Experiments • Factor Control Results: • 测试生成的诗歌是否与给定因子类别一致
22. Experiments • 主观实验
23. Analysis: Style Mixture
24. Analysis