CoCon

Transcript

1. CoCon: A Self-Supervised Approach for Controlled Text Generation Presenter: Yixiao

   Zhang

2. TL;DR • 任务：用文本指导文本，进行可控生成 • 亮点： • 让文本成为控制变量：更加灵活 • 漂亮的损失函数 •

   模型是自监督训练的 • 结果表明显著加强了语言模型的可控性

3. Introduction • 基于Transformer的预训练LM成为了新的浪潮，但是从头训练LM 的成本巨大 • 问题：不改变预训练LM的情况下，LM如何进行控制？ • 解决办法1：PPLM，通过属性模型控制生成文本 • 缺点：不够精细，可能造成巨大差异

   Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: a simple approach to controlled text generation. arXiv preprint arXiv:1912.02164, 2019.

4. Related Work • 生成包含所需属性的文本 • 早期工作 • 条件生成模型，可通过RL或GAN训练 • 缺陷：对预定属性的要求限制了生成文本的可能类型

   • CTRL • 使用control code（预置的metadata）生成文本 • 缺陷：control code也是预先设定的 • PPLM（最相似） • 在LM上插拔一个模块，不重新训练实现生成 • 区别： • 本文旨在在更局部的内容上控制 • CoCon自监督学习，免去了标签数据

5. Related Work • 文本风格迁移 • 少数研究采用AE以分离表示 • 另外一些模型能识别attribute markers •

   一些特定风格相关的n-grams • 通过替换的方式编辑文本风格

6. CoCon • 模型目标： • 给定引导文本1:−1 和控制文本，模型 生成: • 过程： •

   分别编码c和x • 自注意力交互，得 到新的特征 • 进行下一个词预测

7. CoCon • CoCon是一个单层 Transformer Block • 首先得到x和c的QKV • 将KV拼起来过self-attn

8. Loss Function • 自重构损失（Self Reconstruction Loss） • 令c = ，使得模型能够学习结合控制文本的内容

   • 无文本损失（Null Content Loss） • 令 = ∅，使得模型退化成LM，以生成流畅的文本

9. Loss Function • 循环重构损失（Cycle Reconstruction Loss） • 在inference中，生成文本不太可能与引导文本共存 • 给定两个不同的文本(,

   ′)

10. Loss Function • 对抗损失（Adversarial Loss） • 总优化目标

11. 实验 • 文本引导的文本生成评估指标有BLEU、NIST、METEOR、PPL和 Dist-1/2/3

12. 实验 • 文本引导的文本生成评估指标有BLEU、NIST、METEOR、PPL和 Dist-1/2/3

13. 例子

14. 多个控制