论文名称:Diffusion-LM Improves Controllable Text Generation
论文链接:https://arxiv.org/abs/2205.14217
可控性是自然语言生成中一项重要的能力。当前的可控方法在一些简单的控制任务取得了不错的表现,但是无法处理条件复杂的控制生成任务。在这篇文章中,作者提出将扩散模型应用到可控生成任务中来,通过从一系列高斯噪声向量中逐渐去噪,从而产生句子的表示向量,并解码为真实的文本。扩散模型的连续且多层的性质使其可以执行简单的梯度下降的优化方式,因此可以处理复杂的控制场景。作者在六种细粒度的控制任务上进行了实验,结果表明,扩散语言模型大幅度超越了现有的工作。