Abstract

在自然语言生成的实际应用中,除了流畅度和自然度的要求外,通常还有一些其他的约束

已有的一些语言生成技术基于 RNN 实现,对于这类方法,不容易在维持生成质量的同时对其添加约束。

文本提出 CGMH,通过 Metropolis-Hastings sampling 来实现 受约束的句子生成

  • CGMH 允许施加复杂的约束,如要求在生成的句子中必须出现多个关键词,这在传统基于 RNN 的方法中是无法做到的。
  • CGMH 是在推理阶段工作的,因此不需要平行语料来训练。

我们在几种任务上对我们的方法进行了评估,包括:

  • keywords-to-sentence generation
  • unsupervised sen- tence paraphrasing
  • unsupervised sentence error correction

相比于之前的有监督方法,CGMH 实现了很好的句子生成效果。

代码:https://github.com/NingMiao/CGMH

Introduction

句子生成中的约束分为几种:

  • Hard constraints
    • 如必须包含特定关键词
  • Soft constraints
11-27 08:09