Abstract
在自然语言生成的实际应用中,除了流畅度和自然度的要求外,通常还有一些其他的约束。
已有的一些语言生成技术基于 RNN 实现,对于这类方法,不容易在维持生成质量的同时对其添加约束。
文本提出 CGMH,通过 Metropolis-Hastings sampling 来实现 受约束的句子生成。
- CGMH 允许施加复杂的约束,如要求在生成的句子中必须出现多个关键词,这在传统基于 RNN 的方法中是无法做到的。
- CGMH 是在推理阶段工作的,因此不需要平行语料来训练。
我们在几种任务上对我们的方法进行了评估,包括:
- keywords-to-sentence generation
- unsupervised sen- tence paraphrasing
- unsupervised sentence error correction
相比于之前的有监督方法,CGMH 实现了很好的句子生成效果。
代码:https://github.com/NingMiao/CGMH
Introduction
句子生成中的约束分为几种:
- Hard constraints
- 如必须包含特定关键词
- Soft constraints