nlp - 判别重排序在 NLP 任务中有什么作用？

最近，我读了柯林斯关于“自然语言处理的判别式重排序”的文章。
我很困惑重新排名实际上做了什么？
向重新排名模型添加更多全局特征？或者是其他东西？

最佳答案

如果您的意思是 this paper ，那么所做的如下:

使用生成模型训练解析器，即您计算 P(term | tree) 并使用贝叶斯规则反转并得到 P(tree | term),

应用它从模型

中获得树的初始 k 最佳排名

在所需树的特征上训练第二个模型，

应用它来重新排列 2.

的输出

第二个模型有用的原因是，在生成模型(如朴素贝叶斯、HMM、PCFG)中，很难添加单词身份以外的特征，因为该模型会尝试预测准确特征向量的概率而不是单独的特征，这可能不会出现在训练数据中，并且 P(vector|tree) = 0，因此 P(tree|vector) = 0(+ 平滑，但问题仍然存在)。这是数据稀疏性的永恒 NLP 问题:您无法构建一个包含您想要处理的每一个话语的训练语料库。

MaxEnt 等判别模型在处理特征向量方面要好得多，但拟合时间更长，处理起来可能更复杂(尽管 CRF 和神经网络已被用于构建解析器作为判别模型)。柯林斯等人。尝试在完全生成方法和完全判别方法之间找到一个中间立场。

关于nlp - 判别重排序在 NLP 任务中有什么作用？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/7697034/