我正在使用分类技术进行多文档提取文本摘要。我已经计算出f量度,召回率,精确度和准确性。我在这里评估此方法生成的摘要的理想指标是什么?
最佳答案
ROUGE会针对各种指标计算召回率,精度和F度量:ROUGE-N,ROUGE-L,ROUGE-W,ROUGE-S。 Here是ROUGE的论文。
ROUGE-N是匹配n-grams的数目除以n-gram的总数。
ROUGE-L着眼于两个文本的最长公共子序列,一个子序列可以包含空格,因此1,3,5
是1,2,3,4,5
的子序列。
ROUGE-W还使用最长的公共子序列作为得分,但对具有较小间隙的子序列赋予更高的权重。
ROUGE-S使用skip-bigram,skip-bigram是2-gram,可以包含任意2个单词,只要它们按句子顺序排列即可,即不必连续。