我使用lucene基准来测量精度和召回率
在原始代码中,有两个文件,主题文件:

QualityQuery qqs[] = qReader.readQueries( new BufferedReader(new FileReader(topicsFile)));


和qrelsFile:

Judge judge = new TrecJudge(new BufferedReader(new FileReader(qrelsFile)));


据我了解,这两个文件是文本文件。但是我不知道我需要用这两个文件来填充什么文件,它们是由我手动编写的,还是有一些代码用所需的信息填充它们。

我需要任何有关此精度的帮助,并记得在lucene程序中进行测量

谢谢

最佳答案

TrecJudge http://lucene.apache.org/core/old_versioned_docs/versions/3_4_0/api/all/org/apache/lucene/benchmark/quality/trec/TrecJudge.html的Javadocs

给出:

根据Trec格式判断给定的文件是否与给定的质量查询相关。

TREC(http://trec.nist.gov/)是一系列提供信息检索竞赛的会议。

我怀疑您可能需要做一些自己的侦探工作,但这对我来说很有趣,我可能会添加更多信息。

通常,基准测试的策略如下:


提供与您感兴趣的领域有关的语料库
注释其中的一部分,以指示应回顾的内容。这可能是两套-一组包含信息(正),一组没有信息(负)
将其分为两部分-一部分用于训练您的应用程序,另一部分用于测试它(有更复杂的方法需要更多的知识)
在测试集上运行评估软件。


我怀疑您需要以TREC格式提供格式。

10-04 10:12