📚 引言：相关性评估的迷思
相关性评估，一向是信息检索（IR）领域中至关重要的任务。简单来说，它决定了在你搜索某个问题时，回传的文档是否真正解答了你的问题。而过去，这项任务主要依赖于人类专家的判断，譬如美国国家标准与技术研究所（NIST）几十年来的评估流程。然而，随着大语言模型（LLMs，Large Language Models）的崛起，自动化相关性评估似乎不再是科幻小说中的情节，而是一个切实可行的研究方向。
在《A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look》这篇文章中，研究团队通过TREC 2024 RAG评测轨道的大规模实验，探索了四种不同的相关性评估方法。这些方法包括传统的全手动评估，以及三种利用开源工具UMBRELA进行的自动化或半自动化评估。研究的核心问题在于：自动生成的相关性评估结果，能否与人类专家评估结果相媲美？
🤖 研究背景：人类评估者 vs 机器模型
我们都知道，取得高质量的相关性评估是一项昂贵且耗时的任务。除了支付评估者的劳动报酬外，还需要制订清晰的评估标准，协调大规模的数据标注工作，甚至要确保多位评估者之间的评估一致性。这些琐碎的细节足以让任何一个项目经理感到头疼。
随着大语言模型的引入，许多研究者看到了自动化评估的曙光。通过LLMs，不仅可以节省评估成本，还能极大地加速信息检索模型的改进。然而，机器真的能像人类评估者一样准确吗？这是一个值得深思的问题。毕竟，机器没有人类的直觉和复杂的背景知识。
🧠 研究问题与方法：三种LLM评估方案
为了探讨这个问题，研究团队提出了三个核心研究问题（RQs）：
- RQ1：自动生成的相关性评估能否替代NIST的人工评估？
- RQ2：不同程度的LLM参与是否会在成本与质量之间产生折中？
- RQ3：人类评估与LLM评估之间是否存在系统性差异？
研究方法
在TREC 2024 RAG轨道中，来自19个团队的77个检索系统参与了这次大规模实验。研究团队使用了开源工具UMBRELA，来测试三种不同的评估方式：
- 全自动评估：完全由UMBRELA生成相关性评估，无需任何人工参与。
- 机器过滤 + 人工评估：先由UMBRELA过滤掉明显无关的文档，再由人类评估剩余文档。
- 机器评估 + 人工后编辑：UMBRELA先给出评估结果，然后由人工对这些结果进行编辑和调整。
为了衡量这些评估方法的质量，研究团队采用了标准的评价指标，如nDCG@20、nDCG@100和Recall@100。最终，评估结果通过与NIST的全人工评估进行比较，使用Kendall’s τ相关系数来衡量不同评估方法之间的系统排名一致性。
📊 结果与讨论：机器评估能走多远？
让我们来看看研究团队的发现吧。
🥇 RQ1：自动评估能否代替人工评估？
在第一项研究问题中，研究团队发现，UMBRELA生成的自动化相关性评估与NIST人工评估的系统排名高度相关，无论是nDCG@20、nDCG@100还是Recall@100的表现都非常接近。这表明，在大规模学术评测中，自动生成的评估结果可以有效替代人工评估。
💸 RQ2：机器辅助评估是否值得？
在成本与质量的折中上，结果有些出人意料。研究发现，混合评估（即机器过滤+人工评估或机器评估+人工后编辑）并没有显著提高评估结果的质量。换句话说，虽然加入人工干预提高了评估成本，但其带来的质量提升却并不明显。
这让我们不禁思考：如果机器可以做得很好，为什么还要让人类来“添乱”呢？毕竟，加入人工干预后，评估成本增加了不少，但质量却没有显著改善。文章对此给出的结论很明确：不值得。
🤔 RQ3：机器与人类的评估差异在哪？
最后，关于人类评估与机器评估之间的差异，研究发现，人类评估者似乎比机器更为“严格”。UMBRELA在评估时，往往会给予更多的文档较高的相关性评分，而人类则倾向于更为保守，认为许多文档并没有那么相关。
这种差异的背后，可能是因为LLM在理解文本时会进行某些推理，甚至有时会超出人类的预期。举个例子，对于一个询问“为什么癌症在东海岸更常见”的问题，UMBRELA看到了一个关于东欧犹太裔的文档，认为它与问题相关，而人类评估者则认为这个文档毫无关系。这里的差异可能来自于机器过度推理，而人类评估者的判断更加精准。
🎯 结论：自动评估的未来
从这项研究中，我们可以得出几个有趣的结论：
- UMBRELA的自动评估结果可以有效替代人工评估，尤其是在像TREC这样的大规模学术评测中，机器评估的系统排名与人工评估高度一致。
- 混合评估方式的性价比不高。虽然加入人工干预提高了成本，但却没有显著提升系统排名的一致性。
- 机器评估与人类评估存在差异，其中UMBRELA往往会给出更高的相关性评分，这可能是由于机器的推理能力导致的。
大语言模型在相关性评估中的应用，已经展示出令人瞩目的潜力。虽然目前尚存在一些挑战，比如如何更好地控制模型的推理过程，但随着技术的不断进步，未来的自动评估系统很可能会完全取代人工评估，成为信息检索领域的“新金标准”。
📚 参考文献
- Upadhyay, S., et al. (2024). A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look. arXiv:2411.08275.
- Thomas, P., et al. (2022). Relevance Assessments at Bing Using LLMs. Bing Research.
- Soboroff, I. (2023). On the Limitations of Fully Automatic Relevance Assessments.