各大科技公司炫耀的基准测试分数，真的能说明AI智能体在现实世界中的表现吗？加州大学伯克利分校负责任AI团队的最新研究给出了一个令人不安的否定答案——而这个答案的影响远超几家尴尬的模型厂商。这篇报道要讲的不是哪个AI系统在排行榜上名列前茅，而是整个评估生态体系可能一直在衡量错误的东西。
伯克利RDI上周发布的分析显示，业界最受信赖的智能体基准测试——包括GAIA、Tau-Bench和WebArena——可以通过数据集污染、任务歧义利用和评估指标盲点被系统性地操控。这些发现并非某个基准失效的偶发事件，而是揭示了一个更深层的问题：整个领域衡量AI能力的方法存在结构性缺陷。
研究人员识别出三种不同的失效模式。首先是基准泄漏：当训练数据与评估任务重叠时，模型可以通过记忆而非真正的推理表现出能力。其次是指标博弈：系统可以在不完成根本目标的情况下满足评估标准——比如一个包裹被标记为"已送达"，实际上却放在错误的邮箱里。第三是评估污染：基准设计者无意中通过示例任务或文档泄露了解决方案，这些内容随后成为训练数据。
这些问题并非假设。RDI团队通过实验复现了这些漏洞，证明了接受过针对已知基准漏洞训练的模型可以在不对应真实世界能力提升的情况下取得最优分数。一项测试显示，某个模型在基准测试中获得94%的分数，但在真正新颖的任务变体上成功率不足30%——对于任何基于基准分数做部署决策的人来说，这个差距都是灾难性的。
更深层的问题在于基准测试实际衡量的是什么。当前的评估将"在最优条件下完成任务"与"在生产环境中可靠完成任务"混为一谈。这个区别至关重要。一个基准可能显示AI智能体可以在特定情况下订票，却无法说明它能否处理边缘情况、从失败中恢复，或在人工监督有限时安全运行。
为当前基准辩护的人会说，不完美的测量仍然提供了有用的信号——完全不做评估的替代方案更糟糕。他们没有错。但RDI的发现表明，该领域将"可测量的"与"有意义的"混淆了。优化基准表现的实验室，可能正在优化与实际效用或安全完全脱钩的东西。追求真正能力提升的研究者，可能正在输给那些只是学会考试的系统。
更好的评估需要什么？伯克利团队提议转向对抗性基准设计，让红队在使用前主动尝试破坏评估。他们主张进行分布外测试，衡量迁移能力而非记忆能力。他们还建议将评估方法论披露与结果一同标准化——医学界在认识到试验设计与试验结果同等重要后采用了这种做法。
业界当前的方法将基准视为需要最大化的分数，而非需要改进的近似指标。这种心态可能是问题的根源。在评估方法论获得与模型架构同等的审视之前，排行榜将继续讲述一个主要存在于基准本身中的AI能力故事。