AI智能体何时才能真正胜任一份工作？不是演示环境中的惊艳表现，而是在真实场景中处理信息、做出判断、发现错误并纠正的持续能力。Hugging Face研究团队发布的VAKRA给出了迄今最系统的答案：智能体的失败模式是可预测的，而现在我们终于能够精确测量它们在哪里出问题。
这项研究在47个职业场景中测试了智能体表现，涵盖日历管理、会议协调、多步骤软件工作流处理和客户支持分诊等任务。结果揭示了贯穿始终的失败模式——不是随机错误，而是无论底层模型如何都会反复出现的结构性故障。
VAKRA建立的分类体系记录了五大核心失败模式。智能体最突出的短板是上下文保留能力，在长时间对话中频繁丢失早期指令的追踪。它们表现出意图错位，抓住表面线索而非理解用户的真实目标。工具编排失败体现在智能体要么过度依赖可用工具，要么在需要时完全忽略使用工具。错误累积发生在微小失误演变为系统性故障的过程中。最后，智能体表现出恢复盲区——它们往往无法意识到自己已经触及能力边界。
研究者的判断切中要害："模式是稳定的——智能体难以将已学内容泛化到新场景。"这种基准测试表现与实际工作能力之间的差距，定义了当前智能体开发的最前沿。
VAKRA的意义超越了问题清单本身。这是一套测量框架。研究者第一次能够以结构化方式追踪智能体可靠性的改进是真实的还是虚假的。分类体系提供了诊断地图：在特定应用中哪种失败模式占主导地位，以及哪些干预措施真正降低了错误率。
这一点至关重要，因为演示与部署之间的鸿沟始终是智能体领域的核心矛盾。VAKRA没有解决这道鸿沟。但它提供了测量基础设施，用来判断是否有人正在弥合它。