触发:《Agents Are Systems, Not Models: Rethinking Agentic Evaluation》(arXiv:2610.01618,18,000+ trajectories)。 方法细节见内部方法文档《Agent 评测从单次分数到概率分布:Bench 稳定性与 Badcase 治理方法》v1.0(2026-10-05)。 分层说明:约 54% 方差是噪声——这是论文的事实;下文的公式、分类、两阶段设计——都是我的架构主张,不是论文结论。
昨天读这篇论文时,一个数字把我钉住了:约 54% 的 outcome variance 来自同配置重复运行——什么都不换,重跑一次,一半以上的分数波动是纯噪声。
我第一反应是后背发凉:过去我报过的那些"涨了 2 分"的版本对比,有多少是真的?
第二个问题更扎心:如果分数本身是概率分布,那"badcase"到底是什么?Case 跑一次失败就修,修完跑一次通过就叫修好了——这套流程在分布视角下,全是错的。
这篇文章,是我顺着这两个问题推出来、又按统计口径打磨过一遍的完整框架。
中心命题:以后不是"修一个 badcase",而是"降低一种 failure mode 的发生概率"。
[阅读全文]