别再修 badcase 了,去降低 failure mode 的发生概率

评测×生产系列第三篇:当 benchmark 变成概率分布,整个评测体系都要跟着变

触发:《Agents Are Systems, Not Models: Rethinking Agentic Evaluation》(arXiv:2610.01618,18,000+ trajectories)。 方法细节见内部方法文档《Agent 评测从单次分数到概率分布:Bench 稳定性与 Badcase 治理方法》v1.0(2026-10-05)。 分层说明:约 54% 方差是噪声——这是论文的事实;下文的公式、分类、两阶段设计——都是我的架构主张,不是论文结论。

昨天读这篇论文时,一个数字把我钉住了:约 54% 的 outcome variance 来自同配置重复运行——什么都不换,重跑一次,一半以上的分数波动是纯噪声。

我第一反应是后背发凉:过去我报过的那些"涨了 2 分"的版本对比,有多少是真的?

第二个问题更扎心:如果分数本身是概率分布,那"badcase"到底是什么?Case 跑一次失败就修,修完跑一次通过就叫修好了——这套流程在分布视角下,全是错的。

这篇文章,是我顺着这两个问题推出来、又按统计口径打磨过一遍的完整框架。

中心命题:以后不是"修一个 badcase",而是"降低一种 failure mode 的发生概率"。

[阅读全文]

harness 的模块边界,就是评测集的切分依据

评测×生产系列第一篇:少跑不是目的,怎么少跑才对

论文:Yining She(CMU)、Lei Lin(Meta),arXiv:2609.21267(2026-09-18) 这是"评测×生产"系列的第一篇,讲生产环境持续评测的框架:全量跑不起的时候,怎么"少跑"才对。第二篇已发布:《同样的评测预算,能不能买到更准的分数?》。

[阅读全文]

同样的评测预算,能不能买到更准的分数?——读《Speculative Evaluation of Stochastic LLMs》

评测×生产系列第二篇:两阶段 HBN 分配,方差降 12.8%–33.6%

论文:Qianli Shen 等,阿里巴巴 / NUS / UNC,arXiv:2609.28560(2026-09-23) 这是"评测×生产"系列的第二篇。第一篇讲生产环境持续评测的框架(《Efficient Benchmarking in Production》),这一篇钻进单次评测内部,回答一个更抠门也更实在的问题:预算就这么多,怎么分才能让分数更准?

[阅读全文]