别再修 badcase 了,去降低 failure mode 的发生概率

评测×生产系列第三篇:当 benchmark 变成概率分布,整个评测体系都要跟着变

触发:《Agents Are Systems, Not Models: Rethinking Agentic Evaluation》(arXiv:2610.01618,18,000+ trajectories)。 方法细节见内部方法文档《Agent 评测从单次分数到概率分布:Bench 稳定性与 Badcase 治理方法》v1.0(2026-10-05)。 分层说明:约 54% 方差是噪声——这是论文的事实;下文的公式、分类、两阶段设计——都是我的架构主张,不是论文结论。

昨天读这篇论文时,一个数字把我钉住了:约 54% 的 outcome variance 来自同配置重复运行——什么都不换,重跑一次,一半以上的分数波动是纯噪声。

我第一反应是后背发凉:过去我报过的那些"涨了 2 分"的版本对比,有多少是真的?

第二个问题更扎心:如果分数本身是概率分布,那"badcase"到底是什么?Case 跑一次失败就修,修完跑一次通过就叫修好了——这套流程在分布视角下,全是错的。

这篇文章,是我顺着这两个问题推出来、又按统计口径打磨过一遍的完整框架。

中心命题:以后不是"修一个 badcase",而是"降低一种 failure mode 的发生概率"。

[阅读全文]

可插拔:Harness 的核心价值是让能力低成本插拔,评测只是其中一种

DSH 三细节重写:评测电路是 harness 里的一组插件,不是外面的系统

来源说明:本文脱胎于 Hugo Zhu 的 DSH 三细节文章与六篇论文的精读笔记,按"定性 → 定量 → 逻辑表达"重写。

分层阅读指南(本文严格区分三层,读者可自行判断每一步的跳跃):

  • —— DSH 的已知事实:来自 Hugo Zhu《一切皆插件:DeepSeek Harness 真正硬核的是三个细节》(https://hugozhu.site/post/2026/348-dsh-three-details-reversible-effects/)与官方表述;
  • —— 从事实提炼的架构抽象:作者的解释性判断;
  • —— 迁移到评测后的设计:作者的架构主张。

论文证据:DSec(arXiv:2609.22978)、GAUGE(arXiv:2609.12191)、CodeAssay(arXiv:2608.03535)、CCTU(arXiv:2603.15309)、Efficient Benchmarking in Production(arXiv:2609.21267)、How Do Agent Harnesses Create Value?(arXiv:2609.20474)。数字口径见文末"事实核验说明"。

[阅读全文]