论文:Qianli Shen 等,阿里巴巴 / NUS / UNC,arXiv:2609.28560(2026-09-23) 这是"评测×生产"系列的第二篇。第一篇讲生产环境持续评测的框架(《Efficient Benchmarking in Production》),这一篇钻进单次评测内部,回答一个更抠门也更实在的问题:预算就这么多,怎么分才能让分数更准?
为什么这篇重要
今天评测 LLM 有个公开的秘密:大家报的 benchmark 分数,基本都是"均匀采样"的平均值——每个任务跑 N 次,取平均。但同一个任务多次跑,结果可能完全不一样:有的任务模型十拿九稳(方差≈0),有的任务五五开(方差拉满)。均匀分配等于给"已经很确定的任务"和"最需要样本的任务"发同样的钱,这是浪费。
论文算了一笔账:在 AIME24 上给 Qwen3.5-4B 每题跑 32 次——这已经是 AIME 评测的常见配置——95% 置信区间的半宽还有 1.85 个百分点。而均匀采样的标准误只按 b^{-1/2} 下降:想把误差棒减半,得花 4 倍的钱。在自动研究(AFlow、Darwin Gödel Machine 这类反复"改模型→评测→再改"的系统)里,评测是经常性成本,候选改动的提升又往往很小——分不清"真进步"还是"rollout 噪声",整个搜索就白做了。
所以问题很实在:固定预算下,重新分配采样,能省多少钱、提多少精度?
核心方法:两阶段"先探路,再下注"
论文把问题形式化得很干净。固定 N 个任务、平均每任务 b 次 rollout 的预算,找整数分配 n_1…n_N(每任务至少 1 次,总和 Nb),最小化估计量方差 (1/N²)Σσ_i²/n_i,其中 σ_i²=p_i(1−p_i) 是任务 i 的采样方差。如果上帝告诉你所有 p_i,答案就是 1934 年的经典 Neyman 分配:n_i ∝ σ_i,方差比 Uniform 是 (Σσ_i)²/(NΣσ_i²) ≤ 1。但上帝不告诉你——学方差本身也要花预算,这就是全部难点的来源。
解法是两阶段,名字里"Speculative"的第一层含义:
- Pilot 探路:每个任务先均匀跑 m 次,得到成功数 S_i。
- 分层贝叶斯建模(HBN):假设 p_i|ξ,δ ∼ Beta(ξκ,(1−ξ)κ),其中 ξ 是整组任务的潜在平均通过率,δ 是任务间离散度。用全部 pilot 数据更新超参数后验,算出每个任务采样方差的后验期望 ṽ_i(S)。关键性质:即使某任务 pilot 全对/全错,ṽ_i(S) 依然为正——任务之间"互相借力"(borrow strength),不会像经验估计那样给出"方差为零"的假结论。
- 精确整数 Neyman 分配:贪心算法,从每任务 1 次出发,每次把 rollout 给边际方差缩减最大的任务——论文证明了这是精确整数最优。
- 无偏复用 pilot:μ̂ = w·(pilot 估计) + (1−w)·(continuation 估计),w 事先固定,整个估计量保持无偏。pilot 规模 m 和权重 w 都在评测开始前、只用 (N,b) 和参考先验离线选好,不偷看任何目标数据——这是一个真正可部署的策略,不是用测试集调出来的。
第二层"推测":把统计效率变成墙钟效率
光统计上漂亮不够。等齐所有 pilot 结果才能定最终分配,这个同步屏障会让 GPU 空转——论文很诚实,HBN-sync(等齐再跑)的实际时间比 Uniform 多 33.7%(b=8 时)。统计上省的钱,系统上又花出去了。
于是有了 HBN-async:用"部分到齐"的 pilot 反馈算临时分配,推测性地提前执行 continuation,最终分配定了之后只保留选中的,多余的丢弃/取消。三个工程细节很见功力:pilot 请求永远优先;continuation 按临时分配比例门控进队列;结果按执行前固定的请求 ID 回收——不许用先完成的请求替换,否则会引入"延迟依赖的选择偏差"。这些规则保证了:异步执行不改变估计量,无偏性原样保留。
关键结论(数字说话)
实验规模很扎实:6 个 checkpoint(Qwen2.5-3B/7B/32B、Qwen3.5-4B/9B/27B)× 18 个 benchmark 组(AIME 2024–2026、HMMT、MATH-100、GPQA Diamond、MMLU Science、SuperGPQA、HLE、LiveCodeBench)= 107 个有效 profile,每个"题目–模型"组合 1024 次 rollout 建 ground truth,共 870 万+次生成。
- 方差:b=8/16/32/64 时,HBN 相对 Uniform 的方差为 87.2%/80.1%/73.0%/66.4%——平均降 12.8%–33.6%,且预算越大收益越大。
- 对照组被公平地"优待"了:经验版 EN 和独立贝叶斯版 IBN 都允许在测试 profile 上事后调参(hindsight),HBN 是事前锁定的。结果 HBN 照样赢:EN 只降 5.7%–8.5%(小样本下经验方差全零是硬伤),IBN 降到 67.0% 但不如 HBN 的 66.4%——分层共享信息就是比独立先验强。
- 墙钟时间:HBN-async 相对 HBN-sync 在各预算下减少 4.5–22.6 个百分点的时间开销;b≥16 时,归一化后的系统开销只比 Uniform 高不到 1.4%。
- 最生产的一个比较:达到同样精度,Uniform 需要多花 13.6%–42.8% 的时间,HBN-async 只多花 2.9%–6.6%。b≥16 时收益明确;b=8 的小预算下则没有明确收益——统计增益小、同步开销摊不薄。
从"评测×生产"视角看
Table 4 是全文最有生产味道的一张表。 它不说"方差降了百分之几",而是换算成"同样精度下省多少时间"。这是 infra 团队和老板听得懂的语言,也是任何评测优化想进生产必须回答的问题:精度不变,成本降多少?
统计效率 ≠ 生产收益,论文把两段都做了才完整。 HBN-sync 那 +33.7% 的时间开销是个警示:不考虑执行的评测方法,进生产可能得不偿失。第 3.2 节的三条队列规则,本质上是一份"把统计方法落地成系统"的需求文档——做评测 infra 的同学值得单独精读。
EN 的失败是给生产者的教训:小样本下经验估计会给出"假零方差",分层收缩更稳。生产评测的常态恰恰是"任务多、每任务样本少",这个结论可以直接指导实践。
b≥16 的门槛是现成的选型建议:快速冒烟测试(小预算)继续用 Uniform;nightly/weekly 全量评测(大预算)才值得上 HBN。这条 rule of thumb 可以直接写进评测平台文档。
和第一弹的关系:第一弹《Efficient Benchmarking in Production》解决"生产环境持续评测"的框架问题(何时评、评什么);这一篇解决"单次评测内部"的效率问题(预算怎么分)。外层管线 × 内层统计效率,拼起来正好是"生产级评测"的一体两面。
工程习惯值得抄:官方仓库(MIT)用冻结的 profile +
make paper-tables在 CPU 上复现全部四张表,统计复现和系统复现用两套独立 lock 的 Python 环境解耦,benchmark 文本按 SHA-256 校验重建。“论文即制品”,生产级评测团队该学这个。
原文:https://arxiv.org/abs/2609.28560 · 代码:https://github.com/shenqianli/speceval