推理强度对得分和成本的影响有多大？
大多数前沿模型都允许你在提问时选择它“思考”的强度，但强度越高，单次运行的成本也越高。默认情况下，我们通常把模型调到最高档。本文测量推理强度变化时，性能和成本各自如何变化。在最低档下，七个模型中有四个保住了至少 80% 的 Vals Index 得分，而成本只有一半甚至更低。例如 Claude Opus 5.5，用 16% 的成本保住了 80% 的得分。
我们选取了七家 AI 实验室各自的旗舰模型，在 Vals Index 的八个基准上测试。每个模型跑三档设置：最低推理档、中间档，以及我们排行榜所用的设置（通常是最高档）。下文把最后一档称为“排行榜设置”。下图展示三个设置在 Vals Index 上的表现，先画四个模型，图例中再补充其余模型。同一张图也出现在 Vals Index 页面及其各个基准页面上。
关键结论
-
降低推理强度带来的成本下降，远大于得分下降。在最低档下，七个模型中有四个保住了至少 80% 的得分，成本只有一半甚至更低。
-
在 56 个“模型 × 基准”组合中，有 22 个组合的低档设置得分不低于排行榜设置，且成本更低。也就是说，这些情况下排行榜设置花了更多钱，却没有换来更高分。
-
即使开了“上帝视角”，为每个任务挑出得分最高的设置，也只多拿 6.0 分。而且它比一律用最低档更贵：成本是排行榜设置的 64%，最低档则是 29%。
降低推理强度，成本降得远比得分多
虚线标出排行榜设置。柱子在 100% 处，表示得分或成本与该设置相同。
在最低档下，七个模型中有四个保住了至少 80% 的 Vals Index 得分，成本只有一半甚至更低。Claude Opus 5.5 用 16% 的成本保住了 80% 的得分，Grok 4.7 用 16% 的成本保住了 86%。Gemini 4 Argon 用 84% 的成本保住了 99% 的得分。在中间档，Gemini 4 Argon 的得分略高于排行榜设置，成本为 78%，比它自己的最低档还便宜。
56 个案例中有 22 个：更低设置得分相同、成本更低
在 56 组「模型 + 基准测试」组合里，有 22 组用更便宜的设置就拿到了与榜单设置相同的分数。我们测试过的更便宜设置中，没有一个显著高于榜单设置，有 33 个显著更低。单看 Vals Index 整体，没有任何模型能在最低设置下达到其榜单分数。
在 Vals Index 上，7 个模型里没有一个能用最低设置、以更低成本拿到与榜单设置相同的分数。综合所有设置和所有基准测试，更低设置以更低成本拿到相同分数的案例共 22 个，没有一个与榜单设置有显著差异。
为每个任务挑最高分设置，也只能多拿 6.0 分
事后回看，这些模型比它们的榜单设置中位数高出 6.0 分，成本中位数为后者的 64%。真实系统必须在看到结果之前就做选择，所以实际收益会更小。
有些任务需要更多推理，有些则不然，因此一个能为每个任务单独挑设置的系统，有可能超过任何单一设置。为了找出这类系统最多能提升多少，我们回看结果，为每个任务挑出得分最高且成本最低的设置。
这张图根据每个任务的结果，挑出它的最高分设置。如果在看到这些结果之前就做选择，得分会更低。分数轴从 40 开始。
更多推理对某些基准测试的帮助远大于其他
从最低设置到最高设置，分数提升因基准测试而异。Legal Research 的中位数提升为 19.2 分。EMB、HLAB 和 Finance Agent 2.1 各自提升都不到 6 分。
分数变化：最高努力减最低努力
方法论
我们测试了 DeepSeek V4.1 Flash、Grok 4.7、Muse Spark 1.3、GPT-6 Astra、Claude Opus 5.5、GLM 5.3 和 Gemini 4 Argon，每个模型分别跑最低推理档位、中间档位和排行榜档位。排行榜档位对 DeepSeek、Astra、Opus 和 GLM 是 max，对 Grok 和 Muse 是 xhigh。Gemini 的排行榜运行没有设置努力等级，所以我们用了它的 high 档。测试覆盖构成 Vals Index 的八个基准：Finance Agent 2.1、EMB 1.1、Terminal-Bench 4、Vibe Code Bench、Code Migration 1.1、Legal Research、HLAB 1.1 和 Tax Agent Bench。
每个档位都跑同一个固定任务子集，约为各基准全部任务的一半。我们挑选子集时，确保其模型排名与完整基准一致。对大多数模型，排行榜档位的分数直接取排行榜上已有的运行结果，再在该子集上重新计分。没有现成运行结果的情况（包括 Gemini 的全部运行），我们重新跑了排行榜档位。
Vals Index 是衡量 AI 潜在经济影响的单一指标，考察智能体模型在金融、编程、法律和税务任务上的表现，按各行业占美国 GDP 的比重加权。只有八个基准都有分数的模型才会进入指数。Tax Agent Bench 按全通过计分，与其主表一致。每次测试成本按标价计算。Vals Index 成本是八个基准成本的简单平均，Code Migration 的成本由 token 估算。每次比较都用配对自助检验（paired bootstrap test），对两种档位重采样相同任务，判断分数差异是否真的存在。我们在一组内先跑完所有比较，再检查哪个档位得分更高，然后用 Benjamini–Hochberg 方法对组内 p 值做校正。校正后 p 值低于 0.05 视为显著。要选出每个任务的最高分档位，我们取该任务上得分最高的档位中最便宜的那个，再对八个基准做简单平均比较。
局限性
-
分数基于一半任务，因此比公布的数字噪声更大；大多数基准每个档位只跑了一次。
-
“没有显著差异”不等于两个设置的得分相同。每个基准测试只覆盖约一半任务，我们的检验可能漏掉两个设置之间真实存在的小差异。
-
大部分“榜单设置”的运行来自更早的月份，其他设置则来自 10 月，因此这期间服务商一侧的变更可能影响对比结果。
-
我们是按每个任务自身的结果挑选出得分最高的设置，所以 6.0 分的提升是真实系统能达到的上限。