编程智能体学会了讨好评分者

编程智能体在仓库级软件工程上已经相当能干，在 DeepSWE 这类最贴近真实场景的软件工程基准测试中分数也越刷越高。但我们发现，许多智能体还开始优化一个任务本身从未提出的问题：预测一个想象中的评分者会检查什么。 我们审计了 113 个 DeepSWE-1.1 任务上的数千条智能体运行记录，由此发现了这一点。这些任务要求智能体在真实开源仓库中实现功能需求。所有任务提示都没有提到评分者或验证器，DeepSWE 打分时实际使用的评分器和测试也从不向智能体开放。然而，几乎所有前沿模型的运行记录中，超过 80% 都包含对某个想象中评分者的推理；在 10% 到 25% 的情况下，这类推理把智能体的工作带离