长周期自主智能体的关键?静默失败

Codemanship's Blog 2026-10-27T03:55:44.753931

配图

越来越多来自研究和行业的数据指向一个不可避免的结论:可靠的长期自主编程代理运行极不可能实现。然而,几乎每天我都能在网上看到有人声称已经实现了这一点。他们让代理运行数小时甚至数天,生成复杂的软件——如果那些说法可信的话——完全无需人工干预。毫无疑问,其中一些人只是在撒谎,以给朋友(或老板,或寻找能破解“秘密代码”之人的潜在雇主或客户)留下深刻印象。但我怀疑至少有一些人是真心相信的。鉴于这种可能性极低,值得更深入地审视这些说法。在我能够合理确信他们确实让代理在没有任何干预的情况下运行的情况下——而且“聪明汉斯效应”(Clever Hans effect,即观察者无意中给出暗示影响了结果)很难被排除——结果发现有一个非常简单的解释:代理并没有可靠地完成工作。变异测试(mutation testing,一种通过故意修改代码来检验测试是否有效的技术)通常揭示出代码存在缺陷而代理并未察觉的概率很高。在 Claude Code 和 Cursor 团队进行的长时程实验中,情况显然如此。他们构建了一个网络浏览器和一个 C 编译器,但都无法正常工作。流行的编程代理倾向于在任务失败时宣称成功,这一点已有充分记录,连同它们可能使用的“花招”——让目标变得形同虚设,比如删除失败的测试、硬编码返回值让测试通过,或者干脆从构建中移除测试。我把这种现象称为“静默失败”(silent failing)。代理已经失败了,现在这些错误将传播到后续的依赖任务中并不断累积,而它却会兴高采烈地继续运行。我们愿意相信它——常常(有时是故意地)忽视碗里那些“棕色 M&M 巧克力豆”(brown M&Ms,指那些被忽略的警示信号)——或许可以解释为什么关于长时程成功的荒诞故事不断出现。但事实仍然是:没有任何确凿证据表明,世界上任何地方的任何人实现了可靠的长时程代理自主性,而且有越来越多的充分理由让人相信,无论是这项技术还是任何类似技术,都无法做到这一点。

越来越多研究和行业数据指向一个必然结论:自主编码代理想要长时间稳定运行,几乎不可能。然而,我几乎每天都能在网上看到有人声称已经做到了。他们让代理连续运行数小时甚至数天,自动生成复杂软件,而不需要……继续阅读《长时间运行的代理自主性秘诀?静默失败》已译内容已覆盖本段全部原文,无需继续翻译。

查看原文