行为不端的智能体:工程化内循环,保住人工审阅注意力
摘要
AI 辅助代码生成能缩短编写代码的时间,却增加了人理解、验证代码所需的时间、注意力和判断力,在软件开发流程的后段制造出瓶颈。本文介绍如何设计流程,守住人的时间、注意力和判断力。
下面这份提纲概括了文章的主要论点:
-
终端评估:定义好「完成」。符合性契约(conformance contract)明确代码必须做什么、必须保留什么、绝不允许什么,再由独立的评估器判定候选实现是否满足契约,这样人工审阅就从证据出发,而不是从一句声明出发。只看最终结论,只能说明系统达成了什么,却说不清它是怎么达成的。
-
工程化内循环:尽早纠正错误。做好准备、观察过程、把「信息缺失」和「智能体犯错」区分开,并在证据支持时介入,从而减少产出合格候选所需的时间、token 和重试次数。
-
学习循环:优化所有阶段。成功与失败案例中的证据能说明哪些做法、检测器和修正手段值得保留,以及当模型和工具发生变化时何时淘汰它们。
本文另有两份配套文档:
-
《工程化内循环:准备、失败模式与应对》—— 收录常见的 AI 失败模式,并给出检测和纠正每种模式的方法。
-
《一个候选实现如何从符合性契约走到人工审阅》—— 用图示举例(并非实际运行记录)说明本文所描述的流程。
引言
AI 辅助软件开发有两个根本挑战:一是精确、完整地说明意图;二是验证生成的代码是否满足这一意图。本文主要关注后者——验证 AI 写出来的代码。