如何评估 AI 智能体：别只看单次回答，要看整条任务链
评估 AI 智能体的重点，不是它某句话说得对不对，而是它能否在真实环境中把几十次工具调用串成完整工作链，并在出错后自行恢复。这意味着评估粒度要从「单次函数调用」升级到「整个任务」。
一个被问错的问题
上线一个 AI 智能体（AI agent，指能够自己调用外部工具、分多步把任务做完的模型程序）之后，最常被拿出来讨论的往往是它「说得怎么样」——回答是否流畅、听起来是否靠谱。这类评估看起来很自然，却几乎无法回答一个更要紧的问题：任务到底有没有被完成。
真正值得追问的是另一件事：在真实的运行环境里，它能不能把几十次前后相连的工具调用（tool call，指模型去调用外部函数或接口）串成一条完整的工作链？如果中间某一步失败，它能不能自己发现，并从中恢复过来？
评估对象变了：从一次调用到整个任务
这两个问题指向同一个落差：智能体的输出不再是一段文本，而是一串带状态、带依赖的操作序列。
- 某一次调用选对了函数，不代表整条链路能走通；
- 某一步答得漂亮，也不代表任务最终能被交付。
正因为输出形态变了，评估方式也必须跟着变：从「给单次函数调用打分」，演进到「给整个任务打分」。看的指标是任务是否完成、失败后能否恢复，而不是某一句话听起来是否正确。
对开发者意味着什么
如果你在做 AI 编程工具或自动化流程，这套思路同样适用。衡量一个编程助手，不该只看它生成的代码像不像样，而要看它能否真的把一个功能从改文件、跑测试到修错完整落地——这也是判断「氛围编程」类工具是否好用的实际标准：过程再流畅，跑不通就是没做成。