从编码智能体的运行日志里读出测试结果,比看退出码难得多
编码智能体(coding agent)会把执行过的每条命令都记录下来。所以判断「最后一次测试跑过没有」看上去一行代码就够:找到最后一条测试命令,读它的退出码。我在大约 1.6 万条公开的智能体运行记录上试了这个办法,出错的比例高到足以改变结论。以某个模型为例:按这种方式统计,有 88 次运行看起来是以失败的测试收尾;做完下面这些修正后,只剩 59 次。也就是说,三分之一的「失败」根本不是测试失败。如果你正在做任何需要读智能体日志、CI 输出或工具返回结果的东西,下面是踩过的坑。 ### 退出码可能根本不属于那条测试命令 bash pytest | tail -5 这条命令即使测试失败也会返回
- 从编码智能体的运行日志里读出测试结果,比看退出码难得多 · Dev.to AI