监控已部署 AI Agent 的最佳实践
你的 AI Agent（智能体）可能错得很自信，所有健康检查却一路绿灯——这就是把它当普通 API 来监控的根本问题。Agent 不只是应答请求，它还会做决策、调用工具、自行改变状态。如果只看 HTTP 状态码和延迟，就会漏掉最要命的故障：任务跑完了，也报告成功，但事情做错了。
仪表盘全绿，不代表 Agent 正常
Agent 很少因为抛出异常而失败。它们往往是把看似合理的事做砸了：工具选对了，参数却错了；把过期文档当成最新版本；循环重试一个已经失效的查询，直到预算耗尽。所以这份指南坚持从四个维度看，而不是只看一个：行为（有没有做对）、可靠性（有没有跑完）、成本（花了多少）、安全（有没有越界）。只看一个维度，等于蒙眼飞行。Gartner 警告，到 2027 年底，40% 的智能体式 AI 项目会被取消，原因包括成本、投资回报率（ROI）不清晰、风险管理不到位；这种盲区要付的就是这个代价。
先有追踪，否则没东西可监控
每次运行都要有一条追踪（Trace）——每次模型调用、工具调用、检索和决策点各对应一个 span（追踪片段）——否则就没有可供聚合、告警和调试的数据。OpenTelemetry 的 gen_ai 约定为追踪规定了标准结构：每个 span 上记录 token 数量，再用一个运行 ID 把追踪、指标和评估（evals）串起来。厂商中立这一点很重要：更换后端后，埋点仍然可用；大多数 Agent 框架做不到这一点。存储前先脱敏密钥和个人数据——提示词里经常包含机密数据，没有保留策略就原样采集，就是一场等着被审计发现的泄露。
看比率，不看总量
总花费随业务量上涨，正常。每次成功结果的成本上涨，才是退化。同样的逻辑适用于所有指标：步骤数相对上限的使用情况，按工具统计的调用错误率和重试率，以及——本文信号最强的指标——Agent 自报成功、但独立结果校验不认账的比例。
这种不一致率，正是发现“静默半成功”的关键手段——也就是智能体在一个步骤失败后却上报任务完成。一张包含任务成功率、延迟、token 成本、工具调用成功率和步骤数的仪表盘只是起点，不是终点。
评估不是上线前的把关环节，而是系统的生命体征。准备一组有代表性的“黄金任务集”，每次更换模型、调整提示词或更换工具时都重跑一遍，这是唯一能拦住“单元测试全过、实际工作却退步”的改动上线的办法。要做线上实时抽样评分——全量评分通常太贵——并把评估分数下滑当作阻止上线的信号。
在信任大语言模型（LLM）评审员之前，先给它做校准。Zheng 等人在 2023 年的研究里发现，GPT-4 作为评审员与人类判断的一致率超过 80%，跟两个人类彼此之间的一致率差不多。听起来让人放心，但你要意识到：“平均一致”不等于“在你的失败案例上一致”。评审员可能达到人类平均水平，却漏掉你测试集里的每一次幻觉；而且它有已知偏差，偏爱更长的回答，也偏爱自己所属的模型家族。先校准，再定期复查。未经校准的评审员只是一个假设，不是一次测量。
循环和提示词注入不是边缘情况。反复出现的生产故障——工具误用、上下文耗尽、静默半成功、无界循环、来自未监控集成的陈旧数据——这些才是常态工作，而非例外。解决循环的办法是在编排器层面加确定性的熔断机制：硬性步骤上限、按工具的调用重试计数器、在代码里强制执行的成本上限。你不能指望一个概率模型去执行确定性规则，系统提示词不是熔断器。安全防护同理：提示词注入、权限过大、输出处理不当，都能在链路追踪数据流里直接观察到模式。要按模式监控，而不是发一次性告警。
按比率告警，按危险呼叫值班。没有告警通路的监控，就是一块没人看的仪表盘。
告警要针对滚动窗口内的速率指标，比如错误率、循环率、单任务成本、评估分数下降，同时为那些一刻都不能等的事件保留更敏锐的通道：安全违规、提示注入攻击触及特权工具、运行超出成本上限。这类事件应立即通知人工介入，并触发熔断。每个告警都需要一份附带追踪信息的操作手册，每次影响到人工的生产故障都应转化为黄金测试集中的结构化案例。只有这样，监控体系才能变得更智能，而不只是更吵闹。深入探索完整指南覆盖了整个技术栈——追踪、指标、评估、告警和成本治理——并附有每个论断背后的实例与控制措施：部署 AI 智能体的监控最佳实践。原文发表于 Agentic Affairs ( https://agentic-affairs.com )
你的 Agent 可能自信满满地给出错误结果，而所有健康检查却一路绿灯——这正是把它当作普通 API 来监控的根本问题。Agent 不只是响应请求，它还会自主做决策、调用工具、改变状态。如果你只盯着 HTTP 状态码和延迟，就会漏掉最致命的故障：任务跑完了，报告成功，实际却做错了事。
绿灯仪表盘会对 Agent 撒谎
Agent 的失败，很少来自