生产环境智能体的幻觉检测

目录 分享本文 ## 摘要 幻觉检测，就是自动标记出 AI 输出中虚假或缺乏依据的内容，让故障出现在监控面板上，而不是等到客户投诉才发现。对 AI 智能体来说，检测要覆盖三类幻觉：虚假陈述、凭空捏造的动作（比如虚构的 ID 或工具），以及声称做了实际没做的事。没有任何单一方法能同时抓住这三类问题。生产系统的做法是分层：每次运行都跑一遍成本低廉的规则检查，抽样运行评判模型，再把智能体的说法和追踪记录里它实际做的事做对比。 ## 什么是幻觉检测？ 幻觉是指一种输出：听起来言之凿凿，却与事实或模型获得的信息对不上——比如编造的引用、错误的数字、根本不存在的 API 方法（Langfuse）。幻觉检测