生产级 LLM 与智能体：实战指南
[自从 The Heap 开放投稿以来，我们收到了很多非常出色的技术文章。其中一些我们把它提到了主信息流，让更多人能读到这些优秀作品。本文就是其中之一，欢迎在评论区告诉我们你的看法。]
一个演示效果很好的智能体，和一个真正能面向客户或处理真实资金的智能体之间，隔着一道鸿沟。跨越这道鸿沟靠的不是更大的模型，而是模型周围那些不起眼的基础设施：确定性、评估、置信度校准、分层护栏、审计轨迹和可观测性。这篇文章就是那张地图和成熟度模型。每一层都链接到一篇深入的专题文章。
一段话概括核心论点
LLM 是概率性的；生产环境要求确定性保障。你获得保障的方式不是让模型变得确定（你做不到），而是把模型的工作缩小到需要判断力的最小决策，然后用可测试、可管控、可审计、可观测的确定性机制包裹这个决策。模型只是一个被封装好的组件，整个系统则是一个普通的、工程良好的系统。
成熟度模型
逐级攀升，每一级都以下一级为基础。
级别——你拥有的·缺失的信号
-
0 - 笔记本阶段——一个提示词、一个模型、一个顺利路径的演示 · “在我举的例子上是好的”
-
1 - 确定性——智能体只提议（绝不执行）；每个能力有固定的流程图；模型被限制在一个节点内；循环有边界 · 智能体能写入业务状态；行为取决于它游荡到的路径
-
2 - 评估——评估作为 CI 门禁；漂移基线；来自生产环境的影子评估 · 你改了个提示词然后祈祷；评估停留在笔记本里
-
3 - 置信度——组合的、校准的置信度；自动与人工的阈值；抽样评判 · 你依据模型的原始置信度行动；没有弃权机制
-
4 - 安全与治理——纵深防御护栏；边界处的 PII 处理；仅追加的审计账本；有作用域的记忆 · 只有一个审核过滤器；日志里有原始输入；审计可篡改
-
5 - 可运维性——决策的可观测性；成本控制；模型路由加降级；终止开关 · 你从账单和客户那里才知道质量和成本的问题
-
第 6 级 · 生产级构建——构建过程本身要规范：为编码智能体提供一套操作系统，让并行智能体基于决策日志协作，沉淀团队知识，避免每隔几周就把老决策重新翻出来吵一遍
怎么用：先找到你最薄弱的环节，按顺序补齐。多数团队在第 0 级很强，却直接想要第 5 级——但顺序不能乱：先有确定性，再谈评估；先有评估，才敢相信置信度；先有置信度，才谈自动化；先有安全，再谈规模化；先有可观测性，晚上才睡得着。
90 秒自测
勾选今天已经做到的事：
-
智能体只能提建议；由单独的组件在审批后应用变更。
-
每项能力都是固定的步骤序列；模型只是其中一环。
-
提示词或模型改动导致质量回退时，CI 会失败。
-
每次发布都和基线对比，而不只看是否过了及格线。
-
每个决策都带组合的、校准过的置信度；置信度低就转人工。
-
防护栏是分层的（输入、输出、PII、校验、评判），而且默认拒绝。
-
敏感数据在边界处脱敏/哈希；审计账本只追加、不修改。
-
在仪表盘上能看到决策、防护栏拦截、token 成本和人工覆盖率的实时数据。
-
不用发版，几秒内就能停掉自动决策。
-
来之不易的决策都写进了日志，人和智能体都能读。
勾选不到一半 → 你的实际进度比演示效果要早期得多。下面这个系列就是路线图。
系列文章——逐层深入
第 1 级 · 确定性
1. 让你的 AI 智能体“无聊”起来 · 2. 一次智能体请求的解剖 · 3. 结构化输出优于自由文本 · 4. 有界 ReAct：唯一该用循环的地方
第 2 级 · 评估
5. 把评估做成部署门禁 · 6. 生产环境中的漂移检测
第 3 级 · 置信度
7. 建立在置信度之上 · 8. 用 LLM 当裁判 · 9. 人在回路中的交互设计
第 4 级 · 安全与治理
10. 纵深防御的防护栏 · 11. 边界处的 PII 处理 · 12. 只追加的审计账本 · 13. 多租户智能体的记忆模型 · 14. 种子与运行时