CAFE(S) 框架：提升 AI 智能体的实际效果
现在可以在 YouTube、Apple 和 Spotify 上收听和观看。随着 AI 智能体（agent）的能力越来越强，上下文质量正成为制约其表现的瓶颈。在本期 Engineering Enablement 节目中，我与 CAFE(S) 框架的共同作者 Max Kanat-Alexander（Capital One）、Eirini Kalliamvakou（DX）和 Margaret-Anne Storey（维多利亚大学）一起，介绍我们用来评估智能体是否获得足够上下文、能否胜任工作的框架。我们提出 CAFE(S) 的五个维度：清晰性（Clarity）、可执行性（Actionability）、保真性（Fidelity）、高效性（Efficiency）和安全性（Security）。我们讨论了常见的上下文失败案例、糟糕的上下文如何累积技术债和认知债、它对开发者生产力和运营支出造成的影响、AI 如何改变工程师所需的技能，以及为什么上下文审查可能变得和代码审查同样重要。
以下是一些要点：
为什么上下文质量对 AI 智能体很重要
仅靠改进模型和运行框架（harness）不足以最大化 AI 智能体的效果。智能体接收到的上下文质量同样重要，但组织很少系统地评估这一点。
糟糕的上下文会带来叠加的成本和风险
含糊的指令、无关的信息和不安全的上下文可能导致 token 用量失控、输出错误、安全漏洞，以及额外的开发者重复劳动。
CAFE(S) 框架的五个维度
CAFE(S) 定义了高质量上下文的五个属性：清晰性、可执行性、保真性、高效性和安全性。每个属性对应一种特定的失败模式，帮助定位上下文需要改进的地方。
清晰性可能是最重要的维度，因为提供指令的人往往意识不到自己的含糊之处。智能体无法可靠地推断未明说的假设，而错误的解读可能在整个任务中不断放大。
为什么模型出错常常是上下文出错
智能体经常犯错，是因为关键知识只存在于开发者脑中。如果没有记录下来的需求、约束和决策，智能体可能构建出不需要的功能，或采取违背团队意图的行动。安全故障有时源于给了智能体不该访问的信息。
现实中的一个例子是：智能体找到了一个不相关的 API 凭证，然后删除了生产数据库。上下文质量差如何造成技术债、认知债和意图债？没有记录的目标、约束和决策会形成意图债，而有了 AI 智能体，这种债务的代价可能更高。智能体需要了解决策背后的推理过程，包括系统不应该做什么。更好的上下文有助于防止债务，但智能体工作流一旦成功，也会让人变得自满。当智能体看起来运行良好时，团队可能就不再记录重要决策了。创建高质量上下文正在成为一项核心工程技能。AI 素养意味着学会预判智能体的需要，而不是等错误发生后再去纠正。更有经验的开发者会根据以往失败的教训，主动定义目标、约束和成功标准。过去只有高级工程师才具备的技能，未来可能每个层级都需要掌握。清晰地沟通意图和需求一直是高级工程职责的一部分，但 AI 智能体正让这些技能对所有开发者都越来越重要。为什么上下文审查可能变得和代码审查一样重要？共享上下文值得更仔细地审查，因为它的影响会在智能体的多次交互中不断放大。一个被广泛使用的指令文件如果存在错误，可能在每次会话中重复出现；而一项改进则能让每个智能体都更高效。上下文审查的严格程度应当与信息的重要性和影响范围相匹配。关键的共享指令可能需要正式审查，而轻量的文档更新则应保持便捷。审查上下文还能在工程团队中建立共识。和代码审查一样，这个过程可以帮助开发者就需求、决策和系统的预期行为达成一致。
本期节目涵盖以下内容：
- （00:00）开场
- （01:18）认识 CAFE(S) 框架的作者
- （03:13）CAFE(S) 框架介绍：为什么上下文质量如此重要
- （06:32）常见的上下文失效模式
- （08:30）高质量上下文的五个维度
- （12:33）模型出错，实为上下文出错
- （18:24）为什么嘉宾小组在 CAFE(S) 中把清晰度放在首位
- （22:34）上下文质量与技术债、认知债、意图债的关系
- （25:35）从人工介入看上下文失效
- （28:11）上下文质量与 AI 熟练度的关系
- （30:28）AI 正在如何改变“好工程师”的定义
- （33:48）将上下文评审作为一门专业实践
- （38:44）总结
嘉宾联系方式
Margaret-Anne Storey：
- LinkedIn：https://www.linkedin.com/in/margaret-anne-storey
- X：https://x.com/margaretstorey
- 个人网站：https://margaretstorey.com
Max Kanat-Alexander：
- LinkedIn：https://www.linkedin.com/in/mkanat
- X：https://x.com/mkanat
- 个人网站：https://www.codesimplicity.com
Eirini Kalliamvakou：
- LinkedIn：https://www.linkedin.com/in/eirini-kalliamvakou-1016865
- X：https://x.com/irina_kAl
Brian Houck：
- LinkedIn：https://www.linkedin.com/in/brianhouck