提示缓存:同一个智能体,同样的规则,账单只剩约四分之一

提示缓存(prompt caching)已经被讲过很多次了。大厂商的文档解释了它的原理,也有不少文章讲某个团队改了一处之后命中率如何飙升。我们想补一个视角:把这件事直接画出来——同一个智能体的提示,每一步都用同样的方式绘制,每张图里都标出实测数字。有时候同一个道理换个画法,才会让人恍然大悟。 为此,我们照着自家智能体踩过的坑,做了一个小食谱智能体:提示看上去没什么问题,四个步骤改完,每个版本都发到真实的模型 API 上跑。同一个模型,同样的规则,一个字没改——提示成本降低了 73%,整个测试花费不到一美分。最后我们还会给出一个防止这些优化被改回去的测试,以及在自家智能体上做同样四步的效果。 #