升级不一定总是向上
编者按：本文引用的外部数据都是真实的，且附有出处——包括那些测试框架研究、回归报告，以及厂商的反驳说法。我故意保留了那些与我自己观点相矛盾的证据。一篇只引用对自己有利数据的故事不叫故事，那叫宣传册。
一个不怎么光鲜的决定
独立测试发现，同一个模型在不同的智能体框架（harness，即模型外面那层脚手架，包括上下文怎么管理、工具怎么描述、错误怎么捕获）上跑，得分能差出一大截——一个框架下 46%，另一个框架下 80%。这个差距比大多数模型升级带来的提升都大得多。所以上周，我做了一件感觉有点离经叛道的事。我的智能体们跑的那个模型，更新更强的版本已经上线一段时间了。纸面上看它确实更好——推理更强、在最难的智能体编程基准上得分更高、支持自适应思考、价格不变。搞技术的本能都会说：升。
但我把整个集群回滚到了旧版本。
不是产品团队——他们的模型从来没动过。只是我的那几个幕僚长智能体，负责治理、在漫长的一天里维持整个投资组合的上下文、协调另外十几个智能体的那种。在这些智能体上，新模型给我的实际体验是更差——不是差在某个具体任务上，而是差在那种最难量化、却最容易感受到的东西上：在一个漫长、混乱、真实的会话里，它能不能在自己的框架内保持连贯。旧版本就是……更能把线头攥住。
于是我回退了。只改配置，新模型留一个开关就能切回去，作为回滚通道，然后继续干活。之后我开始好奇：我是不是把自己给骗了？
数据怎么说——包括对我不利的那部分
我去找了两边的证据，因为“新的感觉更差”恰恰是人最容易说服自己相信的那种事。以下是实际能找到的东西。
支持我的那部分比我预想的要多。现在已经有一批实打实的研究表明，框架——模型周围的那层脚手架，上下文怎么管、工具怎么描述、错误怎么捕获——往往比选哪个模型更重要：
-
Cursor 的基准测试发现，同一个模型在一个框架上得分 46%，在另一个框架上 80%。
-
斯坦福 / 清华的一项研究测出，仅框架设计本身就能造成最高 6 倍的性能差距。