升级不一定总是向上

编者按：本文引用的外部数据都是真实的，且附有出处——包括那些测试框架研究、回归报告，以及厂商的反驳说法。我故意保留了那些与我自己观点相矛盾的证据。一篇只引用对自己有利数据的故事不叫故事，那叫宣传册。 ## 一个不怎么光鲜的决定 独立测试发现，同一个模型在不同的智能体框架（harness，即模型外面那层脚手架，包括上下文怎么管理、工具怎么描述、错误怎么捕获）上跑，得分能差出一大截——一个框架下 46%，另一个框架下 80%。这个差距比大多数模型升级带来的提升都大得多。所以上周，我做了一件感觉有点离经叛道的事。我的智能体们跑的那个模型，更新更强的版本已经上线一段时间了。纸面上看它确实更好——推