靠极致优化,我们把推理成本砍掉了 68%
今年 4 月我们第一次写 AI 代码审查器时,平均每次审查成本是 1.19 美元,还算能接受。到了 8 月底,这个数字涨到了约 2.46 美元。这期间我们并没有大改架构:协调器还是把任务分发给同一批专业审查器,还是那套风险等级决定审查的深度。9 月中旬,我们让智能体去查这些 token 到底花在哪儿,然后大刀阔斧地砍。在代码质量设为高强度的情况下,现在平均每次审查只要 0.77 美元,比开始优化前最贵的两周平均 2.43 美元下降了 68%。我们的主要目标是降成本,但顺带也把审查器优化了一遍,审查中位数时间从 4 分 09 秒缩短到了 1 分 32 秒。约 40% 的节省来自审查器代码的改动和
- 靠极致优化,我们把推理成本砍掉了 68% · Cloudflare Blog