推理档位怎么选：72 次实测画出的取舍曲线

AWS ML Blog 发布日期待确认

在 Grok 4.7 上跑了 72 次带工具的智能体任务：xhigh 档位 18 次全部答对，low 档位 18 次答对 15 次，输出 token 却只用了约八分之一。本文给出这条取舍曲线的实测方法，以及模型规格、接入方式和上线后的监控思路。

实测设计：三个必须「边搜边想」的任务

我们在 Grok 4.7 上搭了一个会调用工具的智能体，用三个任务来检验它。这三个任务都不是查查资料就能交差的，必须把搜索和推理结合起来：

• 根据告警定位一次双服务故障
• 在多个互相牵制的约束下安排维护计划
• 在预算限制下选出一组最优迁移方案

每个任务只有一个正确答案，而且我们已经把所有可能情况都跑了一遍，确认答案唯一。

所谓「推理档位」，就是让模型在给出答案前投入多少思考算力的开关。档位调高，通常更准，也更费 token。我们在每个档位上都跑了这三个任务，每个任务跑六次，合计 72 次智能体运行，其中 67 次答对。

取舍曲线：高档全对，低档省下八分之七

xhigh 档位下 18 次全部答对；low 档位下 18 次答对 15 次，输出 token 消耗却只有约八分之一。

这就画出一条很清楚的取舍曲线，而且可以按每个请求单独调档，不必全局一刀切。后文会介绍怎么在自己的任务上把这条曲线测出来，以及生产环境里怎么做监控。

全文用 token 数量而不是金额来报告。原因是价格会变，而实际成本正是由 token 数量推算出来的——用 token 表达的测量结果不会过期。

SpaceXAI 公布的基准数据

据 SpaceXAI 介绍，Grok 4.7 的基础模型比 Grok 4.6 更大，并且在更难的任务组合上做了更长时间的强化学习训练。这套任务组合偏重那些要花好几个小时才能完成的问题。SpaceXAI 表示，该模型在检查自身工作和处理更长上下文方面都更强，公布的基准测试结果也体现了这一侧重。

相比 Grok 4.6，提升最明显的领域集中在考察「持续工作能力」而不是单轮回答的类别上。

来源：SpaceXAI，Introducing Grok 4.7（https://x.ai/news/grok-4-7）。分数取自模型发布时 SpaceXAI 公布的数据。

基准测试衡量的是模型在标准任务上的表现。落到具体业务上，更有意义的做法是针对相似场景做实测——后文会带你走一遍这个流程。对日常写代码、做氛围编程这类场景来说，基准分数的参考价值有限，真正该看的是自己那条取舍曲线。

模型规格与接入方式

SpaceXAI 给出的 Grok 4.7 上下文窗口为 500K token（token 是模型处理文本的最小单位，可粗略理解为「字」的碎片）。它支持文本和图像输入、文本输出。在 Amazon Bedrock 上，该模型支持可配置的推理强度、工具调用和结构化输出。

Grok 4.7 运行在 bedrock-runtime 端点上，需要通过跨区域推理配置文件（cross-Region inference profile）访问。可以把它理解成一个代替模型 ID 的入口名：请求会被路由到多个 AWS 区域，省去逐区域管理容量的麻烦，吞吐也更高。共有两个配置文件：

发起请求时，要指定其中一个推理配置文件，而不是直接写模型 ID。

查看原文