Kimi K3.1 Pro 智能指数排名第四,开发者到底该拿它做什么

Dev.to AI 2026-10-25T17:02:16+08:00

月之暗面放出 Kimi K3.1 Pro,Hacker News 照例炸了锅:1000 多赞、650 多条评论,一半人在争论这些跑分到底是不是真的。宣传话术先放一边,看看实际能拿到什么。

规格一览

据 Moonshot 发布帖:

跑分数据

测试项 Kimi K3.1 Pro 参照
Terminal-Bench 4.0 65.7% GPT-6 Astra 58.2%,Claude Opus 5.5 66.4%
BenchCAD(带工具) 92.7% Claude Opus 5.5 96.2%
OfficeQA Pro v2 64.4,号称 SOTA —
论断级幻觉率(Kimi Hallu Bench Hard) 8.3% K3 为 23.4%

有两点值得注意。一是在 Terminal-Bench 上它超过了 GPT-6 Astra,离 Opus 5.5 只差一个点。二是幻觉率从 23.4% 掉到 8.3%,而这只是一个点版本的迭代。如果你在做智能体(agent)产品,我最看重的就是这个数。

提醒一句:这些都是月之暗面自己跑出来的数,参数设置为 reasoning effort: max、temperature 1.0、top-p 0.95。当成上限看,别当成保证。

第三方信号

HN 上有位评论者贴了 Artificial Analysis 的结果:指数得分 55,总排名第 4,超过 GPT-6 Astra 和 Fable 5.1,而且比两者都快。代价是:跑完这套指数它烧了 1.5 亿 token,而中位数是 8700 万。这模型特别喜欢把思考过程完整写出来,量很大。如果你按输出 token 付费,这一点很要命。

另一位评论者搞了个"写吃豆人"的横评:Kimi K3.1 Pro 和 Sonnet 5.5 都拿了 93 分,但前者花 0.68 美元、11 分钟,后者花 1.61 美元、14 分钟。单个任务算不上科学验证,但和整体规律吻合:接近前沿的质量,价格只是零头。

价格

帖子里引用的价格页数字是 kimi-k3.1-pro 输入 2.00 美元/百万 token、输出 10.00 美元/百万 token,缓存命中的输入便宜得多。我转述的只是别人贴的片段,做预算前请以官网价格页为准。

另外补充一点历史情况:调用 Moonshot 的 API 一直兼容 OpenAI 格式。

以下是翻译后的中文内容:


核对一下他们文档里的 base URL,不过调用方式和常见的一致:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.moonshot.ai/v1",  # 以 platform.kimi.ai 文档为准
    api_key=os.environ["MOONSHOT_API_KEY"],
)

resp = client.chat.completions.create(
    model="kimi-k3.1-pro",  # 或 kimi-k3.1-pro-highspeed
    messages=[{"role": "user", "content": "重构这个模块,去掉循环导入。"}],
    temperature=1.0,
    top_p=0.95,
)
print(resp.choices[0].message.content)

在已有的智能体框架里换模型,只需要改两行。这才是关键:切换成本几乎为零,所以价格和质量才是决定因素。

网络安全的注意事项

Moonshot 表示有意限制了攻击性网络安全能力:在 xdev-bench-hard 上用缓解措施时 pass@3 为 81.0%,不用缓解措施时为 90.5%。有 HN(Hacker News)评论者质疑,对一个懂软件运作方式的模型,到底能剥离多少“网络数据”。也有人不满:公开版被阉割了,和美国那些模型一个样。如果你做防御性安全工作,先在自己的实际任务上测一测再决定。

槽点

不是所有人都满意:

结论

如果你重度写代码,用 API,别用订阅。按 token 计费比配额好预测。自己跑评测。冗长的推理意味着实际成本可能和标价有出入。

关注 11 月 4 日。这种规模的开放权重意味着会有服务商托管它,价格会降。不要绑死在一家供应商上。前沿实验室之间的差距现在是几周,不是几个月。把你的模型变成一个配置项。

如果一个 300 人的实验室能在指数上排到第 4,同时价格还比老牌厂商低,那这个市场的护城河是你的产品,而不是你的模型。

来源:Moonshot 发布帖、Hacker News 讨论、Artificial Analysis。


Moonshot 发布 Kimi K3.1 Pro 后,Hacker News 的反应一如既往:1000 多点赞、650 多条评论,一半人在争论跑分到底是不是真的。先别管炒作,看看实际有什么。

规格清单

来自 Moonshot 的发布帖:

查看原文