Is open-weight really 90% as good at 10% of the cost? Checking IBM's claim against list prices

Dev.to ML 2026-10-23T21:25:30+08:00

在 IBM 2026 年第三季度财报电话会上，CEO Arvind Krishna 表示，开放权重模型（open-weight models）现在能达到约“90% 的效果”，而 token 成本仅为前沿模型的“25% 到 10%”，并且大多数企业用“两三个机架”就能搭建有用的 AI 基础设施（The Register，2026-10-22）。我对照 2026-10-23 的公开价目表，核查了成本这一半的说法。结果如下：

价格说法属实，甚至更好。 以一个示例任务为例：输入 8,000 token、输出 500 token。DeepSeek V4.1-Flash 按非高峰时段的标价计算，成本是 Claude Opus 5 的 2.9%，是 GPT-6 Sol 的 7.1%。V4-Pro 则是 11.9% 和 29.9%。
“前沿”这个词在这句话里承担了太多。 闭源厂商自家的小杯型号（GPT-6 Luna、Claude Haiku 5.5）每 1,000 次上述请求收费 1.05 美元，比 DeepSeek 最便宜的型号还低 30%。开放权重并不是唯一便宜的选项——小模型才是。
本地部署赌的是利用率，不是价格。 假设每 8-GPU 节点小时 30 美元、每节点每秒输出 12,000 token，那么只要集群忙碌时间超过约 7%，自购硬件就能在输出价格上胜过 GPT-6 Sol；但无论利用率多高，都永远打不过 DeepSeek Flash 的托管价格。
机架部署的真正理由是数据可控和支出可预测，而不是“10% 的成本”。

下文所有硬件数字都是示例性假设，已明确标注，并附上公式，方便你替换成自己的数据。

IBM 到底说了什么？

根据 The Register 对电话会的报道，Krishna 描述了一个不断缩小的质量差距：2024 年“顶级模型可能得 70 分，开源模型可能得 20 或 30 分”，到 2025 年底变成“70 对 50”，而现在开放权重模型“能达到 90% 的效果”。成本方面的说法是“前沿模型 token 成本的 25% 到 10%”，他的原话是：“如果某个东西有最好模型 90% 的水平，你愿不愿意用它，只花 10% 的成本？”他举的任务例子包括总结邮件、审查合同、接听客服电话和撰写邮件。

算账之前，先说两件事。第一，那篇文章没有为 70、50、90 这三个数字给出任何基准测试，所以质量那半边无法从公开记录中验证，我也没有去试。第二，同一场财报电话会还公布了第三季度营收 171 亿美元（增长 5%）、基础设施营收 37 亿美元、Red Hat 增长 11%。IBM 围绕本地部署 AI 卖硬件、软件和咨询服务，所以这个说法既是一种观察，也是一种商业立场。这不代表它说错了，只意味着成本那部分值得算一算。

同一项任务，在九张价目表上要花多少钱？

我选了一个贴合 IBM 例子的任务：工单分类或邮件摘要，输入 8,000 token（指令、一段对话、一些背景），输出 500 token，跑 1,000 次，不用缓存。以下为官方标价，单位为美元/百万 token，读取日期是 2026 年 10 月 23 日，来源为 DeepSeek、Anthropic 以及媒体对 OpenAI 发布定价的报道（The Next Web）。OpenAI 自家定价页面对我的抓取程序返回了 HTTP 403，所以 GPT-6 的数字属于二手来源。

模型（官方标价，每百万 token 输入 / 输出）	每 1,000 次请求成本	占 Opus 5 的百分比	占 GPT-6 Sol 的百分比
Claude Opus 5（5.00 / 25.00）	52.50	100.0	250.0
Claude Opus 5.5（4.00 / 20.00）	42.00	80.0	200.0
Claude Sonnet 5（2.00 / 10.00）	21.00	40.0	100.0
GPT-6 Sol（2.00 / 10.00）	21.00	40.0	100.0
DeepSeek V4-Pro，非高峰时段（0.66 / 1.98）	6.27	11.9	29.9
DeepSeek V4.1-Flash，高峰时段（0.30 / 1.20）	3.00	5.7	14.3
DeepSeek V4.1-Flash，非高峰时段（0.15 / 0.60）	1.50	2.9	7.1
GPT-6 Luna（0.10 / 0.50）	1.05	2.0	5.0
Claude Haiku 5.5，提示词不超过 100k（0.10 / 0.50）	1.05	2.0	5.0

同样的活儿，九份价目表

把这张表和 IBM 那句话对照着看：如果「前沿模型」指的是 Opus 5，那么 V4-Pro 正好落在 10% 到 25% 这个区间内（11.9%），Flash 则远低于区间下沿。如果「前沿模型」指的是中价位的旗舰档（Sonnet 5 或 GPT-6 Sol），V4-Pro 大约在 30%，刚好超出区间上沿，而 Flash 仍落在区间之下。IBM 给出的这个区间，放到托管服务的标价上来看，其实还算保守。

两个计费细节会直接影响这些数字。DeepSeek 的高峰时段是 UTC 周一至周五 01:00 到 04:00、06:00 到 10:00，价格是非高峰时段的两倍。而缓存对输入量大的任务影响很大。假设 8,000 个输入 token 里有 6,000 个是共享前缀、能命中缓存，那同样 1,000 次请求的成本是：Opus 5 为 25.50 美元（缓存读取 0.50），GPT-6 Sol 为 10.20（0.20），DeepSeek Flash 非高峰时段为 0.618（0.003），Luna 和 Haiku 5.5 都是 0.51（0.01）。缓存前缀会缩小绝对差距，但排位顺序不变。

便宜的那部分真的“开放”吗？

看最后两行。GPT-6 Luna 和 Claude Haiku 5.5 是闭源模型，在这个任务上每 1,000 次请求 1.05 美元，比 DeepSeek Flash 非高峰时段的 1.50 低约 30%。闭源厂商已经把小号模型的价格压到和托管开源权重差不多的水平。

这会影响“开源权重只要 10% 成本”这句话该怎么读。省钱的根源是给简单任务挑了一个小而稀疏的模型。这是模型规模和路由带来的效果，闭源 API 里同样能做到。开源权重真正多出来的不是更低的 API token 价格，而是另一套选择：自己托管、自己微调、永久锁定某个版本、数据留在自己的网络里。这些都是实打实的好处，只是它们和“价格”不是同一个命题。

什么时候自己买硬件比用 API 更划算？

这就是“两三个机架”说法的由来。自托管时，每个 token 的成本等于固定的小时成本除以实际产出的 token 数，所以利用率决定一切：

# cost per 1M output tokens when you own the hardware
def cost_per_m_out(node_usd_per_hour, node_out_tok_per_s, utilization):
    return node_usd_per_hour / (node_out_tok_per_s * 3600 * utilization) * 1e6

# break-even utilization against an API output price
def breakeven_util(node_usd_per_hour, node_out_tok_per_s, api_usd_per_m_out):
    return cost_per_m_out(node_usd_per_hour, node_out_tok_per_s, 1.0) / api_usd_per_m_out

print(cost_per_m_out(30, 12000, 1.0))   # 0.694 USD per 1M tokens at full load
print(breakeven_util(30, 12000, 10.0))  # 0.069, i.e. 6.9% vs GPT-6 Sol output price

开源权重真的能用 10% 的成本做到 90% 的效果吗？拿 IBM 的说法对照官方定价核一核

下面是我的假设，你可以换成自己的：每 8 卡 GPU 节点小时 30 美元，全包（含硬件折旧、电费、机房空间和技术支持）；大型稀疏模型跑满批处理时，单节点每秒输出 12,000 个 token。这两个数都不是实测值。真实吞吐取决于模型、上下文长度、批处理形态和服务框架；硬件价格则取决于你跟供应商谈成了什么价。

按这套假设算下来：

对标的 API 价格	每 100 万 token 输出价格（美元）	盈亏平衡的集群利用率
Claude Opus 5	25.00	2.8%
GPT-6 Sol	10.00	6.9%
DeepSeek V4-Pro（非高峰）	1.98	35.1%
DeepSeek V4.1-Flash（非高峰）	0.60	永远做不到（需要 116%）
GPT-6 Luna	0.50	永远做不到（需要 139%）

每 100 万输出 token 成本：自有硬件 vs 价目表价格

22DeepSeek%2520V4.1-Flash%2520output%2520%25240.60%2522%252C%2522data%2522%253A%255B0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%252C0.6%255D%252C%2522borderColor%2522%253A%2522%252316a34a%2522%252C%2522fill%2522%253Afalse%252C%2522borderDash%2522%253A%255B6%252C4%255D%252C%2522pointRadius%2522%253A0%257D%255D%257D%252C%2522options%2522%253A%257B%2522title%2522%253A%257B%2522display%2522%253Atrue%252C%2522text%2522%253A%2522Cost%2520per%25201M%2520output%2520tokens%253A%2520owned%2520hardware%2520vs%2520list%2520prices%2522%252C%2522fontSize%2522%253A17%257D%252C%2522scales%2522%253A%257B%2522yAxes%2522%253A%255B%257B%2522type%2522%253A%2522logarithmic%2522%252C%2522ticks%2522%253A%257B%2522min%2522%253A0.3%252C%2522max%2522%253A30%257D%252C%2522scaleLabel%2522%253A%257B%2522display%2522%253Atrue%252C%2522labelString%2522%253A%2522USD%2520per%25201M%2520output%2520tokens%2520%2528log%2520scale%2529%2522%257D%257D%255D%252C%2522xAxes%2522%253A%255B%257B%2522scaleLabel%2522%253A%257B%2522display%2522%253Atrue%252C%2522labelString%2522%253A%2522average%2520utilization%2520of%2520the%2520cluster%2522%257D%257D%255D%257D%257D%257D)

这条曲线的读法是这样的：平均利用率 10% 时，自有集群每百万输出 token 约花 6.94 美元，比 Sol 的 10 美元便宜，更是远低于 Opus 的 25 美元，但比 V4-Pro 贵 3.5 倍。利用率提到 50%，成本降到 1.39 美元，能压过 V4-Pro，却仍输给 0.60 美元的 Flash。就算跑满 100%，也还要 0.69 美元。

这类测算对假设很敏感，所以我拿 Sol 每百万输出 10 美元的价格做基准，把两个输入变量都做了浮动：

单节点每小时成本	6,000 tok/s	12,000 tok/s	24,000 tok/s
16 美元	7.4%	3.7%	1.9%
30 美元	13.9%	6.9%	3.5%
60 美元	27.8%	13.9%	6.9%

表格里每个格子是打平所需的平均利用率。对上旗舰价位的 API，只要利用率不算太低，自购硬件在一大片假设区间里都划算；可对上托管的小模型或稀疏模型，这张表里没有任何一格能在价格上打赢。

两三个机架是什么光景？

按「三个机架」= 24 台八卡节点算。每节点每小时 30 美元，一年就是 631 万美元。同样这笔钱，按 GPT-6 Sol 的价格能买 6310 亿输出 token/年，折合每天 17.3 亿，平均每秒 2 万 token。而 24 台节点在我这套假设下的峰值产能是每秒 28.8 万 token，所以要跟 Sol 打平，平均利用率大约 6.9%，和上面的数字一致。换成 Opus 的价格，打平所需的平均吞吐是每秒 8,000 token。

同样算法套到 Flash 的闲时输出价上，这笔钱一年能买 10.5 万亿 token，平均每秒 33.3 万 token，已经超过集群满载时的产能。换句话说，按这些假设，一家只想要最便宜 token 的公司压根不该买机架。

这个模型漏掉了什么？

这套算法是刻意简化的下限与上限，而且有好几处因素会往两个方向推：

预填充（prefill）。 我的产能数字只算输出 token。像前面那个 8,000 输入、500 输出的负载，算力大头花在预填充上，所以按「每秒请求数」计的真实产能，会比输出 token 速率暗示的低。
空闲余量。延迟目标和高峰流量逼着你不能跑满批次。一个平均利用率 30% 的集群，用户用着可能没问题，但账面上依然是浪费。
人员和更新换代。运维人员、监控、安全审查、硬件更新周期，除非你主动算进去，否则都不在那 30 美元/小时的数字里。
数据出网与合规。涉及合同、病历或通话录音时，替代机架的选项可能压根不是“更便宜的 API”，而是“这些数据上不跑 AI”。这样一比，比的就不是价格，而是许可。
质量。上面所有推算都建立在同一个前提上：便宜模型对这个任务够用。IBM 那句“90% 同样有效”是整个论断的承重点，而它并没有说明用的是哪个基准测试。

团队该怎么决策？

根据上面这些数字，可以给出一个务实的操作顺序：

先在小模型上测你自己任务的质量。如果 Luna、Haiku 5.5 或 Flash 能通过你的验收测试，那你不用买任何硬件，就已经拿到了大部分节省。
先加缓存和路由，再考虑机架。共享前缀让 Sol 在这个任务上的成本从每 1000 次请求 21.00 美元降到 10.20 美元，模型本身一点没动。
估算平均 token 速率，而不是峰值。把月度支出换算成每秒 token 数。如果它远低于集群的产出能力，集群就会闲置，而上面算出的盈亏平衡利用率能告诉你“多闲算太闲”。
因价格无法体现的理由买机架：数据不能出网、受监管流程需要固定版本，或者支出必须可预测。

复现

模型就是前面那两个函数加上价格表：API 这边是负载 token 数乘以标价，硬件这边是节点成本除以实际产出的 token 数。把负载规模、节点成本和节点吞吐换成你自己的实测数据。价格变动频繁，所以在相信这里任何数字之前，先重新读一遍那三个定价页面。

FAQ- 闲置余量。延迟目标和高峰流量迫使你不能跑满整个批次。一个平均利用率 30% 的集群，对用户来说可能没问题，但在账面上仍然是浪费。

人员和硬件更新。 运维人员、监控、安全审查和硬件更新周期，都不在每小时 30 美元这个数字里——除非你自己把它们算进去。
数据出口和合规。 对于合同、病历或通话录音来说，机架的替代方案可能根本不是“更便宜的 API”，而是“这些数据上不能用 AI”。这就把比较从价格变成了许可。
质量。 以上所有分析都假设那个更便宜的模型对这个任务足够好。IBM 的“效果达到 90%”是关键支撑论点，而且它并没有给出具体的基准测试名称。

团队该如何决策？

基于上述数字，一个实际的操作顺序是：

先在小模型上测量你自己的任务质量。如果 Luna、Haiku 5.5 或 Flash 能通过你的验收测试，那你不用买任何硬件，就已经拿到了大部分节省。
先加缓存和路由，再考虑机架。共享前缀让 Sol 在这个任务上的成本从每 1000 次请求 21.00 美元降到 10.20 美元，模型本身一点没动。
估算平均 token 速率，而不是峰值。把月度支出换算成每秒 token 数。如果它远低于集群的产出能力，集群就会闲置，而上面算出的盈亏平衡利用率能告诉你“多闲算太闲”。
因价格无法体现的理由买机架：数据不能出网、受监管流程需要固定版本，或者支出必须可预测。

复现

FAQ- 留出闲置余量。延迟目标和高峰时段的流量，逼着你不能把批次跑满。一个平均利用率 30% 的集群，对用户来说可能完全够用，但在账面上仍然浪费。

人和更新换代。 运维人员、监控、安全审查、硬件更新周期，这些都不在每小时 30 美元的数字里——除非你自己把它算进去。
数据出境与合规。 如果是合同、病历或通话录音，机架的替代方案可能压根不是“更便宜的 API”，而是“这些数据上不跑 AI”。这一下就把比较从价格问题变成了许可问题。
质量。 以上一切的前提，都是那个便宜模型对这个任务够用。IBM 说的“有效性 90%”是整个论证的承重墙，而它并没有给出具体的基准测试名称。

IBM 所称“开源权重模型成本仅为前沿模型的 10% 到 25%”是否准确？

按托管方的标价来看，确实如此，而且对最便宜的选项来说还偏保守。以 8,000 个输入 token、500 个输出 token 的任务为例，DeepSeek V4.1-Flash 的成本是 Claude Opus 5 的 2.9%、GPT-6 Sol 的 7.1%；V4-Pro 则是 11.9% 和 29.9%。至于“效果达到 90%”的质量说法，公开报告里没有引用任何基准测试，因此无法从公开来源核实。

开源权重模型比闭源模型便宜吗？

并非天然如此。闭源的小型档位，比如 GPT-6 Luna 和 Claude Haiku 5.5，标价是每百万输入 token 0.10 美元、每百万输出 token 0.50 美元，用这些模型跑同样的任务反而更便宜（每 1,000 次请求 1.05 美元），比 DeepSeek V4.1-Flash 的错峰价（1.50 美元）还低。价格更多取决于模型规模和稀疏程度，而不是许可证。

GPU 利用率达到多少时，自建才比调 API 划算？

取决于三个数：每节点每小时的成本、每节点每秒的输出 token 数，以及用来对比的 API 价格。按每节点每小时 30 美元、每秒 12,000 个输出 token 计算，对比 GPT-6 Sol 每百万输出 token 10 美元的价格，盈亏平衡点是 6.9%；对比 DeepSeek V4-Pro 的 1.98 美元，则是 35.1%。而对比 DeepSeek Flash 的 0.60 美元，即使利用率达到 100% 也无法回本。这些硬件参数只是举例说明，并非实测数据。

提示缓存会改变开源与闭源的对比结果吗？

它会让所有账单都降低，但排序不变。8,000 个输入 token 中有 6,000 个命中缓存时，1,000 次请求在 Opus 5 上花费 25.50 美元，GPT-6 Sol 上 10.20 美元，DeepSeek Flash 错峰价 0.618 美元，Luna 或 Haiku 5.5 上 0.51 美元。

在本地运行开源权重模型的真正理由是什么？

是控制权，而不是价格：把敏感数据留在自己网络内、锁定模型版本、用私有数据微调，以及获得固定的成本线。这些都是正当理由，即使按 token 算 API 更便宜，它们依然成立。