为什么 Dwarkesh 对「计算机使用」的判断错了，以及 OpenAI 如何用一周时间推出 Jev 的竞品

Latent Space 发布日期待确认

三个月前，Dwarkesh（一直在发布关于强化学习的精彩博客和节目）为他关于 RLVR 的视频论文发布了一个框架性问题，这让很多做 Computer Use 的人感到不满：我们早就习惯了公开学习，也习惯了在大平台上犯错带来的压力。不过，我们当时在 Anthropic，参与了 Computer Use 的发布；也在那里做了关于 Claude Cowork 的第一期大型播客；在 AIE 组织了第一个 Computer Use 专题，展示了当时的最新技术；还近距离参与了 OpenAI 收购 Sky Software 的交易——这笔收购如今支撑着 Codex 在计算机使用领域的全面主导地位。正因如此，我们很高兴请来今天的第一位嘉宾 Ari Weinstein，他是 Sky 的联合创始人，现在领导着所有令人惊叹的 CUA 进展——这些可能被外行忽略。Ari 解释了为什么 Computer Use 现在与几个月前相比“180 度不同”，智能体如何学会调试和从失败中恢复，为什么把截图与无障碍数据、DOM、Playwright 以及生成的代码结合起来会改变速度等式，以及为什么下一个前沿是让智能体在使用软件方面真正超越人类。

OpenAI 克隆 Jev

下半场，来自 OpenAI API 团队的 Nikunj Handa 拆解了新的开发者技术栈：异步工具调用、回合中引导、WebSockets、UltraFast 推理、Decisions API、提示缓存、预热、压缩以及 Agents API。鉴于我们是第一个做 Jev 播客的，我们特别关注 Decisions API 那段异常快速的冲刺：以及为什么它目前只是一个 Luna 包装器，但团队有动力、也不拘泥于自我，愿意克隆他们认为是好的模式。

我们聊了这些话题：

嘉宾：

Ari Weinstein
OpenAI Computer Use 产品与工程
X：https://x.com/AriX
LinkedIn：https://www.linkedin.com/in/weinsteinari/

Nikunj Handa
OpenAI API 产品
X：https://x.com/nikunjhanda
LinkedIn：https://www.linkedin.com/in/nikunjhanda/

时间轴

00:00:00 OpenAI DevDay：Dots、GPT-6.1、Agents API 和 Decisions API
00:02:52 Dots 与个人云电脑
00:04:59 为什么 Computer Use 是「彻头彻尾的 180 度不同」
00:06:04 从 Sky 到能自我调试的 Computer Use 智能体
00:09:24 Computer Use 如何「看」软件、又如何操作软件
00:12:09 从比人更快，到超越人类的 Computer Use
00:16:03 Agents API：信任、权限与安全
00:17:3

1 用 Computer Use 做编码、测试与质量保障 00:19:14
GPT-6 API、异步工具调用与超高速推理 00:23:21
Decisions API 快速落地的幕后故事 00:25:32
Decisions API 是什么，如何运作 00:30:24
OpenAI 用新 API 在构建什么 00:32:23
Prompt 缓存、预热与 API 性能 00:35:20
面向长时间运行 Agent 的上下文压缩 00:37:13
记忆、更高层 API 与 AI 云

文字记录

引言：OpenAI DevDay 与新的 Agent 技术栈

Vibhu [00:00:00]：好的。

我们非常高兴来到这里。今天是 OpenAI DevDay。特别播客 Swyx [00:00:08]：我们是你们直播之后的第一个播客。Vibhu [00:00:10]：第一个播客。我们请到了 Ari，他负责领导 Computer Use 智能体的产品和工程团队。在正式开始深入聊 Computer Use 之前，你想先简单回顾一下吗？今天发布了什么？你们今天这一连串公告都有哪些？Ari Weinstein [00:00:24]：对。对，今天非常激动。我们刚结束主题演讲，真的太棒了。有一批关于 Computer Use 的发布，我觉得都值得好好想想。我们有 Dots，这是一个新的个人助理产品，里面有一些非常令人兴奋的 Computer Use 功能。还有 GPT-6.1 Sol，这是一个很棒的新模型，我认为它特别适合 Computer Use，因为它在成本和速度上有优势。我记得我们提到过，它的成本是 Astra 的五分之一；如果专门看 Computer Use，成本是七分之一，这真的很厉害。抱歉，东西太多了，我理一理。Swyx [00:01:02]：还有 API。Ari Weinstein [00:01:03]：Agents API，现在也包含 Computer Use，这非常酷，因为开发者现在可以基于同一套 Computer Use 来构建，而这套能力也是 Codex 和 ChatGPT 的一部分。然后还有一些现有 Computer Use 功能的演示，比如 app shots，可以把你在电脑上正在做的事的上下文快速带入 Codex 和 ChatGPT。还有就是 Mac 上的原生 Computer Use，Roman 让它自动截取他应用的屏幕截图，而 Computer Use 在使用他的应用时，他还能同时做别的事。所以，是的，非常激动人心的主题演讲。Swyx [00:01:35]：更不用说 Decisions API 了。Ari Weinstein [00:01:37]：Decisions API。Swyx [00:01:38]：一上来就想问，它们都是同一个模型吗？还是说，是同一个数据集蒸馏到不同模型？Swyx [00:01:44]：基本上就是，Computer Use 是在用 Decisions API，还是说它们是分开的？

Ari Weinstein [00:01:49]：Decisions API 特别酷的地方在于，它有很多新能力。它能并行推理，但没有推理（reasoning）功能。模型比我们用于 Computer Use 的更小。这些特性让它的速度非常快。Dots 与把工作委托给云端电脑 Swyx [00:02:07]：对。Ari Weinstein [00:02:07]：这也让它在处理长期、复杂任务时稍逊一筹。所以我觉得，如何把这些方法结合起来，仍然是一个开放的研究领域。不过，我真的很期待看到大家用 Decisions API 做出什么。Vibhu [00:02:24]：有意思的是，Dots 现在附带了个人电脑。Ari Weinstein [00:02:28]：对。Vibhu [00:02:28]：所以它们似乎更持久了。你已经用了一段时间了。人们该如何突破边界？应该追求什么？该尝试什么？就我个人而言，现在我用它处理很多客户服务。比如 Ari Weinstein [00:02:41]：酷。Vibhu [00:02:41]：“哦，这不对。我不想登录。我不想验证。”找到问题并解决它。Ari Weinstein [00:02:45]：对。Vibhu [00:02:46]：我们该如何进一步推进？大家该尝试什么？Ari Weinstein [00:02:50]：Dots 是个很酷的产品，因为每个 Dot 都能访问自己在云端的 Linux 虚拟电脑，这和我们其他产品不同。传统上，我们能访问云端浏览器，或者能访问你自己的电脑，但现在你有了一个完整的云端 Linux 电脑。所以它可以运行完整的桌面应用，也能用网页浏览器。我觉得 Computer Use 的强大之处，也是我觉得它令人兴奋的原因，是它让 agent 能做任何你作为人能做的事，因为世界上所有软件都是为人类设计的，现在 agent 也能用同样的软件，你可以把任务委托给 agent。所以，你在电脑上能做的任何事，都可以让一个 Dot 去做。

对，我觉得哪些任务特别有用，主要还是看终端用户是谁，以及他们生活里什么最重要。不过要我说，你可以先想一想，你平时都花时间在哪些事情上，然后看看能不能把这些事交给智能体（agent）去做。

Swyx [00:03:47]：对，比如订机票、购物，甚至打游戏之类的，对吧？

Ari Weinstein [00:03:52]：完全同意。

Swyx [00:03:52]：嗯。

Ari Weinstein [00:03:53]：说实话，我最近在做一件事——我订了一个备餐服务，因为我想吃得健康点。我特别喜欢这家，因为它能让我把订的餐定制到非常细的程度，比如「我要多少克鸡肉、多少克米饭」这种。但流程实在太麻烦了，我上一次下单花了两个小时。后来我发现可以让 Computer Use 帮我操作，它 15 分钟就搞定了。所以我实际上省下了两个小时。它干活的速度是我的八倍，还在 GPT-6.1 Sol 上帮我省了两个小时。

Swyx [00:04:32]：嗯。

Ari Weinstein [00:04:32]：所以这类任务我觉得是特别能体现价值的地方。

Swyx [00:04:36]：作为一个创作者，我可以很直接地告诉你，我排第一的用例就是自动化 YouTube 的操作。

Ari Weinstein [00:04:40]：不错。

Swyx [00:04:40]：因为 YouTube 有很多功能根本没开放 API。

Ari Weinstein [00:04:43]：对。

Swyx [00:04:43]：你只能把它塞进一台虚拟机里，手动跑一遍，比如说他们的 AB 测试功能，或者发社区帖子。这些全都不走 API，因为他们就是不待见开发者。

Swyx [00:04:53]：总之……

Ari Weinstein [00:04:55]：我们开发者体验团队也这么说过。他们用 YouTube 的场景也很多。真的挺好用的。

Swyx [00:04:59]：那我想稍微聊点带点火药味的。我们的一位朋友，也是做头部 AI 播客的，有句名言，说 Computer Use 在过去两年里根本没进步。

Ari Weinstein [00:05:12]：没错。

Swyx [00:05:13]：这个说法很有意思，我觉得你是全球最适合聊这个话题的人之一。这方面进展如何？

Ari Weinstein [00:05:20]：对。那是几个月前说的，我希望他现在看法不同了，因为 Computer Use 跟当时相比完全是两个样子，180 度大转弯。

Swyx [00:05:26]：他这人很难被打动。

Ari Weinstein [00:05:27]：是啊，好吧，我们还在努力。

Swyx [00:05:30]：不过你基本上整个职业生涯都在做某种计算机自动化，对吧？

Ari Weinstein [00:05:34]：对。

Swyx [00:05:34]：比如 Shortcuts。

Ari Weinstein [00:05:35]：对。

Swyx [00:05:35]：在 Apple，然后 Sky，再然后加入 OpenAI。能不能说说你的主线是什么——驱动你的是什么，当年哪些事情做不到？

Ari Weinstein [00:05:47]：好。

Swyx [00:05:48]：还有你的里程碑大概是什么。

Vibhu [00:05:49]：我想追加一个问题：从上周的 Codex Computer Use 到今天，最大的变化是什么？

Ari Weinstein [00:05:57]：嗯。

Vibhu [00:05:57]：是模型？是 Dots？还是 harness（运行框架）？把历史和今天发布的东西结合起来看，到底什么变了？

Ari Weinstein [00:06:04]：好。说到主线，我一直对自动化很兴奋，帮助人们自动完成任务，这样就能省下时间，把精力放在比精细操作电脑更重要的事情上。所以我们做了那些产品。我之前在 Apple，后来创办了 Sky，最后加入了 OpenAI，这非常令人兴奋。

Swyx [00:06:27]：简直就像你得在 Apple 平台各种绕，直到 Apple 说“行吧，我们直接招你进来，你在内部做”，对吧？

Ari Weinstein [00:06:35]：那确实是个很酷的工作地方。

回头看 Sky 那会儿，很有意思的一点是，我们当时也在做 Computer Use（计算机操作），但模型能力差太多了。而就在过去一年里，模型在 Computer Use 上的能力已经变得非常强。我觉得最大的变化是：以前它们能可靠地启动任务，但接着就会遇到问题卡住；现在它们很擅长调试，很擅长重新尝试，能反思哪里行得通、哪里行不通。而且我认为 Computer Use 这个领域本身也在往前走，我们用了更多技术手段。现在 Computer Use 经常会写代码。如果你在 Codex 里手动展开工具调用，会发现它并不是一次只做一个动作，而是真的在写 JavaScript 代码，交给计算机执行，有时候一次就能完成很多个动作，这带来很大的速度提升和能力提升。我们还用了更多无障碍（accessibility）接口，以及多模态交互方式。模型可能用截图，可能用无障碍接口，也可能用 Playwright，可以根据手头的任务选择不同的机制。再加上模型本身的加速，效果确实惊人。所以，今天有什么不同？我觉得我们一直在让计算机变得更好，所以仅仅一天的差距，可能还不如过去一个月或两个月的差距那么关键。不过，Computer Use in Dot 确实很让人兴奋，我们新推出的模型也一样。

衡量 Computer Use 并改进测试框架

Vibhu [00:08:03]：在主题演讲中，Tejal 提到 Computer Use 速度提升了 7 倍，在一些基准测试上表现也好很多。你们是怎么衡量它的？Computer Use 是那种，如你所说，随着时间不断改进的东西。

Ari Weinstein [00:08:20]：是的。

Vibhu [00:08:20]：是测试框架的功劳？还是模型？还是后训练？

Ari Weinstein [00:08:22]：对。

Vibhu [00:08:22]：你们内部怎么看待如何衡量它有多好，以及新模型带来了哪些变化？

Ari Weinstein [00:08:29]：我们其实有挺多衡量方式，有些用的是测试框架的不同排列和配置。这事说起来有点复杂，因为我们的生产产品有更多安全检查，而这些检查会根据具体任务的需求做不同配置。所以衡量方式很多，但不管怎么衡量，我们看到的提升都相当一致。这些提升有时来自测试框架，有时来自模型本身。GPT-6.1 在 Computer Use 上的性价比提升，甚至超过了它相对 Astra 的基准成本改善，我对这个结果非常兴奋。看到这个真的很酷。

Swyx [00:09:10]：对。直播里有个画面我特别喜欢，就是你们在不断推高帕累托前沿曲线，而且讨论了很多关于你们如何结合测试框架一起优化的内容。

Ari Weinstein [00:09:24]：对。

Swyx [00:09:24]：能举几个让你豁然开朗的时刻吗？不管是模型带动测试框架，还是测试框架带动模型，随便哪种都行。

Ari Weinstein [00:09:32]：我不想重复自己，但我觉得引入更多模态确实非常强大。

Swyx [00:09:36]：好的。

Ari Weinstein [00:09:36]：再举一个具体的例子。以前我们看到很多 Computer Use 产品不得不花大量时间滚动页面。它会截个屏，试着做点什么，然后发现“哦，我得往下滚到下一页结果”，接着再截屏，再试着操作，再往下滚。而现在有了无障碍接口和其他能力，加上可以直接访问 DOM 等等，语言模型能真正看到整个页面或整个应用了。它可以写代码一次性完成多个步骤。我觉得这些大概是最大的几个顿悟时刻。

相比之下，还有很多小改动没那么起眼，但我们确实发现，很多速度提升其实来自一个个小细节的修修补补，需要我们深入排查。

App Shots、辅助功能与更好的电脑上下文

Swyx [00:10:21]： 没错，很多硬核工程。

Ari Weinstein [00:10:23]： 对。

Swyx [00:10:23]： 我是说，App Shots 这东西本身，对吧？很多人其实不太能get到区别在哪里。因为 Codex 里其实有个挺直观的视觉展示——

Ari Weinstein [00:10:30]： 对。

Swyx [00:10:30]： 就是你截个 app shot 出来，但他们可能没意识到这跟普通截图有什么不同——你其实可以逐个按钮去操作，每个文本都以一种非常优化的表示形式呈现给你。

Ari Weinstein [00:10:40]： 对，完全正确。其实还挺好玩的。如果你真想钻牛角尖的话，可以打开 Codex，按两个 Command 键截一个 app shot，就能把当前操作的任意 App 的内容抓进去，丢进 Codex 或者 ChatGPT 对话里。然后你点一下附件，再点右上角那个小不拉几的按钮，就能看到原始文本和原始的无障碍表示（accessibility representation）。我们在这上面下了很大功夫，把——

Swyx [00:11:04]： 就是把所有东西都倒出来。

Ari Weinstein [00:11:05]： 对，倒出来，但同时还要保证 token 效率，做得很高效。这里面有点手艺活的意思。而且你发现没有，这项技术原本是为那些有辅助需求的人发明的——比如需要用屏幕阅读器的人。那套技术对他们操作电脑很有帮助，对 LLM 操作电脑同样很有帮助。所以能参与这个方向的工作，还挺有意思的。

Vibhu [00:11:27]： 补充一个背景，我觉得很多人根本不了解 app shots，甚至都不知道有这么个功能。

Ari Weinstein [00:11:30]： 对。

Vibhu [00:11:31]：连按两下 command 键，它就会拉进来一个看起来像截图的东西。

Ari Weinstein [00:11:34]：对。

Vibhu [00:11:34]：你可能会说，“哦，我干嘛打开一张截图扔进去？”其实不是，它拉进来的是所有元数据、所有代码、所有东西。

Ari Weinstein [00:11:40]：对，完全是这样。就好比，你截一张带链接的网页，截图里并不会包含这个链接指向哪里；再比如你截一张日历，事件标题可能已经被截断了。但当你做一次“应用快照”的时候，它给到大语言模型的是关于所有内容的完整上下文，这样模型就能做更多的事。

Swyx [00:12:02]：想深入了解的可以看看 Jason Liu，我邀请他在 AI Engineer 大会上做了一场完整的工作坊。

Ari Weinstein [00:12:07]：太棒了。

Swyx [00:12:08]：讲得很好。

Vibhu [00:12:09]：我还有一个更宏观的问题——

走向超人级的计算机操作能力

Ari Weinstein [00:12:11]：嗯。

Vibhu [00:12:11]：关于 Computer Use 智能体。你刚才举的例子——截图、翻页、再截图，这就是我们目前所处的阶段。

Ari Weinstein [00:12:17]：对。

Vibhu [00:12:17]：现在它已经能自动化很多事情了。瓶颈在哪？是模型？是框架？两年内你觉得会怎么发展？你觉得它能连续运行好几个小时吗？我们要怎么走到那一步？关于 Computer Use 的未来方向，你有什么预测？

Ari Weinstein [00:12:32]：是的。我觉得最疯狂的一点是——也是团队过去几个月做出来的成果——现在 Computer Use 完成任务的速度，在大多数情况下可能已经比普通人更快了。我觉得下一个关口，是让 Computer Use 的表现真正达到超人级别：它操作软件的速度能和我们这样的专家用户一样快，甚至更快。我认为那一天的到来意义重大、也令人兴奋，因为我们会突然能做出很多提供实时体验的产品。而且我觉得它还会……

降低使用门槛，或者降低使用Computer Use的启动成本，我认为会让我们开始习惯把某些事情默认交给智能体去做，而不是像以前那样手动完成。我觉得这很令人兴奋，因为它能帮我们省下大量时间。不过，还有很多细碎的小麻烦和瓶颈挡在路上。有模型层面的问题，有推理层面的问题，有执行框架层面的问题，还有表示层面的问题。我们发现，随着Computer Use速度变快，我们越来越被操作本身的速度卡住。比如在我们Computer Use任务的基准测试中，有相当一部分时间其实是在等，比方说，你在doordash.com上自动化一个任务，很多时间就是在等doordash.com自己加载完。

Swyx [00:14:04]：对，然后你就写个wait，再执行这个wait。

Ari Weinstein [00:14:07]：没错。而且你想要——其实非常重要的是，你要尽可能缩短从页面终于加载完，到你去触发LLM执行下一步动作之间的延迟，这本身其实是一门统计学。

Swyx [00:14:20]：也许可以用事件驱动的方式来做。

Ari Weinstein [00:14:22]：只要有可能，就应该用事件驱动。

Swyx [00:14:24]：JavaScript有一些load事件。

Ari Weinstein [00:14:25]：JavaScript有load事件，或者说浏览器有网页导航的load事件，但还有其他类型的事件确实没法用事件驱动。所以这里面有很多复杂性。

Vibhu [00:14:34]：我马上想到的一个例子是，跟客服聊天。

Ari Weinstein [00:14:37]：对。

Vibhu [00:14:37]：回复可能要30秒，也可能要三分钟。

Ari Weinstein [00:14:39]：哦对。

Swyx [00:14:41]：我用Codex对付过太多机器人了。

这挺好的，但我也在想对方知不知道自己在跟一个机器人说话，因为我回复的都是完整句子。比如，我大小写都正确。Ari Weinstein [00:14:50]：太好笑了。Swyx [00:14:51]：我还会给出完整的参考编号什么的。就是，太明显了，明显好得过头。我无所谓。我就是想拿到我的客服工单。Vibhu [00:14:58]：我给它加了提示词，就是，“别装成机器人。装成一个非常烦躁的人类。”Vibhu [00:15:02]：简短的一句话回复，就像 Swyx [00:15:04]：对 Vibhu [00:15:04]：催它，做这做那。我还告诉它，“等你等回复的时候，用子代理去研究更好的办法搞清楚我们需要什么。”Ari Weinstein [00:15:12]：不错。Vibhu [00:15:12]：就是稍微人工干预一下。Ari Weinstein [00:15:14]：太棒了。我还觉得有一半时间对面也是个机器人，所以现在你 Vibhu [00:15:17]：对 Ari Weinstein [00:15:17]：变成机器人和机器人聊天了。Swyx [00:15:18]：对。我还要说，Computer Use 有一个里程碑我们已经达到了，就是三四年前，我们还害怕把大语言模型（LLM）连到网上、连到 Ari Weinstein [00:15:31]：对 Swyx [00:15:31]：连到我们的设备上。而现在我让它帮我配置 DNS。Ari Weinstein [00:15:35]：哇。Swyx [00:15:36]：我让它帮我付账单，真的是几万美元的东西我就直接交给它，用 Computer Use 莽一把，想着最坏能怎样？Swyx [00:15:48]：所以，这些都挺好的。

在 Agents API 中安全地使用 Computer Use

Ari Weinstein [00:15:50]：对。Swyx [00:15:50]：我觉得既然你们，显然你们也得自己用自己的产品嘛。现在你们已经在 API 里发布了这个，有什么坑或者建议想告诉开发者的？因为他们马上要亲身遇到这些了。

Ari Weinstein [00:16:03]：首先，我非常兴奋我们把 Computer Use 引入了 Agents API。这真的很棒，因为显然很多开发者在做需要与第三方网站和服务交互的应用。Computer Use 具有通用性，它能配合任何东西使用。所以现在开发者可以直接基于我们正在用的同一套 Computer Use 实现来开发。如果你想自己搭建一套 Computer Use 运行环境，那也有很大的发挥空间，但难度不小。而且我们的模型就是在自己的 Computer Use 运行环境上训练的，所以用我们分发的这套实现来配合模型是有优势的——在速度、成本和准确度上可能都有好处。所以我觉得能让大家在此基础上开发是很棒的事。另外，就你刚才说的那个点，我觉得我们所有人都还在摸索过程中，也许我们中的一些人比世界上大多数人更早地适应了这项技术、更信任它。所以我们有责任随着时间推移去建立这种信任——确保我们做的东西可靠、加上正确的安全检查、在做付款这类有后果的操作前征求用户同意、根据具体应用只让它访问任务真正需要的网站或应用。我觉得这些都是需要认真考虑的。总之，我非常鼓励大家试试新的 Agents API，在上面做各种好玩的东西。我们也很想听到你们的反馈，看看效果如何。

Vibhu [00:17:31]：你有没有看到它改变了开发者的工作方式？比如 dots 的一个特点是，你能在 Slack 里看到它。

Ari Weinstein [00:17:38]：对。

Vibhu [00:17:38]：你能看到人们用语音来开发。Roman 演示的那个例子——「改一下这个应用，顺便把过程中的截图发给我」，之类的。

Computer Use 用于测试并闭合软件闭环

Ari Weinstein [00:17:46]：对。

Vibhu [00:17:46]：你在实际采用中，有没有看到人们怎么用 Computer Use 来做编码工作流？有什么经验值得大家借鉴？

Ari Weinstein [00:17:55]：我最喜欢 Computer Use 的用例之一——而且在实际场景里也很常见——就是让智能体（agent）自己测试它构建的软件。这件事的重要性远超听起来那样。因为传统上，你在 Codex 里构建东西，Codex 帮你把它做出来，然后得由你来测试；这时候你就成了给智能体做 QA 的人，对吧？而有了 Computer Use，你就能补全整条开发生命周期：智能体可以构建软件，也可以测试软件。所以我经常玩得很开心：做点东西，让智能体去测。等它交到我手上时，已经能跑了。我还有额外的乐趣，因为有时候我自己就在开发 Computer Use，于是我就有一个 Computer Use 智能体，在用我的 Computer Use 智能体，再去用别的东西。所以没错，我真的觉得这是一类非常强大的用例。

Swyx [00:18:44]：我开发了一个视觉试玩测试技能，能抓到很多设计问题。

Ari Weinstein [00:18:49]：不错。

Swyx [00:18:50]：这些问题，通常你光看代码是发现不了的。不过它也很适合克隆应用。如果你在用某个糟糕的 SaaS，想把它干掉，就一屏一屏地克隆它。显然，Computer Use 可以完全驱动整个流程：截图、记录下来，然后用 Codex 把所有东西克隆出来。

Ari Weinstein [00:19:06]：这很酷。

Swyx [00:19:06]：不过，还是要谢谢你带来的这些进展。我想，差不多

Ari Weinstein [00:19:08]：确实

Swyx [00:19:09]：该结束了。

Nikunj Handa：OpenAI API 有什么新变化

Ari Weinstein [00:19:10]：好。

Swyx [00:19:10]：我们之后还会再聊。

Ari Weinstein [00:19:12]：好，cool。这次真的很开心。谢谢你们邀请我。

Swyx [00:19:14]：行。

Vibhu [00:19:14]：好，时间卡得很紧，我们直接进入正题。

Nikunj Handa [00:19:17]：来吧。

Vibhu [00:19:19]：好，Nikunj，非常高兴你能来。你在 API 这块发布了很多东西，就像我们刚才和 Ari 聊到的，现在可以用 Computer Use 智能体来开发了。你想重点说说 API 这边的改动吗？也顺便介绍一下你自己和你的工作。

Nikunj Handa [00:19:34]：当然。我叫 Nikunj，负责 API 团队的产品。在这里大概三年了，一直做模型发布相关的工作。感觉这在我 OpenAI 的这段时间里，就是一件持续在做的事。每出一个新模型，我们都会和后训练团队、研究团队紧密合作，搞清楚这个模型有什么新东西，然后把对应的能力开放到 API 上。大致就是这样。拿 GPT-6 来说，我们这次发布的新能力，首先是异步函数调用。你在 Codex、Dots 这些产品里能看到的一个问题是，工具调用耗时很长，但你不必让模型停下来干等工具跑完。你可以发起一个工具调用，然后继续运行、继续推理，之后再回来检查结果。所以我们推出了异步工具调用。我们还推出了中途转向（mid-turn steering），就是说模型在推理过程中，你可以往里面插入消息。工具调用一结束，你就能把指令放进去。

异步工具调用、中途转向和 WebSockets

Swyx [00:20:43]：这在一定程度上也是模型对齐的能力，对吧？

Nikunj Handa [00:20:46]：对。

Swyx [00:20:46]：就是得把这种能力训练进去。

Nikunj Handa [00:20:48]：没错。

Vibhu [00:20:49]：我感觉应用里一直有这个功能。模型推理的时候，你随时都能介入引导。

Nikunj Handa [00:20:54]：对。

Vibhu [00:20:54]：之前效果不算最好，现在好多了。

Nikunj Handa [00:20:57]：是的。

Vibhu [00:20:57]：很期待看到它在后续版本里的表现。
Nikunj Handa [00:20:58]：是啊，我也很喜欢我们的主要……
Vibhu [00:20:59]：而现在……
Nikunj Handa [00:21:00]：我们在 API 上的主要目标，就是等某项能力训练好、集成进框架之后，再把它放进 API。所以我们会等那个时机，等到它足够好。这里面很大一部分其实是靠 WebSockets 驱动的，我们大概几个月前发布了这个功能。WebSockets 打开了与模型之间的双向通信通道。这不是 GPT Life 那个东西，我说的是 GPT-6。你可以做各种异步工具调用、异步推理、注入消息。这个 API 做起来真的很有意思，我很享受。Swyx [00:21:33]：对，这就是为什么我们是工程播客，因为我们可以聊 WebSockets。

UltraFast 与推理栈

Nikunj Handa [00:21:36]：没错。
Swyx [00:21:37]：这跟 UltraFast 也很搭，对吧？
Nikunj Handa [00:21:39]：哦，当然。
Swyx [00:21:39]：这应该是第一次在 API 里可用。
Nikunj Handa [00:21:43]：是的。
Swyx [00:21:43]：基本上就是理论上你能达到的最快速度，智能的前沿边界。
Nikunj Handa [00:21:49]：是啊。参与这个项目太令人兴奋了。在聊 API 之前，我想说 UltraFast 最有意思的部分就是看推理团队用 Astra 大展身手。他们不停地跑 Codex 智能体，试图压榨出更多性能。至少头几个月，重点都放在效率和降低成本上，这也是我们能把这东西价格砍掉 80% 的原因。很大程度上是靠他们落地的各种推理优化。后来他们换了方向，开始想怎么让它跑得尽可能快。所以 UltraFast 在 Astra 这样的模型上的表现真的很惊艳，能跑那么快太酷了。然后 WebSockets 就像……

其实第一次上线 WebSockets 的时候，是给 GPT-5.3 Codex Spark 用的，就是那个——真不敢相信我们给模型起了这么个名字，但当时确实是为它上线的。很明显，这东西帮了大忙，因为工具调用是刚需，它能大幅减少跟工具来回通信的开销。所以 WebSockets 在这件事上非常给力。

Swyx [00:22:57]：是啊，每次看到我有个重置用量额度，然后又有个从来没用过的 Spark 额度，就觉得挺好笑。

Nikunj Handa [00:23:03]：对。

Swyx [00:23:04]：就是那种，想用随时能用的感觉。

Nikunj Handa [00:23:05]：我觉得那个额度终于没了。

Swyx [00:23:06]：没了，确实没了。

Nikunj Handa [00:23:07]：我知道没了，所以……

Swyx [00:23:08]：对，你在慢慢把所有那些——

Nikunj Handa [00:23:11]：老古董，对。

Swyx [00:23:11]：老古董们。

Vibhu [00:23:11]：这周真不错。这是我们第一次实现极速的前沿智能。

Nikunj Handa [00:23:17]：对。

Vibhu [00:23:18]：大家真的很喜欢。

Nikunj Handa [00:23:19]：对。

Vibhu [00:23:19]：所以——

Swyx [00:23:20]：对。

Vibhu [00:23:20]：第一次回归。

Swyx [00:23:21]：对。5.3 Spark 明确归功于 Cerebras。你们既不确认也不否认 UltraFast 跟 Cerebras 有关系，但大家都在猜。我只能说，大家确实很关心，也很好奇。而且你们还有自己的芯片。

房间里的大象：决策模型。Decisions API——OpenAI 的快速决策模型

Nikunj Handa [00:23:38]：哦对。

Swyx [00:23:38]：Decisions API。我们是第一个跟 Diogo 做 Jev 深度访谈的播客，我也在 AI Engineer 上请他做过分享。你们多快看到 Jev 然后觉得——

Nikunj Handa [00:23:49]：天哪。对。

Nikunj Handa [00:23:50]：首先，真的要给 Diogo 和 Jev 团队大大的敬意，他们真的启发了——

Swyx [00:23:55]：是的。

Nikunj Handa [00:23:55]：整个市场细分。很明显 Jev 一出来，所有人都疯了。我们的用户也在疯狂联系我们。

但另外，我们内部团队也在说：“我们需要一个快得多的分类系统。”我们能做到。我不想抢在那些即将推出的功能之前透露太多。Swyx [00:24:16]：哇。Nikunj Handa [00:24:16]：但你们会看到一些很酷的东西，基于decisions API构建的，非常利落、快速。不过，你知道的，就是这样。要感谢Jev启发了这一切。显然OpenAI有一堆人被这个东西勾住了，他们就在想：“我们怎么把这个做出来？我们又不是要——”Swyx [00:24:33]：好。Nikunj Handa [00:24:33]：“——训练一个新模型。”但Swyx [00:24:34]：四周前，这还完全不在开发者的视野里，对吧？Nikunj Handa [00:24:37]：对，完全不在。没有。Swyx [00:24:37]：好。Nikunj Handa [00:24:37]：这就像Swyx [00:24:38]：哇Nikunj Handa [00:24:38]：受Jev启发，然后Swyx [00:24:40]：我觉得你应该是你们实验室里第一个克隆并采用这个的人。Nikunj Handa [00:24:44]：对，对。我觉得OpenAI有很强的黑客文化，大家就是会对某些东西感到兴奋。所以有个做推理的哥们，基础设施团队一个很棒的人，他说：“这太厉害了。我们要动手搞一搞。”他们做了个原型，跑通了，现在我们就是在延迟上不断爬山，尽量把它做到最快，我们希望接下来几天就能上线。一旦达到延迟目标，我们就尽快推出去。Vibhu [00:25:13]：有意思。在黑客文化的同时，就像Sam说的，你们也有99%的可靠性，是最可靠的API之一——Nikunj Handa [00:25:20]：嗯哼。Vibhu [00:25:20]：而且使用量大概也是最大的，而这正好是你们团队直接负责的。人们应该怎么看待decisions API？我感觉很多人看到Jev、听到热度，但还没真正用它构建过东西。你们正在把它变得非常主流。

决策模型适合什么场景

Nikunj Handa [00:25:32]：嗯哼。Vibhu [00:25:33]：人们应该把它看成什么？该怎么用？Nikunj Handa [00:25:36]：对。我们目前看到的主要用例，就是非常快的分类。

所有的 Computer Use 演示都特别惊艳，非常酷。当然我觉得肯定有局限，比如说让 Astra 写一段类似 JavaScript 的脚本来控制电脑，跟让 Luna 一次只选一个动作相比，智能水平肯定不在一个档次上。但也许有些 Computer Use 的任务，这种程度就够用了。所以很期待看到它的进展。

我在内部看到的另一个很酷的原型，是有人把它跟 GPT Live 接起来了。GPT Live 就是我们的双向实时语音 API，基于前端模型和后端模型这套架构。GPT Live 是那个超快的“说话者”——负责对话、速度极快、非常擅长任务委派，然后你有一个类似 Astra 的东西坐在后面当后端。但 GPT Live 里的工具调用一直感觉很慢。所以大家一直在做 GPT Live 控制电脑的工具调用演示，感觉流畅自然多了。我挺期待看到大家用 Live 和 Luna 在 decisions API 上能做出什么来，应该会很有意思。

Swyx [00:26:55]：我想帮大家把这件事理清楚，尤其是从产品角度来说，因为很多人都在推出 Jev 的克隆版。过去两周大概出了 100 个。

决策模型到底有什么不同

Nikunj Handa [00:27:01]：真的吗？太厉害了。

Vibhu [00:27:03]：头几天就有这么多。

Swyx [00:27:04]：但它们能克隆 Jev API，说白了就是结构化输出——

Nikunj Handa [00:27:09]：对。

Swyx [00:27:09]：而 OpenAI 是最早做这个的。

Nikunj Handa [00:27:10]：对。

Swyx [00:27:11]：对吧？所以我想帮大家理清楚，到底什么是决策模型，重点在哪里？不只是延迟，也不只是结构化输出，对吧？

因为我完全可以让 Luna 作为它——决策模型的定价跟 Luna 一样，对吧？

Nikunj Handa [00:27:26]：嗯哼。

Swyx [00:27:27]：关掉推理，然后加上结构化输出。那我还能有 Jev 吗？你知道的，没有了，对吧？这就是——

Nikunj Handa [00:27:33]：对。

Swyx [00:27:33]：这才是真正的——

Vibhu [00:27:34]：这里有一种信心。

Swyx [00:27:35]：对。

Nikunj Handa [00:27:36]：对，完全正确。我觉得，这个方式……我们并没有为此训练一个新模型。

Swyx [00:27:40]：对。

Nikunj Handa [00:27:40]：我们完全是基于现有的 Luna 权重来构建的。

Swyx [00:27:44]：哦。

Nikunj Handa [00:27:44]：所以，对。这真的就是 Luna。在此基础上，你要做的是加以约束。结构化输出是其中很重要的一部分。你实际上是在优化推理栈，让 TTFD 变得非常快。因为可以有多个问题，你要做的就是并行运行它们——

Swyx [00:28:05]：批处理。

Nikunj Handa [00:28:06]：对，批处理运行。人们在研究各种推理技术，试图让它尽可能快。但至少我们最初的实现和这个第一版，就是在 Luna 之上做零样本，看看效果如何。然后显然，你想把它发布出去。这是 OpenAI 经典的迭代部署方式：先发布，看看大家怎么想，然后根据需要做更多模型改进。就是这样，这就是 Decisions API。

Swyx [00:28:38]：对。而且明显的一个好处是，你们有视觉能力。他们没有视觉，对吧？

Nikunj Handa [00:28:42]：没错。

Swyx [00:28:42]：显然，Jev 自带的是——

Nikunj Handa [00:28:43]：对，我们用 Luna 就免费获得了。

Swyx [00:28:45]：对。我确实觉得，你知道，如果还是同样的 Luna 权重，一些创新听起来还没到来，比如置信度那方面——校准，我们在播客里聊过，基准测试的校准。

根本原因在于，RLHF 会把你拉向“想听到的答案”。校准、架构，以及开放的研究问题

Nikunj Handa [00:29:03]：对。
Swyx [00:29:03]：但并不是真正意义上的“置信度是多少”。
Nikunj Handa [00:29:06]：对，对，完全同意。我很想看看后续会怎么发展。也许会出现一些……这些可能会成为我们未来发布模型时需要重点爬坡的关键领域。
Swyx [00:29:15]：嗯。
Nikunj Handa [00:29:15]：配合未来的模型发布。不过，是的。
Swyx [00:29:18]：然后在架构层面，另一个争论点是——当然，没人知道，因为 Jev 自己不谈——但有两种猜测。第一，也许是用扩散模型而不是自回归。
Nikunj Handa [00:29:28]：嗯哼。
Swyx [00:29:29]：但这样你就能以自己的方式实现并行生成。另一种是某种机制可解释性方面的东西。
Nikunj Handa [00:29:37]：嗯哼。
Swyx [00:29:37]：比如分析激活值，然后直接输出。
Nikunj Handa [00:29:40]：那会很酷。
Swyx [00:29:41]：输出权重。
Nikunj Handa [00:29:42]：对。
Swyx [00:29:42]：你们所有人都做过这方面的研究，也有人猜测过。
Vibhu [00:29:45]：已经有一些演示了。
Swyx [00:29:46]：对。
Vibhu [00:29:46]：这两种都有。我记得 Gemini 分享过一个 Gemini diffusion，Gemma diffusion，基于 Jev 风格的输出。
Nikunj Handa [00:29:53]：哦，太酷了。
Vibhu [00:29:53]：做可解释性的人也从中层提取过可解释性信息，但这全是猜测。
Swyx [00:29:59]：就像，你到底想追求什么？因为 API 你能实现，谁都能实现，其实挺简单的。但之后还有速度、准确率，以及其他校准特性。
Nikunj Handa [00:30:11]：嗯哼。
Swyx [00:30:11]：我也不知道还有什么别的。
Nikunj Handa [00:30:13]：对，对。不，完全没错。整个领域现在被带动起来，真是太酷了，人们会做出很多很酷的东西，大家也会互相学习。

而且，没错，我对此很兴奋。

开发者接下来该做什么

Vibhu [00:30:24]：我觉得在平台团队，你的很多工作就是给开发者赋能。

Nikunj Handa [00:30:27]：嗯嗯。

Vibhu [00:30:28]：你觉得人们应该用决策 API（decisions API）和 Computer Use 智能体做点什么？有没有什么你们内部一直在做、而且你觉得这次更新之后会真正打开局面的东西？

Nikunj Handa [00:30:39]：嗯，让我想想。决策 API 的话，内部用例其实挺明显的。比如用户运营团队直接就扑上来了，我们说“我们得把所有客服工单都分类一下”。还有什么来着？哦对，还有那些特别酷的 GPT Live 演示。我敢说 Codex 应用团队可能也会接手试试，搞点有意思的东西。你知道，这事儿大概一周前才开始的，所以还非常早期——

Swyx [00:31:06]：哦，才一周。

Nikunj Handa [00:31:07]：我们很兴奋。对，差不多就是这样。

Vibhu [00:31:08]：评测这块有个很大的推动，就是让大语言模型（LLM）作为评判者时延迟做到非常低。

Nikunj Handa [00:31:13]：对。那会很有意思，值得看看。然后智能体 API（Agents API）这边，我们基本上有一堆 OpenAI 自家的产品是完全构建在它上面的。刚发出去的 Codex 安全功能就完全基于智能体 API。我们还有一个会议类的东西今天发布。

智能体 API 与 OpenAI 自家产品

Swyx [00:31:40]：嗯嗯。

Nikunj Handa [00:31:40]：我记得有个演示。你记得 Sam 展示插件扩展的时候吗？有个演示是你在日历里，可以把会议笔记——

Swyx [00:31:51]：直接塞到一个——

Nikunj Handa [00:31:52]：流进你的空间里。

Swyx [00:31:52]：像 Google Docs 那种东西。

Nikunj Handa [00:31:53]：对。

Swyx [00:31:54]：对吧？

Nikunj Handa [00:31:54]：所以这些东西全都是完全构建在智能体 API 之上的。嗯，我就是很期待看到后续发展。

就像，我们就是先把它放出来，看看大家能在上面做出什么。

Vibhu [00:32:04]：我觉得你展示得很清楚。整个编辑空间、页面、协作、加进去你的 dot。这些可不少。

Nikunj Handa [00:32:12]：对。

Vibhu [00:32:12]：人们能从中获得很多灵感。

Nikunj Handa [00:32:14]：对。这些用 Astra 都能实现。现在事情发展就是这么快。

Swyx [00:32:19]：嗯。

Nikunj Handa [00:32:19]：人们从想法到落地，速度快得惊人。

Swyx [00:32:23]：有没有什么是你希望大家重点关注的，好给你反馈？比如，你知道，也许你只是把它放出来，然后——就像路上有个岔路口，你想让开发者帮你决定方向。

Responses API 的性能与长期缓存

Nikunj Handa [00:32:35]：我觉得 Agents API 和 Decisions API 是我们最新的产品。非常希望得到各种反馈，好决定接下来怎么发展。在这里，我们对 Responses API 很开放，它算是我们的主力。现在我们在性能上非常专注，性能主要有两个方面。第一是延迟。我们一直在重写整个 Responses API 的栈，从首 token 时间（TTFT）和 DVD 的角度，尽可能做到最快。所以这块一直是我们关注的重点。第二件事是，我们想深入优化缓存，尤其是那些个人代理（personal agents），它们基本上就是一个线程，一直不停地跑下去。我们一直在努力提升缓存能力。现在我们保证 30 分钟内的缓存命中。实际上，我们——针对一个用户，我们刚推出了更长的缓存窗口。所以我们现在提供 12 小时的缓存保证，让你可以确保缓存命中。

Swyx [00:33:40]：这是公开 API 吗？

Nikunj Handa [00:33:42]：还不是。目前是预览版。

Nikunj Handa [00:33:43]：我们会尽量尽快把它推给所有人。不过，你只要为缓存写入多付一点钱，我们就能保证在长得多的时间里持续有缓存读取。所以，比如你的 instinct thread，你在上面做点事，三四个小时后再回来，依然能享受到缓存带来的性能提升。然后我们上线了
Vibhu [00:34:04]：而且你还把成本 th...

查看原文