谷歌与 Meta 开源 TorchTPU：PyTorch 模型可原生跑在 TPU 上
在 2026 年 PyTorch 北美大会上，谷歌与 Meta 联合开源 TorchTPU，让 PyTorch 模型无需侵入式改代码就能跑在 TPU 上。Meta 计划借此把更大规模的 LLM 负载迁到 TPU，谷歌则把它视作推理需求爆发下硬件多元化的一步。不过官方也坦承，改一行代码只是起点，想跑满 TPU 性能仍要调优。
大会现场：TorchTPU 正式开源
在圣何塞举行的 2026 年 PyTorch 北美大会上，谷歌和 Meta 开源了 TorchTPU——这是谷歌张量处理单元（TPU）的原生 PyTorch 后端。在 10 月 21 日的主题演讲中，Meta 软件工程师 Zongwei Zhou 表示，Meta（2016 年创建了 PyTorch）计划利用该后端，把更大规模的 LLM 工作负载迁移到 TPU 上。
从 XLA 到 TorchTPU：目标是一行代码
TorchTPU 取代的是 2020 年推出的 PyTorch/XLA。那是一个“惰性张量”桥接库——计算不会立即执行，而是先记录下来再统一处理；按照公告说法，它“需要对源代码进行侵入性修改”。
新后端的目标是把模型移植简化成一步：把 model.to("cuda") 改成 model.to("tpu")。谷歌云在公告中写道：“借助 TorchTPU，TPU 将与 GPU 和 CPU 一起成为 PyTorch 的原生选项。”该公告由 Core ML/AI 工程副总裁 Bill Jia 共同撰写。
推理取代训练：为什么现在要支持 TPU
在两场阐述市场需求的演讲之后，Jia 与 Zhou 共同发表了题为“智能体时代的工作负载可互换性：将原生 PyTorch 带入云端 TPU”的主题演讲。
PyTorch 基金会执行董事 Mark Collier 表示，推理已经取代训练，成为数据中心最大的工作负载，由此催生了“对 token 的巨大需求”。他把社区的目标描述为：开发一种开源软件，让模型能够“在任何云端的任何芯片上运行，并且能够连接到任何智能体”。
基金会的主题演讲幻灯片展示了市场变化的速度：DeepSeek 的 Flash 模型在 37 天内将成本降低了 60%，Kimi K3 则在不到 33 天里，在相同硬件上把运行速度提高了 68%。
Agentic AI 基金会执行董事 Mazin Gilbert 给出另一组数据：2026 年 2 月 6 日，智能体产生的 token 消耗量超过人类用户；此后智能体 token 消耗量增长了 14 倍，而人类消耗量仅增长 2.8 倍。Gilbert 称这是一条呈“曲棍球杆”状的爆发式增长曲线。
需要提醒的是，这些公开数字只来自 OpenRouter 一个平台，引用前最好先确认适用范围。
生态支持：Hugging Face 模型开箱即用
演讲者表示，由于 TorchTPU 集成进了 PyTorch 的底层调度器，Hugging Face 上的模型可以开箱即用。vLLM 和 SGLang 推理引擎能原生运行；TorchTitan 支持面向大规模训练的密集型模型、专家混合模型（MoE，由多个子网络按需激活）和扩散模型。Ray 和 llm-d 则可以在 Kubernetes 上跨多台主机扩展 TPU 工作负载。
此次开源的代码库共有四个：TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 也都已开源。
Jia 还展示了 TPU 规模超过 8000 颗芯片时的扩展表现：集群变大后，单颗芯片的吞吐量基本保持不变，整体算力接近线性增长。谷歌公布的一组结果是在 8192 颗 TPU v7x 芯片上运行 Qwen3 235B 专家混合模型，模型浮点运算利用率达到 28%。公告也直言，改一行代码只是起点：
只做这个简单改动，还达不到 TPU 的峰值性能。原因是模型结构、切分方式和运算方式可能更适合 GPU 架构；不过，模型应当能开箱即用。
针对这段调优差距，谷歌的解法是投入更多智能体。演讲最后，Jia 发布了 TPU 智能体套件。该套件已在 GitHub 上开放预览，能接入编码框架，自动完成环境配置、故障排查和性能调优。
Zhou 表示，Meta 的 PyTorch 团队与谷歌共同开发了 TorchTPU，目的是让 TPU 成为 PyTorch 的一等原生目标。他指出，这是出于生产环境对性能、可靠性和可维护性的需求。“这些都已经开源，今天就能用，而这仅仅是个开始。”在谷歌云的公告中，Meta PyTorch 工程总监 Jana van Greunen 解释了 Meta 为什么这么做：
在 Meta，要把前沿 AI 往前推，需要非常大的计算规模和多样的硬件选择。我们不能被单一硬件架构绑住。
不止谷歌：亚马逊的 TorchNeuron 也在路上
谷歌并非唯一押注 PyTorch 原生后端的厂商。亚马逊云科技于 10 月 20 日宣布，其 Trainium 芯片（亚马逊自研的 AI 训练芯片）的原生 PyTorch 后端 TorchNeuron 进入公开测试，代码只需把设备改成 .to('neuron')。两个后端都通过 PyTorch 为自定义硬件预留的扩展点 PrivateUse1（可理解为第三方硬件的注册接口）接入。
不过 TorchNeuron 首个版本还有明显短板：据 The Next Web 报道，它暂不支持动态输入形状，且跳过了约 22000 个 PyTorch 测试用例。
在为 Forkast 撰写的分析中，Blair Hayes 指出供应商锁定并未消失，只是换了位置：
尽管 PyTorch 的扩展点为开发者提供了一种通用语言，但优化层和供应层仍然牢牢掌握在供应商手中。
社区反应：松了口气，但保持现实
Hacker News 上 TorchTPU 的讨论帖获得 379 分。网友的态度既有释然，也有务实的疑虑。一位评论者写道：“我还记得当年为了让 PyTorch 在 TPU 上跑，不得不跟 XLA（谷歌的张量编译器）周旋的日子，看来终于有官方支持了！”也有人追问到底在哪里能买到 TPU。一位曾代表公司考察过谷歌本地部署版 TPU 的评论者则冷静得多：“我们评估过这些产品，但决定至少再用一代 Nvidia。”
可移植性：不只是数据中心
可移植性也是数据中心之外的卖点。在关于用 ExecuTorch（PyTorch 的端侧推理方案）部署机器人策略的会议上，来自 Meta 的 Anthony Shoumikhin 和 Jacob Szwejbka 指出，从训练到设备端，这些策略可以全程留在 PyTorch 中，不需要切换技术栈。同样的量化方案和运算符图可以在 NVIDIA Jetson TensorRT、Intel OpenVINO 等目标平台上运行。
训练成本：把数据搬运压下来
训练分会场则从成本角度给出了具体数据。RadixArk 的 Yueming Yuan 在介绍 Miles 强化学习框架时表示，把两个对数概率计算合并到一个内核里，这一步的速度提升超过 10 倍。在一次大规模运行中，Delta 更新将每次同步权重需要传输的数据量从 62 GB 降到不足 1 GB。
有多场会议都谈到了用强化学习（RL）训练智能体的开源工具。Anyscale 的 SkyRL 把训练、推理和环境拆开，由 Ray 统一协调。Hugging Face 的 OpenEnv（已于 10 月 22 日加入 Agentic AI 基金会）为每个强化学习环境提供统一接口。Hugging Face 的 Sergio Paniego Blanco 用 TRL 和 OpenEnv，让四个编程智能体训练一个小型 Liquid AI 模型，使其在留出任务上的得分从 42% 提高到 54%。
对于正在考虑迁移的团队来说，只改一行设备代码就能让模型跑起来（但还没调优）。所以，要预留做分片和内核优化的工作量，并先确认 TPU 资源是否够用。想进一步了解，可以阅读 TorchTPU 公告、查看 TorchTPU 代码库，或浏览 InfoQ 对 PyTorch Conference 2024 的报道。会议录像会在活动结束后两周内发布到 PyTorch 基金会的 YouTube 频道上。
原文链接：https://www.infoq.com/news/2026/10/google-meta-torchtpu/