谷歌开源 ML Drift：让端侧 AI 推理在各类 GPU 上跑起来
谷歌开源了跨平台 GPU 计算引擎 ML Drift，它把不同 GPU 硬件和底层图形 API 的差异封装起来，供端侧 AI 推理使用，并已成为 LiteRT 的核心加速引擎。谷歌公布的基准数据显示，其内存开销比 llama.cpp、MLX LM 低约 12%，在 YouTube Shorts、谷歌 Photos、Adobe 和 Snapchat 的实际功能中带来 30%–40% 的延迟或性能改善。同时，旧版 TensorFlow Lite GPU 委托将停止更新。
一个引擎，屏蔽多种 GPU 差异
谷歌发布了 ML Drift，采用 Apache 2.0 许可开源。它是一个跨平台的 GPU 计算引擎，面向设备端 AI 与机器学习推理。它把不同 GPU 硬件与底层 API 的复杂性抽象出来，目前支持 OpenGL ES、OpenCL、Metal 和 WebGPU 四种图形接口。
ML Drift 并非全新项目，它是为 LiteRT（谷歌的端侧推理运行时）提供动力的核心 GPU 加速引擎。开源之后，开发者可以基于它构建自定义的图形渲染与推理运行时，覆盖传统计算机视觉、音频与深度处理，以及生成式 AI 等场景。
它要解决的核心问题是：开发者面对的 GPU 架构、驱动版本和底层 API 五花八门，而应用最终跑在哪种硬件上，往往事先无法确定。谷歌称，ML Drift 的目标是在可移植性与性能之间建立新基础，兼顾“传统机器学习的稳定性”与“前沿生成式 AI 的峰值性能”。
相比旧版 GPU 委托的几处改进
相较于此前的 TFLite GPU 委托（delegate，即把部分计算任务交给 GPU 执行的机制），ML Drift 做了几项底层改动：
- 统一着色器：基于张量虚拟化实现。着色器是跑在 GPU 上的小程序，统一之后不必为每种硬件单独编写。
- 可扩展的自定义算子：算子指模型中的基本计算单元，开发者可以按需扩展。
- 原生支持五维张量：张量即多维数组，五维数据在视频、空间模型等场景中常见，原生支持可省去过去常见的布局改写技巧。
- 硬件专属优化：针对 Arm、Intel 和高通的 GPU 做了针对性调优，以充分利用现代 GPU 的硬件资源。
在桌面端，ML Drift 借助 Dawn（Chromium 的 WebGPU 实现）把推理支持扩展到了 Windows 和 Linux，macOS 上则保留原生 Metal 后端。Dawn 提供统一的 API 模型，可复用 WebGPU 的硬件抽象层，开发者不必直接对接 DirectX、Vulkan 这类平台专属图形 API。
基准数据与实际收益
谷歌用 Gemma 模型在开发者级工作站硬件上做了基准测试，报告称其内存开销比其他框架（包括 llama.cpp 和 MLX LM）低 12%。谷歌同时强调，ML Drift 已在 Chrome、YouTube Shorts、Photos 和 Meet 等应用中运行于数百万台设备。
具体到功能层面的数据：
- YouTube Shorts：Android 和 iOS 上基于分割算法的特效，平均帧延迟最高降低 40%。
- 谷歌 Photos：计算摄影与图像分割流水线提速最高可达 2 秒。
- Adobe Lightroom 与 Photoshop：选择主体、选择天空、自适应人像等 AI 照片编辑功能，性能提升最高 30%。
- Snapchat：Android 上基于机器学习的人脸与风格生成特效模型延迟降低 30%，使其得以使用更大的扩散模型。
社区的两点反馈
AI/ML 工程师 Pavithra Agraharam 在 LinkedIn 的相关动态下评论称，无需通过布局上的临时技巧就能原生支持 5D 张量，对在边缘 GPU 上运行空间模型和 Transformer 模型是重大利好；把逻辑张量与物理内存分配解耦，也能显著减少在线推理过程中的内存碎片。
Tensorust 创始人 Matthew Charles Vladislav Busel 则提出了疑问：它在新款 iPhone 上的延迟和内存表现与 Core ML 相比如何？毕竟这是目前大多数人的交付目标平台。对此，谷歌并未提供对比数据。
迁移方式
随着 ML Drift 发布，谷歌将停止更新旧版 TensorFlow Lite GPU 委托。为保持与现有模型的向后兼容，官方建议迁移至 LiteRT ML Drift GPU 加速器。使用上分为两个层次：应用开发者可直接使用 LiteRT ML Drift 加速器；GPU 与系统工程师则可以通过其底层 C++ API 构建自定义的 GpuModel 计算图，并编写自定义着色器。
对于在端侧部署模型的开发者来说，这次开源的意义在于：原本绑定在 LiteRT 内部的 GPU 加速能力被单独拿出来，成为可以复用的底层组件——想自己搭推理运行时，不必再从零处理各家 GPU 的适配问题。
关键要点
- ML Drift 以 Apache 2.0 开源，支持 OpenGL ES、OpenCL、Metal、WebGPU，是 LiteRT 的核心 GPU 加速引擎，目标是屏蔽端侧 GPU 硬件与驱动的碎片化。
- 技术改进包括统一着色器、可扩展自定义算子、原生五维张量，以及针对 Arm、Intel、高通的硬件优化；桌面端通过 Dawn 支持 Windows 与 Linux。
- 谷歌称其内存开销比 llama.cpp、MLX LM 低 12%，并在 YouTube Shorts、谷歌 Photos、Adobe、Snapchat 的实际功能中实现 30%–40% 的性能或延迟改善。
- 旧版 TensorFlow Lite GPU 委托停止更新，官方建议迁移至 LiteRT ML Drift 加速器；与 Core ML 的对比数据尚未公布。