谷歌开源 ML Drift：让端侧 AI 推理在各类 GPU 上跑起来

谷歌开源了跨平台 GPU 计算引擎 ML Drift，它把不同 GPU 硬件和底层图形 API 的差异封装起来，供端侧 AI 推理使用，并已成为 LiteRT 的核心加速引擎。谷歌公布的基准数据显示，其内存开销比 llama.cpp、MLX LM 低约 12%，在 YouTube Shorts、谷歌 Photos、Adobe 和 Snapchat 的实际功能中带来 30%–40% 的延迟或性能改善。同时，旧版 TensorFlow Lite GPU 委托将停止更新。 ## 一个引擎，屏蔽多种 GPU 差异 谷歌发布了 ML Drift，采用 Apache 2.0 许可开源。它是一个跨平台的 G