英伟达开源 PAIR:把闲置 GPU 拼成个人 AI 算力池

The Verge AI 发布日期待确认

摘要:英伟达发布了免费开源软件 PAIR(Personal AI Router),它能把局域网内多台电脑的显卡聚合成一个统一的算力池,让 Ollama、LM Studio 等本地大模型工具跨设备调用 GPU。对显存有限、又不想为云端算力付费的个人开发者而言,这相当于用闲置设备拼出一台“虚拟大机器”。

名字像硬件,实际是软件方案

PAIR 的全称是 Personal AI Router,直译是“个人 AI 路由器”。虽然名字里带“路由器”,但它并不是硬件设备,而是一款开源软件——不需要额外购买专用设备,下载安装后即可使用。

它要解决的根本问题是单机限制。像 Ollama、LM Studio 这类本地大模型工具,默认只能调用当前这台电脑上的 GPU。接入 PAIR 之后,这些工具就能通过网络调用局域网内其他电脑的显卡,实现多台设备协作完成推理任务。

显存不够?让闲置设备“组队干活”

很多开发者都遇到过这样的场景:电脑显存不够,想跑的模型怎么都加载不进去。PAIR 的思路很简单——把周围配置一般、平时闲置的电脑也拉进网络,借用它们的显存和算力。单台机器带不动的模型,可以拆分成多个任务,由多台设备共同承载;单张 GPU 显存太小,也能通过聚合多张显卡的显存来容纳更大的模型。

直观地理解,PAIR 相当于把家里或办公室里的几台普通电脑,拼成一个小型“分布式推理集群”。它可以把一个模型的请求同时分发到多台设备上并行处理,也支持跨 GPU 推理和多会话并行。也就是说,多个开发者或多个应用可以同时使用同一个算力池,不必排队等一台机器跑完。

另一个明显优势是隐私:所有推理都发生在本地网络内,数据不会上传云端。对于重视隐私、倾向本地运行模型的用户来说,这是一个非常实用的特性。

支持哪些设备?

PAIR 目前支持以下设备:

接入后,这些设备会共同组成一个统一的“推理池”。英伟达表示,PAIR 目前在 RTX 20 系列及以上的 GPU 上可以稳定运行,后续会持续更新支持范围,但尚未公布明确的时间表。

免费下载,即装即用

PAIR 现已开放下载。接入本地大模型工具链后,多台电脑上的 GPU 会像一台机器一样协同工作,聚合本地模型服务,从而缩短提示处理延迟、提升推理速度。对于想盘活手头闲置设备、同时避开云端算力费用的开发者来说,这是一个值得尝试的免费选项。

随着 AI 编程和本地模型工具的普及,这类把散落算力“拼接”起来的开源软件,正在为个人开发者创造更灵活的自托管环境。对于依赖本地大模型辅助编程的开发者来说,这意味着可以把多台开发机的 GPU 合并成一个更大的算力池,减少对云服务的依赖。以后在本地跑大模型,也许不再受限于“单机显存上限”,而是取决于你手边有多少台可用的电脑。

关键要点

查看原文