本地运行大语言模型需要多少内存

下载模型准备在本地运行之前，得先确认它能不能装进内存。估算时把三项加起来，再拿结果和机器实际能提供给模型的内存作对比： need = weights + KV cache + overhead 也就是：模型权重 + KV 缓存 + 额外开销。 当 need <= 0.8 × usable memory 时才算放得下。 下面的数字沿用 osFoundry 桌面应用里本地模型浏览器的估算方法，并与该应用在 16 GB MacBook M3 上显示的结果做了核对。 ### 权重 权重大小等于参数数量乘以每个权重占用的字节数；每个权重占多少字节取决于量化方式： | 量化方式 | 每个权重占用的字节数