SageMaker Inference 现已支持 Multi-Instance GPU，可提升模型端点的 GPU 利用率
Amazon SageMaker Inference 现在支持多实例 GPU（Multi-Instance GPU，MIG），用于提高模型端点的 GPU 利用率。 把模型部署到 GPU 端点时，最小的 GPU 请求单位是一整块加速卡。这一限制会带来两方面的损失。首先，一台实例能承载的模型数量不会超过它拥有的加速卡数量。一台 ml.p4d.24xlarge 有八块 A100，就只能放八个模型，无论每个模型需要 40 GB 还是 14 GB 显存。其次，这一点更不易察觉：它让每次部署都变成选择哪一整块 GPU 的问题。随着并发量和提示长度增长，旧实例上的整块 GPU 开始不够用，而新实例上的整块