无需管理 GPU，SageMaker AI 推出新的模型定制方式

AWS ML Blog 2026-10-23T02:00:04+08:00

那些真正从 AI 中获得实效的企业，并不只是拿来即用基础模型（FM）。他们会用强化学习等后训练技术，对开放权重模型进行定制。用你的业务背景、产品目录或临床术语训练出来的模型，在你的任务上会更准确，运行成本也更低。构建智能体时，你的数据、工作流、评估方式和成功标准也会影响模型的表现。但模型定制并不容易：你得选对技术路线，搭建并管理 GPU 基础设施，如果要做智能体，还得为多轮强化学习准备环境。为此，我们推出了 Amazon SageMaker AI 无服务器模型定制功能。今天，我们进一步扩展这项能力，正式发布 training sessions（训练会话）。借助 training sessions，你可以掌控后训练逻辑，而无需操心底层基础设施。你负责编写和协调训练循环，包括自定义损失函数或奖励信号；GPU 分配、分布式执行、故障恢复和检查点存储则交给 SageMaker AI 处理。

定制模型，不必再为基础设施管理烦心

使用 SageMaker AI 无服务器模型定制，你不需要挑选实例类型、管理集群，也不用编写分布式训练配置。

我们不想限制你的选择。你可以使用 SFT、DPO、RLVR、RLAIF 或多轮强化学习等技术；可以通过低秩适配（LoRA）或全量微调来决定更新模型的多少部分；还可以通过连续定制把多种技术串联起来。

我们也不想让你浪费时间。SageMaker AI training sessions 的 cookbook 提供了示例和用例，以及模型定制的智能体技能。你只需描述自己的用例，智能体就会处理数据准备、技术选择、训练、评估和部署。智能体可以在你日常使用的环境中工作，包括 SageMaker Studio、Kiro、Claude Code、Codex 或 GitHub Copilot。

“我们采用 SageMaker AI Serverless Training Sessions 构建了一个医疗理赔拒付分诊模型，从第一天起就验证了平台的可靠性。这套底层 API、对前向和反向传播的直接控制、采样以及优化器步骤，让我们的科学家获得了精细的控制能力，足以在这个要求严苛、精度至上的场景中推进强化学习。Training Sessions 给了我们合适的原语，帮助我们迈向生产级性能。”

— Rob Gontarek，ImagineSoftware 数据科学高级副总裁

自定义后训练循环

智能体训练的一个重要转变是走向多轮强化学习。比如，一个负责预订行程、分诊支持工单或执行多步研究任务的智能体，需要经过多轮交互才能判断它是否达到了正确结果。然而训练循环很快就会变得复杂：你可能在一套基础设施上训练模型，在另一套上跑推理来生成响应，对响应打分，再把结果喂入下一次更新。每个阶段需要的算力不同，跨不同工具和集群把它们串起来又会增加额外工作量。

SageMaker AI 已经以托管、无服务器的方式提供多轮强化学习。但我们听到客户反馈，他们想自己定义损失函数、塑造奖励信号，或者在一个循环里编排强化学习的各个阶段。训练会话正好提供了这种灵活性。

“借助 SageMaker AI Serverless Training Sessions，我们针对 Amazon Neptune 知识图谱，对 gpt-oss-20b 做了面向智能体多轮工具调用的微调，平台替我们处理了基础设施。配置直接就能跑，无需手动调优，也没有内存不足的麻烦。检查点恢复是一大亮点：从确切的步骤恢复完全可靠。它让开发者获得了想要的灵活性，同时卸下了运维负担。”

— Nitin Wagh，Karini AI 首席执行官

工作原理

你的代码在自己的环境里运行训练循环和奖励函数，同时把智能体连接到它要用的工具或模拟器上。训练会话负责吃 GPU 的重活：采样器生成回复，训练器计算梯度并更新模型权重。具体顺序取决于你写的算法。

以分组相对策略优化（GRPO）的实现为例。GRPO 是一种强化学习方法：针对同一个提示词生成多条回复，分别打分，再根据它们的相对表现更新模型。一轮循环的流程如下：

采样回复 —— 你的循环让采样器用当前模型为每个提示词生成多条回复。
打分 —— 你的奖励函数在自己的环境里为每条回复打分，可以用验证器、奖励模型或测试框架。
更新模型 —— 你的循环把分数交回训练器。forward_backward() 据此计算梯度，optim_step() 把更新应用到模型权重上。
刷新并重复 —— 你的循环让会话用更新后的权重刷新采样器，然后开始下一批。

你的代码重复这些步骤，直到训练完成。计费按 SageMaker AI 处理的 token 数量计算。当奖励函数在你的环境中给一批数据打分时，计费暂停，也不需要预留任何算力。

数据和模型始终由你掌控

每个会话都使用你创建的 AWS 身份与访问管理（IAM）执行角色，你还可以加上自己的 AWS 密钥管理服务（AWS KMS）密钥和虚拟私有云（VPC）配置。数据保存在你自己选定的 AWS 区域内的 Amazon Simple Storage Service（Amazon S3）存储桶里，检查点也存放在那里。我们不会用你的数据或自定义权重去训练其他模型。

部署前，你可以评估模型的准确性、偏见和安全性。部署后，可以施加防护措施，并用 Amazon CloudWatch 监控。团队原有的治理流程可以继续沿用。

即刻上手

你可以在 SageMaker AI 的无服务器模型定制训练会话上编写自己的训练循环。该功能现已上线，支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B。

两种上手方式：

在 IDE 中： 安装 SageMaker Python SDK（Linux 或 macOS，Python 3.10 至 3.12），克隆 cookbook，即可开始开发。
在 SageMaker Studio 中： 不到 20 秒就能启动一个开箱即用的 AI 开发环境。登录、打开 notebook、连接你的编码智能体（Kiro、Claude Code、Codex 或 Copilot），下载智能体技能包和 cookbook，然后就可以动手了。