在 Amazon EKS 和 SageMaker HyperPod EKS 上，用 NVIDIA Nemotron 模型加速智能体 AI 开发
NVIDIA Nemotron 3.5 Super VL 加入了 AWS 上已有的 Nemotron 3 Nano、Nano Omni、Super、Ultra 和 Nemotron 3.5 Lightning 行列。这是一个 120B 参数的混合专家模型（MoE），每个 token 激活 12B 参数。它把推理和工具调用与文本、图像、文档、视频理解结合起来，一个模型就能同时处理文本和视觉任务。本文先介绍它的架构和适用场景，再演示如何在 Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon EKS Auto Mode 和 Amazon SageMaker HyperPod EKS 上部署。
Nemotron 3.5 Super VL 简介
NVIDIA Nemotron 3.5 Super VL 是一个多模态开源模型，从 Nemotron 3 Ultra 蒸馏而来。NVIDIA 公开了模型权重、训练数据集和后训练方案，你可以针对特定领域的工作负载定制模型，并运行在自己掌控的基础设施上。
模型参数：
- 总参数 120B，每 token 激活 12B
- Mamba-2、MoE 和注意力层混合架构，搭配 RADIO 视觉编码器
- 上下文长度最高 100 万 token
- 输入：文本、图像、文档、视频
- 输出：文本
- 提供 BF16 和 NVFP4 两种 checkpoint
NVIDIA 公布的成绩：Hermes Bench 63.44%，LangChain 智能体评测 87.05%，CharXiv 图表推理基准 80.8%（技术报告）。
模型架构
Nemotron 3.5 Super VL 采用 Mamba-Transformer 混合 MoE 架构，交错堆叠 Mamba-2 层、注意力层和专家层。稀疏路由让每个 token 只激活 120B 参数中的 12B，单 token 的计算量因此接近一个小得多的模型，但 GPU 显存仍需装下全部权重。生成过程中，Mamba-2 层维护的状态大小固定，不会像 KV 缓存那样随序列长度膨胀，所以长上下文的成本可控。递归共享的多 token 预测（MTP）头支持原生推测解码。
适用场景
Nemotron 3.5 Super VL 适合需要推理与视觉理解结合的智能体工作流：
- 编码：测试和验证代码，分析报错，给出修复建议。
- 网络调研：交叉比对并核实搜索工具返回的来源。
- 文档理解：读取表格、图表和页面布局，生成摘要。
网络安全：识别漏洞、研判威胁。视频理解：搜索、内容审核与事件分析。Nemotron 3.5 Super VL 可通过 NVIDIA 的参考实现、实践手册（cookbook）和 NVIDIA Agent Toolkit，与主流开源智能体框架和编排系统集成。支持的框架完整列表见 NVIDIA 开发者博客。
最低 GPU 配置
| 精度 | B200/GB200 | B300/GB300 | H200 | H100 |
|---|---|---|---|---|
| BF16 | 8 | 4 | 8 | 16 |
| NVFP4 | 2 | 1 | 4 | 8 |
在 AWS 上部署
本节概述架构、验证和性能评估方法。Nemotron 3.5 Super VL 和 Nemotron 3 Ultra 在 AWS 上的详细部署步骤见 aws-do-eks 项目，涵盖前置条件、集群创建、模型权重下载、部署、测试、基准测试和清理。同样的模式也适用于 NVIDIA Nemotron 系列的其他模型。
部署架构
参考实现可运行在标准 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上。使用 EKS Auto Mode 时，AWS 会替你管理集群的扩缩容、GPU 和 EFA 支持。无论选择哪种编排方式，模型部署所用的 Kubernetes 清单都相同。
每个集群都有一个托管 Kubernetes API 的控制平面，以及由 CPU 和 GPU 节点组成的数据平面。CPU 节点运行系统和测试 Pod，GPU 节点运行模型。容器镜像存放在 Amazon Elastic Container Registry（Amazon ECR）中，模型权重放在共享的 Amazon FSx for Lustre 卷上，GPU 节点之间通过弹性网络适配器（EFA）互联。
下图展示了一个标准的 Amazon EKS 集群。
图 1：用于运行 NVIDIA Nemotron 模型的标准 Amazon EKS 集群架构
NVIDIA Dynamo 支持两种服务方式：聚合式，即整个模型跑在单个节点上；分离式，即预填充（prefill）和解码（decode）分别跑在不同节点上。对于视觉语言模型，图像/视频编码阶段还可以单独放到一个节点上运行。
验证与性能
该架构已在 p6-b200.48xlarge（8 块 NVIDIA B200 GPU）和 p5en.48xlarge（8 块 NVIDIA H200 GPU）实例上完成验证。
可以用 NCCL（NVIDIA Collective Communications Library，集合通信库）的 all-reduce 微基准测试来验证集群及其网络。图 2 展示了 NCCL all-reduce 验证测试期间的 GPU 和 EFA 利用率。跑 NCCL 测试时，如果所有 GPU 都有利用率、所有 EFA 网卡都有流量，就说明集群工作正常。要衡量集群上已部署模型的性能，可以用 NVIDIA 的 aiperf 工具。图 3 是 aiperf 为已部署模型输出的性能指标。左上角窗格里的关键指标包括首 token 延迟（TTFT）、token 间延迟（ITL）和每秒 token 数（TPS）吞吐量。在不同并发水平下做这些测量，就能研究延迟和吞吐量如何随并发请求数变化。这些信息对合理规划容量和模型部署拓扑至关重要。aws-do-eks 容器提供了自动化能力，一条命令即可可视化 GPU 和 EFA 利用率，运行 aiperf 和并发扫描。图 4 对比了聚合式与分离式部署的并发扫描结果。上面的并发扫描图显示，Nemotron 3.5 Super VL 的推理在两个节点上采用聚合式与分离式部署时，TTFT 更低，ITL 基本持平。做部署决策时，这类图表很有参考价值。把延迟预算画成水平线，比如 TTFT 低于 600 毫秒（约 1 秒），每个 token 的 ITL 低于 100 毫秒。两条线下方最右侧的点，就是该拓扑下单个副本在服务级别目标（SLO）内能提供的吞吐量，这里是 c32，约每秒 320 个 token。规划容量时，用目标每秒 token 数除以这个单副本吞吐量，就能算出需要部署多少组预填充-解码对。改动之后（比如精度、TP/PP 形状、聚合式还是分离式、新的 Dynamo 或 vLLM 版本），重跑同样的扫描，权衡立刻一目了然。曲线向右下方移动就是改进。
由于 TTFT 和 ITL 是分开绘制的，你还能据此判断该扩哪一侧：ITL 上升说明要增加解码（decode）容量，TTFT 上升说明要增加预填充（prefill）容量。
结论
本文介绍了在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上，借助 NVIDIA Dynamo 和 vLLM 部署 NVIDIA Nemotron 模型的架构与性能评估方法。想上手的话，可以用参考实现把 Nemotron 3.5 Super VL 部署到自己的账户里。AI on EKS 项目里还有更多推理蓝图。想进一步动手实践 EKS 上的推理，可以报名参加我们即将举办的 workshop。
致谢
作者特别感谢参与本内容开发、验证、评审和发布的所有人，包括但不限于：Eliuth Triana、Jiahong Liu、Kshitiz Gupta、Abhijeet Patil、Mike Stefaniak、Chris Splinter、Sheetal Joshi、Aditya Ramakrishnan、Natarajan Kumar、Anish Maddipoti。
关于作者
Alex Iankoulski
Alex 是 AWS 全球专家组织（Worldwide Specialist Organization）的首席解决方案架构师，专注于用容器编排 AI/ML 工作负载。他是 do-framework 的作者，也是 Docker Captain，喜欢用容器技术加速创新节奏，同时解决世界上最大的挑战。过去 10 年，Alex 一直在帮助客户在 AWS 上做更多事情：推动 AI 和 ML 的普及、应对气候变化，让出行更安全、医疗更优质、能源更智能。
Anton Alexander
Anton 是 AWS 生成式 AI 方向的高级专家，专注于用 Amazon SageMaker HyperPod 扩展大规模训练和推理工作负载。作为资深 CUDA 程序员和 Kubernetes 专家，他帮助企业集成 NVIDIA 技术做分布式训练，尤其擅长 EKS 和 Slurm 的实现。Anton 与中东和北非（MENA）地区及政府部门的客户紧密合作，优化生成式 AI 方案。他持有一项机器学习边缘计算系统的待批专利。工作之外，Anton 是巴西柔术和大学拳击冠军，还喜欢开飞机。
作者简介
Leah Tucker 是资深 AI/ML 专家解决方案架构师，专注于在 EC2 和 EKS 上使用开源模型做自管理实时推理。她擅长推理工程、模型基准测试、生产架构设计，以及从冷启动到持续吞吐的性能优化。近期工作包括 EKS 上的开源 TTS 推理栈，以及覆盖 G、P 系列实例的 GPU 基准测试工具。
Curt Lockhart 是 NVIDIA 的 AI 解决方案架构师，帮助客户覆盖 AI 技术栈的各个环节，从推理、训练到智能体（agentic）工作流。他骨子里是个老师，喜欢把 AI 的复杂概念讲得通俗易懂。
Abdullahi Olaoye 是 NVIDIA 的资深 AI 解决方案架构师，专长是把 NVIDIA 的 AI 库、框架和产品与云上 AI 服务、开源工具集成起来，优化 AI 模型部署、推理和生成式 AI 工作流。他与云厂商合作，提升 AI 负载性能，推动基于 NVIDIA 的 AI 与生成式 AI 方案落地。
Wenhan Tan 是 NVIDIA 的解决方案架构师，帮助客户大规模采用 NVIDIA AI 方案。他的工作重点是加速深度学习应用，解决推理和训练中的难题。
NVIDIA Nemotron 3.5 Super VL 是一个拥有 1200 亿参数的混合专家（Mixture-of-Experts）模型，把推理、工具调用与多模态理解能力结合在一起。本文先介绍它的架构和适用场景，再演示如何借助 NVIDIA Dynamo 与 vLLM，把它部署到 Amazon EKS、EKS Auto Mode 以及 Amazon SageMaker HyperPod EKS 上。