在 AI Gateway 上推出虚拟模型
今天，我们在 AI Gateway 上推出虚拟模型（Virtual Models）。
虚拟模型是对应用和开发者所使用的模型字符串及其配置的一层抽象。借助一个虚拟模型 ID，你可以集中切换和更新模型、配置回退与优先级，并统一实施零数据保留（Zero Data Retention）。无论这个 ID 用在何处，虚拟模型的配置都会生效。
把虚拟模型 ID 分配给某个智能体任务，然后在调用该任务时将它作为模型字符串传入。之后，你可以在 AI Gateway 中更改这个虚拟模型 ID 背后的模型和设置，应用和智能体就会自动采用新配置，无需改代码，也无需重新部署。
新模型沿用同一个虚拟模型 ID
过去 90 天里，来自 10 多家实验室的 125 个新模型在 AI Gateway 上线，平均每周约 10 个。AI Gateway 本来就让切换模型只需改一行代码：你用 ID 调用任意模型，AI Gateway 会把每个请求路由到健康的提供商，某个提供商出故障时还能回退到其他提供商。
但这一行代码仍然写在你的项目里，所以切换通常意味着要重新部署。
虚拟模型把模型选择和配置移到了 AI Gateway。你为一个任务创建 ID，比如 vmc/coding-agent，然后配置它应使用的模型和设置：
vercel ai-gateway virtual-models create coding-agent \ --model anthropic/claude-opus-5.5 \ --config '{"speed":"fast","zeroDataRetention":true}'
之后，无论任务在哪里运行，你都可以把这个虚拟模型 ID 当作模型字符串使用：
import { streamText } from 'ai';
const result = streamText({ model: 'vmc/coding-agent', prompt: 'Remove the deprecated API calls from this module.',});
像 Claude Code、Codex 这类编程智能体（coding agent），可以通过 vercel ai-gateway 完成配置接入，然后在各工具的模型选择器或配置文件里选中你的虚拟模型。
当有更合适的模型可用时——包括来自其他服务商的模型——只要改一下虚拟模型就行。所有调用 vmc/coding-agent 的应用和智能体，几分钟内就会自动切换到新模型，既不用改代码，也不用重新部署：
vercel ai-gateway virtual-models edit coding-agent --model openai/gpt-6.1-sol
让每个任务拥有自己的模型
像客服工单分类这样的智能体任务，每小时可能跑上几百次，成本必须压得足够低。而另一些任务，比如法律合同审查，一天可能只跑几次，却需要很强的推理能力。
现在，你可以为每个任务单独配置一个专属虚拟模型，并且随着时间推移，轻松地升级这个模型和它的配置：
切换模型时，回退策略（fallbacks）、Zero Data Retention（零数据保留）以及标签等设置都会跟随虚拟模型一起保留。服务商选项是按服务商分别生效的，所以当你把虚拟模型指向 OpenAI 的模型时，原本针对 Anthropic 的设置就不再起作用了。每次更换服务商，记得检查一下服务商选项。
如果要切换的虚拟模型正在承载线上流量，先另外配一个虚拟模型（比如 vmc/coding-agent-candidate）指向新模型，并用它跑一遍评测。切换后如果质量下降，把原来的虚拟模型重新指回上一个模型即可。
管理团队使用哪些模型、如何使用
团队里的任何人都能调用虚拟模型，而谁能修改它则受团队角色控制。平台和安全团队可以集中治理、测试模型与配置，同时又能方便地让各团队用上新发布的模型。
虚拟模型上的设置优先级高于请求中的同名设置，因此调用方无法覆盖你设定的提供商顺序、回退模型或服务层级。举个例子，你可以集中为 vmc/storefront-assistant 配置回退模型，那么所有使用这个虚拟模型 ID 的应用都会采用同一套故障转移配置，即使某个请求指定了不同的回退方案也不受影响。
如果虚拟模型要求零数据保留（Zero Data Retention），或者要求使用不对请求数据做训练的提供商，这些配置会被强制执行，即使请求明确把 zeroDataRetention 或 disallowPromptTraining 设为 false 也无效。
虚拟模型上的标签会替换请求中携带的任何标签，这样无论各个应用如何给自己的调用打标签，花费都会归到对应任务上。虚拟模型页面会展示每个任务的请求数、花费和成功率。
复制标题链接开始使用
你可以从团队仪表板或通过 Vercel CLI 创建虚拟模型。
复制标题链接关于 AI Gateway
AI Gateway 提供统一的 API，用来调用模型、跟踪用量和成本，并配置重试、故障转移和性能优化，让可用性高于提供商本身的水平。它还内置了自定义报表、零数据保留支持、API 密钥预算、路由规则等功能。
AI Gateway 按提供商原价计费，不加价，也不对推理收取平台费，使用自带密钥（BYOK）的请求同样如此。
虚拟模型适用于 AI Gateway 上的所有模型类型，包括图像、视频、语音、嵌入和实时模型，也兼容 AI SDK 以及 OpenAI、Anthropic 兼容的 API。所有可配置项详见虚拟模型文档。
贡献者
Eric Dodds