AI Gateway 兜底升级:模型没报错但置信度不足,也会自动切换备用模型

Vercel Blog 发布日期待确认

AI Gateway 的兜底逻辑新增置信度条件:主模型即使正常返回,只要模型对答案的把握低于你设置的门槛,请求也会转给备用模型。新条件可与原有的失败兜底叠加,但每触发一次,主模型和备用模型都会各跑一遍,两份费用都会计费。

兜底逻辑变化:从“有没有失败”到“有多大把握”

先解释兜底:主模型不靠谱时,自动启用备用模型。AI Gateway 原来的兜底只看请求有没有明显失败,比如报错、模型不可用。这类情况通过 models 里填写的模型名捕获;只要请求看起来正常返回,就不会切换。

现在多了一层判断:模型已经给出回答,也没有报错,但如果它对答案的置信度——可以理解为“对答案有多大把握”——低于你设定的门槛,请求同样会升级给备用模型。

两套逻辑不冲突。模型名继续拦截明显失败的请求,置信度是在其之上叠加的一层判断。

怎么配置

配置位置在 providerOptions.gateway.models,添加一个条件对象即可。没有添加该对象的请求,行为与以前完全一致。条件可以组合使用,也就是说,一次升级可以由多个信号共同决定。

不同题型触发方式不同:

如果不指定 question 字段,条件会检查所有匹配类型的问题。例如写成 { confidenceBelow: 0.6 },那么只要任意一道选择题或打分题的回答低于 0.6,就会触发升级。

对开发者意味着什么

这套机制把兜底从“有没有报错”扩展到“模型有多确定”。

对用 AI 写代码、做自动化决策的团队来说,它能减少“模型给了答案,但答案并不可靠”的情况,让关键请求更早切到备用模型。在 AI 编程、氛围编程等场景里,模型经常给出看起来合理、实际并不确定的建议。置信度兜底相当于多了一道质量闸门:不等接口报错,而是在发现模型“心里没底”时就换备选方案。

不过它不是免费保险——触发一次,就会跑两遍模型。

费用与阶段说明

查看原文