AI Gateway 兜底升级:模型没报错但置信度不足,也会自动切换备用模型
AI Gateway 的兜底逻辑新增置信度条件:主模型即使正常返回,只要模型对答案的把握低于你设置的门槛,请求也会转给备用模型。新条件可与原有的失败兜底叠加,但每触发一次,主模型和备用模型都会各跑一遍,两份费用都会计费。
兜底逻辑变化:从“有没有失败”到“有多大把握”
先解释兜底:主模型不靠谱时,自动启用备用模型。AI Gateway 原来的兜底只看请求有没有明显失败,比如报错、模型不可用。这类情况通过 models 里填写的模型名捕获;只要请求看起来正常返回,就不会切换。
现在多了一层判断:模型已经给出回答,也没有报错,但如果它对答案的置信度——可以理解为“对答案有多大把握”——低于你设定的门槛,请求同样会升级给备用模型。
两套逻辑不冲突。模型名继续拦截明显失败的请求,置信度是在其之上叠加的一层判断。
怎么配置
配置位置在 providerOptions.gateway.models,添加一个条件对象即可。没有添加该对象的请求,行为与以前完全一致。条件可以组合使用,也就是说,一次升级可以由多个信号共同决定。
不同题型触发方式不同:
- 选择题(Choice)和打分题(Score):直接用置信度条件判断。
- 布尔型问题:不适用置信度,改用概率区间触发升级。
如果不指定 question 字段,条件会检查所有匹配类型的问题。例如写成 { confidenceBelow: 0.6 },那么只要任意一道选择题或打分题的回答低于 0.6,就会触发升级。
对开发者意味着什么
这套机制把兜底从“有没有报错”扩展到“模型有多确定”。
对用 AI 写代码、做自动化决策的团队来说,它能减少“模型给了答案,但答案并不可靠”的情况,让关键请求更早切到备用模型。在 AI 编程、氛围编程等场景里,模型经常给出看起来合理、实际并不确定的建议。置信度兜底相当于多了一道质量闸门:不等接口报错,而是在发现模型“心里没底”时就换备选方案。
不过它不是免费保险——触发一次,就会跑两遍模型。
费用与阶段说明
- 触发兜底后,主模型和备用模型两个阶段都会计费。
- 决策兜底目前处于 beta 阶段,也就是还在测试,接口和表现可能继续调整。
- 更多细节可查阅决策兜底文档。