AI Gateway 兜底升级:模型没报错但置信度不足,也会自动切换备用模型

AI Gateway 的兜底逻辑新增置信度条件:主模型即使正常返回,只要模型对答案的把握低于你设置的门槛,请求也会转给备用模型。新条件可与原有的失败兜底叠加,但每触发一次,主模型和备用模型都会各跑一遍,两份费用都会计费。 ## 兜底逻辑变化:从“有没有失败”到“有多大把握” 先解释兜底:主模型不靠谱时,自动启用备用模型。AI Gateway 原来的兜底只看请求有没有明显失败,比如报错、模型不可用。这类情况通过 models 里填写的模型名捕获;只要请求看起来正常返回,就不会切换。 现在多了一层判断:模型已经给出回答,也没有报错,但如果它对答案的置信度——可以理解为“对答案有多大把握”—