在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体

你基于前沿模型（frontier model，当前能力最强的一类大模型）搭建了一个购物助手，它运行得很好。用户提出“帮我找一款 20 美元以内、店铺评分至少 4.5 星的黑色腰包”，智能体会搜索商品目录、查看候选商品、核对约束条件，最后给出推荐。但这样一次交互的成本是多少？ 智能体助手并不是调用一次模型就能完成，它是一个循环：搜索、读取结果、细化、验证、决策。完成一个任务，往往要多次调用前沿模型，而每一位用户、每一次调用都要付费。到了生产规模，单个任务的成本会不断累积，侵蚀项目收益，最终让项目无法上线。 要让智能体应用更高效，一个办法是换用小模型：响应更快，托管成本更低。问题出在质量上——小模