为应用选择合适的 AI 模型：先衡量任务成功率，再比较成本

免责声明：本文的评估方法适用于任何编程语言或应用技术栈。文中的代码示例用 C# 和 .NET，只是因为那是我最熟悉的。 假设你要给网站加一个 AI 聊天功能。用户能就自己的文档提问、查询信息，还能生成可下载的文件。从 token 价格最低的模型入手，是显而易见的起点——直到它告诉用户「报告已就绪」，而报告里的数字是错的。 看这样一个请求： > 在已连接的存储里找出我第一季度的开支。生成一份可下载的 JSON 报告，每月一行，用美元计，并给出合计。回复限定一句话，附上下载链接。 两个模型返回的句子一模一样： Your Q1 expense report is ready: [download](