AI Gateway 现已支持 TypeSafe 客户端,并为 Jev 提供 HTTP API

vercel.com 发布日期待确认

除了 AI SDK,你现在还可以通过 AI Gateway,用现有的 TypeSafe 客户端或 HTTP API 调用 Jev。

Jev 是一个面向软件的概率决策模型。你输入状态,它输出带概率的类型化答案,没有生成的文本需要解析。三条调用路径的请求都通过 AI Gateway 计费,所以在用量和可观测性面板里,它们会和你的其他模型调用一起显示。

迁移现有的 TypeSafe 客户端

只需改掉 base URL 和 API key。你的 systemOne 调用、noul 提问和响应结构都保持原样。

开始新的集成

新集成把模型写为 typesafe-ai/jev,并从三种问题类型中选一种:boolean 返回 0 到 1 之间的概率,choice 从你指定的一组选项中挑一个,score 按你定义的量表打分。下面的例子问的是:一个 agent 修好 bug 并通过测试之后,是否应该继续工作。

用 HTTP API 时,向 /v1/evaluate 发 POST 请求:

用 AI SDK 时,通过 evaluate 执行同样的评估:

你也可以通过 eve 使用 Jev。eve 是一个构建和部署 agent 的框架,内置沙箱计算、人工审批和评估能力。它把 Jev 作为默认的评估模型,用于自动模型选择、类型化评估和自动化工具审批。

迁移客户端请参阅 TypeSafe 兼容 API 指南;HTTP API 或 AI SDK 的用法请参阅评估指南。

查看原文