面向 Agent 的 AI 评测(eval):是什么,怎么写
AI 评测是给模型或 Agent 的表现打分的测试。本文讲清 Agent 评测与 LLM 评测的区别、三类评分器,以及用七个步骤写出一个评测。 - ——AI 评测就是给 AI 系统出的一道测试题:把输入交给模型或 Agent,让它跑起来,再用代码、LLM 裁判或人工给它打分。 - ——LLM 评测打分的是一次回答;Agent 评测打分的是一整次运行,包括调用了哪些工具、传了什么参数、留下了什么状态、最后回了什么话。这是因为 Agent 完全可能做错了事,却回一句听起来很对的话。 - ——评 Agent 要看结果,而不是死抠它走的每一步路径——Agent 经常用你没想到的方式把事做成。只有那些必
- 面向 Agent 的 AI 评测(eval):是什么,怎么写 · HN AI Coding