Claude 的新自动评估工具

Anthropic 为 Claude Code 发布了一套新的评估工具。他们的 claude-api 插件现在包含新的 build_eval 和 hill-climb 命令，可以帮你构建评估集、检查评分器，并据此改进应用。我一般不太写评估工具的评测，因为软件更新太快，评测文章很快就过时了。但 Anthropic 官方出品的东西，很可能会影响大家做评估的方式，所以我想亲自试一试，把发现分享出来。我和 Isaac Flath 一起做了场直播，用一套公寓租赁助手的对话记录来实测。结果如下： ## 体验不佳的地方 ### 1. 它催着你在看数据之前就先建评估 Claude 一上来就列出了几个可能的失败