负责任地用 LLM 当评审：在让 AI 给任何东西打分之前，先过一遍这份清单

「LLM 当裁判」（LLM-as-judge）已经悄悄变成了基础设施。我们用一个大模型给另一个模型的回答打分，判断测试到底过没过，给检索增强生成（RAG）的结果打相关性分数，做内容审核，做排序。它便宜、快，吞吐量能到人力完全碰不到的量级。但它同时也是一件测量仪器——而大多数团队部署它的时候，从没验证过这件仪器准不准。在让 LLM 给你任何重要的东西打分之前，先过一遍下面这份实用清单。（背景：我搭了一个小工具，让本地 LLM 充当测试裁判，再拿它的判断和标准答案比对打分；下面有些数字就来自这个实验。） ## 1. 至少用标准答案测一次 你没测量过的东西，就管不住。先准备一批你能确定正确判定的样本