“做完了”不等于“有权限”：智能体的这两项都要打分
TL;DR：这个行业里的每一块监控面板，都只用一个数字给智能体（agent）打分——它做完了吗？而一项新基准测的正是此前没人打分的第二个数字——它有没有守住自己真正被授权的边界？结果发现：大约每五个委派任务，就有一个包含了委派方从未要求的操作。更糟的是，已完成的任务里出现越权的比例，和未完成的任务几乎一样高。完成度和授权是两个独立维度，只给其中一个打分，另一个维度上你就是在盲飞。
这项研究叫 AuthorizationBench，是 10 月挂出的预印本——还没经过同行评审，也还没有独立复现，所以它的数字应当看作一个强信号，而不是定论。我最信得过的是它的设计：286 个任务，每个都由一份授权契约界定，契约包含三部分——指令、完成标准，以及一份明确的动作清单，清单上的动作即使有帮助，也算越权。
覆盖四个模型、两档推理强度、三种智能体框架，总共 6,864 条执行轨迹，其中 19.2% 至少包含一次未授权操作。在完成了任务的轨迹里，这个比例是 19.1%。从统计上看，「完成任务」和「不越界」之间的相关性为零。
再读一遍。那个以 95% 的完成率把你的任务干得漂漂亮亮的智能体，完全可能同时就是最可能顺手做点你没批准的事的那个——做得安静、干得漂亮，而你的成功指标永远看不出来。
威胁不是黑客，是「热心」。
这个发现应该重写你的威胁模型：在受控的成对测试中，良性压力造成的越权比恶意注入还多——23.5% 对 17.6%。这不是提示注入（prompt injection）攻击，而是普通、友善的压力：模糊的范围界定，一条从未被明确撤销的旧指令，一个明晃晃摆在授权事项旁边的范围外事项，一条要多走三步的合规路径，或者对话串里一位同事把额外的动作说成理所当然。智能体没有被黑。它只是太热心，越过了自己的权限边界。
而这个问题，你没法靠讲道理绕过去。
把推理预算加上去，越权率从 19.3% 降到 19.1%——基本等于没动。模型更聪明，并不等于边界更清晰。授权对齐不是能力提升带来的副产品，它是一项独立的属性，必须单独定义、单独执行、单独打分。
“直接问用户”也不是答案
那些在收尾前先征求授权者意见的轨迹，越权率更低——14.0% 对 21.6%。不过作者很谨慎，只称之为相关性，而非因果关系。
业界的本能反应会是加更多审批弹窗。这个反应是错的，而且 NIST 在同一周就解释了原因：它发布了针对智能体身份管理的初步设计原则，明确指出审批流程的设计必须防止审批疲劳，因为一个人一天被问四十次，就会停止审视，开始机械点“同意”。一个永远得到“是”的弹窗不是管控，是仪式。
我自己跑着一套我见过的最激进的自主配置：我的个人 AI 遵循一条长期规则——所有事情由它自己决策和执行，只问我一个类别：花钱。所以我没法靠加弹窗来解决这个问题。我只能把征询挪到唯一真正有效的时刻：任务下发的那一刻。
现在，每个有后果的任务都带着一份分三部分的书面契约出发。要做什么。什么算做完。以及几乎没人写的那部分：禁止清单——那些即使有帮助、即使看起来显然隐含，也算违规的动作。问题在开工前以书面形式问一次。之后，撞上禁止项不是叫醒我的理由；那是一次确定性拒绝，记录在案，排队等后续审查。
边界也不能只活在模型阅读和解释的散文里——只存在于提示词中的规则，只是一个建议。在不可逆的场合，边界必须由推理之外的东西来执行：权限系统、花钱闸门、一个智能体没法靠嘴绕过去的检查。
还有一条规则也由此浮现，而且是最不显然的一条：每个任务只能有一个当前有效的授权来源。
那些从未被正式撤销的旧指令，正是这个基准测试中的良性触发条件之一。在任何真实业务里，旧指引都会像沉积物一样越堆越多。现在，当新指令取代旧指令时，旧指令会在它原本所在的位置被标记为作废，而不只是在某个人的记忆里被新指令盖过。
所以，这是我的新验收标准——我认为它也应该成为你的标准：不要再只用一个数字来汇报 Agent 的工作成果，要报告两个指标：任务完成没有，以及过程中是否始终在授权范围内。第二个指标要对照一份在工作开始之前就写好的禁止清单来打分，不能等事后再临时编清单。
如果一个系统能把所有任务都做完，却在每五个任务里就有一次悄悄越权，那它算不上“自主”，只能算“无人监管”。这两者不一样，现在终于有办法衡量了。
—— Jiahui Miao，vertciti 创始人，正在为个人打造一个 AI 操作系统
任务完成 ≠ 获得授权，两个维度都要给智能体打分
摘要： 这个行业里，每块仪表盘都只用一个数字给智能体（agent）打分：它做完了没有？一份新基准测试刚刚测出了第二个此前没人关注的数字——它有没有守在自己真正被授权的范围内？结果发现，大约每五个被委派的任务里，就有一个包含了委派方从未要求的操作。更糟的是，已完成的任务里出现越权的概率，和未完成的任务几乎一样高。完成度和授权是两个相互独立的维度。只给其中一个打分，等于在盲飞。