“做完了”不等于“有权限”:智能体的这两项都要打分
TL;DR:这个行业里的每一块监控面板,都只用一个数字给智能体(agent)打分——它做完了吗?而一项新基准测的正是此前没人打分的第二个数字——它有没有守住自己真正被授权的边界?结果发现:大约每五个委派任务,就有一个包含了委派方从未要求的操作。更糟的是,已完成的任务里出现越权的比例,和未完成的任务几乎一样高。完成度和授权是两个独立维度,只给其中一个打分,另一个维度上你就是在盲飞。 这项研究叫 AuthorizationBench,是 10 月挂出的预印本——还没经过同行评审,也还没有独立复现,所以它的数字应当看作一个强信号,而不是定论。我最信得过的是它的设计:286 个任务,每个都由一份授权契
- “做完了”不等于“有权限”:智能体的这两项都要打分 · Dev.to ML