计算器纪律——AI辅助披露中的幻觉

HN AI Coding 2026-06-27T09:22:23.769958

计算器纪律——AI辅助披露中的幻觉

描述

AI辅助使得源码审查变得廉价,就像工程史上每一次生产力倍增器一样,它也使得犯错变得廉价。开源安全社区在过去十八个月里注意到了结果:漏洞悬赏队列被大量看似合理但实际编造的漏洞报告淹没,其中curl项目在2026年1月关闭其HackerOne计划便是典型案例。迄今为止,讨论大多停留在抱怨层面。我们缺少的是对失败模式的分类、一个能捕获其中最常见机械性错误的发送前过滤器,以及那些曾经亲手产出过这些劣质内容的研究人员提供的诚实案例研究。

本文提供了以上三者。我们提出了一个四类分类法(漏洞形态编造、证据编造、严重性夸大、琐碎问题冒充关键漏洞),呈现了两个真实披露撤回案例以及一个在发送前被拦截的接近失误案例,并描述了一个可工作的发送前工具(hallucination_check.py),其四个验证器源自这些案例。作者本人就是曾产出过这些劣质内容的人之一;这里描述的纪律之所以存在,正是因为失败发生在他身上。

贯穿全文的框架是:AI是一个计算器——一个能让谨慎用户更快、让粗心用户错误得更快的工具。解决方案不是弃用计算器,而是应用计算器纪律。

其他

本文以CC BY 4.0许可发布。第6节中描述的配套工具(hallucination_check.py,约35 KB)以BSD 2-Clause许可单独发布,并通过项目的公共工件目录分发。

第2节和第3节的案例研究引用了2026年5月向OpenBSD项目(bugs@openbsd.org和security@openbsd.org)提交的披露。出于对security@openbsd.org邮件列表私密状态的尊重,本文未复现其通信原文;第3节的转述保留了实质内容。

本文是在LLM(大语言模型)(Claude,Anthropic)辅助下起草的,作为《2010年平等法》第20条(神经多样性作者)下的合理调整。作者在发表前独立验证了每一个引用的文件路径、提交哈希、人名和URL。

查看原文