Roblox 如何让 AI 代码审查的采纳率提升三倍
现在可以在 YouTube、Apple 和 Spotify 上收听和观看本期节目。在最新一期 Engineering Enablement 节目中，我与 Roblox 工程副总裁 Andrew Swerdlow 对话，聊了聊 Roblox 如何建立对 AI 智能体（AI agent）的信任，让它们自主评审、测试和部署代码。Andrew 解释了 Roblox 如何把过去的代码评审批注转化为智能体可遵循的规则，以及为什么工程工作正在转向规格说明（specification）与意图描述。我们还讨论了这对工程师技能提出了哪些新要求、Roblox 如何衡量 AI 对生产力的影响，以及如何控制成本。此外，我们也谈到了要让智能体在尽量少的人工介入下安全地上线代码，需要哪些护栏（guardrail）。
本期要点：
建立对自主开发的信任
写代码本身已经不再是最大的瓶颈。代码评审、测试和部署仍然拖慢交付速度。要释放 AI 的全部潜力，就得把软件开发生命周期中更多的环节自动化。
自主性必须靠信任换取。完善的测试基础设施、生产环境的金丝雀发布（canary release）和自动回滚能力，是让智能体独立工作的前提。
贴合组织自身的规则，把 AI 评审采纳率拉到近 70%
通用 AI 模型缺乏组织特有的知识。企业需要找到办法，把自己的内部工程实践沉淀下来，并提供给智能体使用。代码评审批注就是一座很有价值的经验知识库。Roblox 从历史反馈中挖掘规则，称为「示例」（exemplar），用来引导 AI 生成代码和评审批注。
针对组织定制的指导明显提升了 AI 代码评审的效果。Roblox 由 AI 生成的评审批注目前采纳率接近 70%，而人工撰写的批注只有 50%–55%。
规则由人来批，约 5% 的 PR 自动合并
人的判断正从「逐条评审每一处改动」转向「制定规则」。工程师可以建立并批准护栏，让 AI 在评审代码时不必时刻依赖人工介入。Roblox 已经允许部分代码自主进入生产环境：约 5% 的 PR 在通过 AI 代码评审、程序化安全检查（programmatic safety check）和风险评估之后，会自动合并。
工程工作正从写代码转向意图、架构和规格说明。随着智能体承担更多实现细节，工程师将越来越多地在更高层次的设计上协作。经验和判断力依然不可或缺。资深工程师往往更有能力质疑 AI 生成的方案，并预见扩展性、可维护性和系统设计方面的问题。工程面试或许需要考察过程而非仅看结果。候选人使用 AI 的效率、编写规格说明的能力以及找到解决方案的路径，可能比传统的编程题更重要。
Roblox 追踪已接受、已回滚和无人值守的代码
AI 生成代码的数量正变得越来越没有意义。真正重要的是这些代码能否在生产环境中存活、能否创造价值、是否需要更少的人工干预。Roblox 正在尝试新的生产力衡量方式。智能体自主性、功能交付速度和开发者满意度，有助于揭示 AI 工具是否真正在改善工程产出。
会话追踪和缓存是控制 AI 成本的主要手段
可观测性对于理解 AI 成本和浪费至关重要。Roblox 追踪智能体会话、token 用量和代码产出，以识别低效的工作流和改进机会。合适的基础设施能大幅降低成本。通过缓存和共享上下文，Roblox 将单条代码审查规则评估的成本降低了 90%。在快速变化的 AI 格局中，灵活性很重要。Roblox 没有选择全部自研或绑定单一供应商，而是支持多种模型和工具，让工程师能采用最有效的方案。
在本期节目中，我们聊到：
（00:00）开场
（02:20）在软件开发生命周期中建立对 AI 的信任
（04:44）人工监督何时有帮助，何时反而碍事
（06:50）AI 智能体需要了解你组织的哪些信息
（08:45）Roblox 如何把工程知识转化为 AI 智能体的规则
（12:40）AI 代码审查与人工代码审查的对比
（14:59）如何在文档之外沉淀工程知识
（18:14）AI 如何改变工程师需要理解的内容
（20:17）向规格驱动开发的转变
（23:24）AI 如何改变我们对工程师的评估方式
（26:33）AI 时代下重思工程面试
（28:23）Roblox 如何追踪 AI 生成的代码
（35:56）模型路由与选择合适的 AI 工具
（39:50）衡量 AI 对工程效率的影响
（44:44）大规模场景下优化 AI 成本
（48:12）Roblox 的构建者与软件工程的未来
（50:19）建立对自主代码审查的信任
（53:11）向自主工程转型的文化变迁
哪里可以找到 Andrew Swerdlow：
• LinkedIn：https://www.linkedin.com/in/andrewswerdlow/
• X：https://x.com/andrewswerdlow
• 网站：https://andrewswerdlow.net
哪里可以找到 Brian Houck：
• LinkedIn：https://www.linkedin.com/in/brianhouck
参考资料：
• CAFE(S)：你的智能体有多好，取决于它的上下文
• Roblox
• Andrew Swerdlow 的《技术领导力》
• Margaret-Anne Storey
• Malte Ubl - Vercel | LinkedIn
• Grafana Labs
• Kushan Mehta | LinkedIn
• Diff Risk Score：AI 驱动的风险感知软件开发 - Meta 工程博客
Andrew Swerdlow 分享了 Roblox 如何建立对 AI 智能体的信任，让它们自主评审、测试和部署代码，以及这对工程师意味着什么。