超越自回归局限：面向代码的扩散模型、世界模型与状态空间模型综述
超越自回归局限：面向代码的扩散模型、世界模型与状态空间模型综述
摘要：自回归（AR）语言模型推动了自动化软件工程的显著进展，实现了强大的代码生成与辅助系统。然而，下一个词元预测范式在代码推理方面引入了结构性局限，包括：全局规划受限、长程依赖维护困难，以及在程序执行语义层面的基础薄弱。鉴于现有文献对AR模型存在严重偏向，我们探讨了可能通过解锁代码智能的下一代架构能力，从而克服下一个词元预测逻辑与扩展瓶颈的新兴范式。具体而言，我们讨论了扩散模型（Diffusion Models）的潜力——此类模型通过整体去噪生成代码，能够捕捉AR模型常遗漏的长程句法约束。我们还讨论了代码世界模型（Code World Models, CWMs），它通过模拟执行状态来支持推理；以及状态空间模型（State Space Models, SSMs），它为海量上下文提供了线性时间效率。通过将这些进展与认知神经科学的发现相连接，我们勾勒出开发“系统2”代码生成代理的方向。