扩散模型不再逐个生成 Token:Clover-35B 用 350 亿参数挑战 Agent 编程

扩散语言模型正在从研究走向更大规模。10 月 28 日,DiffuSpace 开源 Clover-35B-A3B-Preview,用混合专家架构把总参数推到 350 亿,官方称生成速度达 680 tokens/s,并在 SWE-bench 等 Agent 基准上给出成绩。它想证明的是:并行解码不只是快,也能干活。 ## 换一条生成路线:从“逐字写”到“并行改” 大语言模型一定要从左到右、一个词一个词地往外生成吗? 过去几年,GPT、Claude、Qwen 等主流模型都采用自回归方式:每生成一个 Token(模型处理文本的基本单位,可粗略理解为词或词的一部分),都要基于前面所有内容重新计算一遍。