UnityBench-Mini3D：用 1,178 条里程碑测试检验 LLM 在 Unity 3D 游戏开发中的真实水平
新基准 UnityBench-Mini3D 用 77 个完整的 Unity 项目级任务和 1,178 条人工编写的里程碑测试，评测大模型智能体（LLM agent）能否真正做出 3D 游戏。结果显示：简单任务平均通过率 80.9%，高难度任务只有 35.2%，总体 57.7%。
在“氛围编程”被反复讨论的当下，让模型写出一段能跑的代码早已不算难题；难的是让它进入 Unity 这类大型引擎环境，把场景、组件和运行时行为都配置正确。UnityBench-Mini3D 正是为衡量这一能力而设计：它不使用主观的模型评审，也不用“任务整体通过或失败”的粗粒度打分，而是在引擎内执行测试，给出可复现、可定位失败环节的分数。
难度如何分层
基准按任务复杂程度分为三档，每档对应不同的能力挑战：
| 难度层级 | 任务特征 | 主要挑战 |
|---|---|---|
| Easy | 单场景、组件数量较少、需求描述明确 | 正确使用基础 API 与完成场景装配 |
| Medium | 多系统交互、存在一定需求歧义 | 协调组件依赖与运行时行为 |
| Hard | 多场景或复杂运行时状态、跨系统约束 | 在部分实现与完整实现之间保持正确性 |
评测是怎么做的
- 每个任务都提供一套完整的 Unity 工程和一份自然语言需求说明，模型需要在此基础上完成开发。
- 评分依据是 1,178 条人工编写的留出里程碑测试（即专门留出、未用于调优的阶段性验收测试），覆盖场景结构、组件配置与运行时行为三个层面。
- 测试直接在引擎内运行，能给出确定性的部分得分：模型完成了多少里程碑就拿多少分，同时可以定位失败发生在哪一环，并区分“做了一半”和“完整做完”。
- 全程不依赖主观的 LLM 评审，也不只看任务级最终结果。
主要结果
| 指标 | 结果 |
|---|---|
| 任务数量 | 77 个项目级 Unity 任务 |
| 测试数量 | 1,178 条留出里程碑测试 |
| 模型数量 | 21 个模型 |
| 编码框架 | 9 种 coding harnesses（调用并驱动模型的编码脚手架） |
| Easy 平均通过率 | 80.9% |
| Hard 平均通过率 | 35.2% |
| 总体平均通过率 | 57.7% |
结论
UnityBench-Mini3D 用专家定义的技能类别组织项目级任务，并通过引擎内的里程碑测试提供可复现、可诊断的评测信号。结果表明，当前 LLM 智能体在简单的 Unity 任务上表现已经不错，但面对高难度、跨系统、依赖运行时状态的 3D 游戏开发任务时，仍有明显差距。对开发者而言，这意味着把 AI 用于游戏原型和小功能补全相对可行，但要让它独立交付复杂关卡逻辑，仍需人工把关。
关键要点
- 评测覆盖 21 个模型、9 种编码框架，共 77 个项目级 Unity 任务、1,178 条引擎内里程碑测试。
- 通过率随难度明显下滑：Easy 80.9%，Hard 35.2%，总体 57.7%。
- 部分得分机制能区分“部分实现”和“完整实现”，比只看任务是否通过更能反映真实能力差距。