Kimi K3：开放前沿智能

Kimi Blog 发布日期待确认

今天，我们推出 Kimi K3——这是我们迄今为止能力最强的模型。Kimi K3 是一个 2.8 万亿参数的模型，基于我们的 Kimi Delta Attention 和 Attention Residuals 构建，原生支持视觉能力，上下文窗口达到 100 万 token。它是全球首个开放的 3T 级模型，面向长程编程、知识工作和推理等前沿智能场景而设计。

虽然整体表现仍落后于最强大的闭源模型 Claude Fable 5 和 GPT 5.6 Sol，但 Kimi K3 在我们的评测套件中展现出了前沿水平的表现，持续优于其他受测模型。

Kimi K3 即日起在 Kimi.com、Kimi Work、Kimi Code 和 Kimi API 上线。发布初期，Kimi K3 默认使用最大思考强度，低强度和高强度模式将在后续更新中推出。我们正与推理合作伙伴和开源维护者紧密合作，对齐技术细节，确保在整个生态中稳定落地。完整模型权重将于 2026 年 7 月 27 日前发布。有关架构、训练和评测的更多细节，将随 Kimi K3 技术报告一同公布。

开放的 3T 级模型

Kimi K3 是首个参数量达到 2.8 万亿的开放模型。这标志着 Kimi 在规模前沿持续发力的最新一步：过去十二个月中有九个月，Kimi 模型都刷新了开放模型规模的上限。

Kimi K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）两项架构改进构建，目的是优化信息在序列长度和模型深度上的流动方式。我们还扩大了混合专家模型（MoE）的稀疏度，配合 Stable LatentMoE 框架，896 个专家中实际激活 16 个。再加上训练方法和数据配方的改进，这些结构性调整让整体扩展效率比 Kimi K2 提升约 2.5 倍，模型能更高效地把算力转化为智能。

编程

Kimi K3 的长周期编程表现很强。它几乎不需要人工干预，就能持续进行长时间的工程开发，在庞大的代码仓库中穿梭，并调度终端工具。

在软件工程与视觉推理结合的任务中，Kimi K3 同样表现出色——它能利用截图和视觉信息优化游戏开发、前端和 CAD 工作。

下面的案例展示了 Kimi K3 的编程能力如何转化为开放式软件创作和科学研究。

内核优化

我们测试了模型优化 GPU 内核的能力。每个模型在相同的沙盒中独立工作，最多有 24 小时来分析、重写和基准测试四项任务，涵盖 AttnRes、KDA 和一个 512 头维度的 MLA 内核，运行在 NVIDIA Hopper GPU 和另一家厂商的通用 GPU（GPGPU）上。Kimi K3 的表现与 Fable 5（带 fallback）相当，并大幅超越 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。

Claude Fable 5 由第三方评估，其结果可能包含 fallback 行为。在大多数模型中，部分轨迹包含一些小的、可接受的精度捷径，仍在我们允许的数值容差范围内。GPGPU 指用于图形渲染之外计算的通用 GPU。

在 Kimi K3 开发的后期，一个早期版本的 Kimi K3 承担了团队大部分的内核优化工作。

GPU 编译器开发

我们还测试了 Kimi K3 能否从零搭建一套 GPU 编程系统。Kimi K3 开发出了 MiniTriton：一个精简的、类 Triton 的编译器，在 MLIR 之上自带 tile 级中间表示（IR）层，并配有优化 pass 和 PTX 代码生成流水线。在支持的 roofline 基准测试中，MiniTriton 的性能与 Triton、torch.compile 持平甚至更好——在某些工作负载上还胜过 Triton。除了微基准测试，MiniTriton 还能支撑端到端的 nanoGPT 训练并保持稳定收敛，loss 曲线紧贴参考结果，仅有轻微偏差——这证明了整套流水线在真实工作负载上也能跑通。这些结果表明，Kimi K3 能构建一个连贯的端到端编译器——从 DSL 前端、IR pass 到 PTX 代码生成和运行时——而不是只写出孤立的 kernel；它从零实现的 Tensor Core 路径，已经能与 Triton 经过大量优化的技术栈相媲美。

游戏开发与数字创作

Kimi K3 把强大的 3D 推理、编码和视觉能力结合起来，将概念、图像和视频转化为可完整游玩的交互体验。Kimi K3 实现了真正的“vision in the loop”（视觉在环）：在代码和实时截图之间无缝迭代——即时看到输出并加以改进。

芯片设计

作为早期的概念验证，Kimi K3 设计了一款芯片，用来运行基于它自身架构构建的 nano 模型。在一次 48 小时的自主运行中，K3 使用开源 EDA 工具，在 Nangate 45nm 工艺库上完成了这款芯片的构建、优化和验证。在 4 mm² 的面积内，芯片在 100 MHz 下完成时序收敛，仿真中解码吞吐量超过 8,700 tokens/s，集成了 146 万个标准单元、0.277 MB SRAM，以及带融合反量化的 INT4 MAC 阵列。一款由模型设计、为模型服务的芯片，体现了 K3 的长时程智能体能力。

面向科研的编码

Kimi K3 打通了科学文献与可执行代码之间的隔阂，能自主实现、验证和分析复杂的计算研究工作流。

在一个案例中，资深研究者通常需要一到两周才能完成的工作，Kimi K3 只花了大约两小时。任务是复现计算天体物理中的 I–Love–Q 普适关系：它审阅并交叉验证了 20 多篇论文，搭建出完整的数值流程，评估了 300 多个状态方程，找出了已发表公式里的不一致之处，生成了 3000 多行 Python 代码，还做了一个可交互的 HTML 仪表盘，方便查看结果。

知识工作

Kimi K3 把端到端知识工作向前推进了一步。除了公开基准测试，Kimi K3（max）在我们的内部评测中也表现出稳定提升——这些评测取自真实用户与智能体工作流中反复出现的模式和难题。多个面向生产的工作流都能看到这种稳定优势，说明 Kimi K3 的智能体知识工作能力有了全面提升。

研究 + 交互可视化

以下是 Kimi Work 中的 Kimi K3 在金融咨询和科学研究中能产出的一些例子：

案例 1：42 年 AI ASIC 行业研究的交互式网站

案例 3：GWTC-5 引力波分析

本次分析涵盖 391 个引力波事件，并动员了 20 余个并发子代理，最终产出 7 张科学可视化图、2 张表格，以及一份整合 10 余篇论文的文献综述。

Kimi K3 也特别擅长制作信息图风格的演示，例如下面展示的完全可编辑热力图和年度报告：

小部件与仪表盘

在 Kimi Work 中，我们推出两个新功能：小部件（Widgets）和仪表盘（Dashboard），使与 Kimi K3 的交互更加可视、更具持续性。小部件让你直接在聊天中生成交互式组件，并能连接本地数据或外部插件持续更新。仪表盘则将你最关心的小部件汇聚到一个持久、个性化的视图中，围绕某个主题、项目或目标进行组织。

视频编辑

Kimi K3 在动态设计、动画和视频编辑方面表现出色，因为其原生多模态架构能在同一个模型中理解文本、图像和视频。

在一个示例中，K3 以 3Blue1Brown 风格的运动图形，为自己的架构制作了一部解释视频，将技术概念转化为动画图表和转场。

在另一个示例中，Kimi K3 使用 56 个源片段剪辑了自己的预告视频，完成了片段挑选、运动匹配剪辑、帧级精确的节拍同步、音频处理以及多轮修改。像这样高密度的短视频，通常需要一位有经验的剪辑师工作一到两天，新手则需要三到五天。

架构与基础设施

Kimi K3 构建在 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 之上。KDA 为注意力扩展提供了高效的基础，而 AttnRes 则选择性地跨深度检索表示，而非统一累积。二者共同构成该模型的架构主干，旨在支持远超万亿参数规模的扩展。

Kimi K3 采用 Stable LatentMoE，在 896 个专家中有效激活 16 个。稀疏程度这么高，路由和优化就成了首要难题。Quantile Balancing 直接从路由分数的分位数推导专家分配，不再依赖启发式更新和敏感的超参数调优；Per-Head Muon 则把 Muon 扩展到了每个注意力头的独立优化，让大规模训练的学习过程更自适应。Sigmoid Tanh Unit（SiTU）和 Gated MLA 分别改进了激活控制和注意力选择性。这些改进共同支撑起 2.8 万亿参数规模下稳定高效的训练。

Kimi K3 从 SFT 阶段起就应用量化感知训练，权重使用 MXFP4、激活使用 MXFP8，以兼容广泛的硬件。大规模专家并行下，专家不均衡会拖累吞吐，为此我们引入了一种完全均衡的专家并行训练方法：形状静态固定，关键路径上不需要主机同步。推理效率同样受益于更大的高带宽通信域，因此我们建议在配备 64 个或更多加速器的超节点配置上部署 Kimi K3。另外，KDA 给传统前缀缓存带来了新挑战，我们已向 vLLM 社区贡献了相应实现，并将随模型一同发布。带预填充缓存的 KDA 让我们能以极具竞争力的 token 价格提供 Kimi K3 服务，尽管它的规模和上下文长度都很可观。

更多技术细节将在我们即将发布的报告中提供。

可用性

• Kimi K3 Agents：从移动应用商店下载或更新最新版 Kimi 应用，支持 iOS、Android 和 HarmonyOS，或访问 kimi.com。
• 使用 Kimi K3 工作：下载最新版 Kimi Work 桌面应用，版本 3.1.0 或更高，支持 Windows 和 Apple silicon Mac。
• 使用 Kimi K3 编程：在终端运行 Kimi Code，使用 /model 命令选择 Kimi K3。
• 使用 Kimi API 构建：访问 Kimi API 平台 并选择 kimi-k3。定价为缓存命中输入 $0.30/MTok，缓存未命中输入 $3.00/MTok，输出 $15.00/MTok。依托 Mooncake 的解耦推理架构，官方 Kimi API 在编程工作负载中实现超过 90% 的缓存命中率。
• 将 Kimi 引入你的组织：Kimi Enterprise 提供企业级数据隐私和成员管理，个人账户与组织账户完全分离。访问定价页面并选择“Get Kimi Enterprise”为你的团队订阅。

完整基准测试表

脚注

下文报告的所有 Kimi K3 结果均在推理强度设为“max”、temperature = 1.0 和 top-p = 1.0 的条件下获得。视基准不同，每个模型在三种代理框架之一——Kimi Code、Claude Code 或 Codex——下进行评估，具体见下文注释。

Coding benchmarks

1. DeepSWE. Kimi K3 is evaluated with the Kimi Code harness. The GLM-5.2 score is taken from the GLM-5.2 release blog (https://z.ai/blog/glm-5.2); all remaining scores are from the official DeepSWE leaderboard (https://deepswe.datacurve.ai/), under which Kimi K3 attains 67.3 with the mini-SWE-agent harness. We report the DeepSWE v1.1 tasks.

2. Terminal-Bench 2.1。 Kimi K3 使用 Kimi Code 测试框架进行评测。其他模型则取各自在不同框架下的最佳成绩：GLM-5.2 使用 Claude Code（https://z.ai/blog/glm-5.2）；Claude Opus 4.8 和 Claude Fable 5 使用 Terminus 2（https://artificialanalysis.ai/evaluations/terminalbench-v2-1）；GPT 5.5 和 GPT 5.6 Sol 使用 Codex（https://openai.com/index/previewing-gpt-5-6-sol/）。

3. Program Bench。 Kimi K3 使用 Kimi Code 测试框架进行评测。GLM-5.2 的成绩来自 https://z.ai/blog/glm-5.2；其余成绩来自 https://www.vals.ai/benchmarks/programbench。

4. SWE Marathon。 Kimi K3、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 测试框架进行评测；GPT-5.6 Sol 使用 Codex 测试框架。GLM-5.2 的成绩来自 https://z.ai/blog/glm-5.2。我们的评测基于官方 v1.1 任务的 H20 校准分支（https://www.swe-marathon.org/）：GPU 任务的 Docker 镜像、性能门槛和参考基准都已按 H20 重新校准，正确性和反作弊校验器保持不变。此外，Claude Fable 5 在我们的评测中有 35% 的任务触发了降级回退，这可能对其测得的性能造成了负面影响。

5. FrontierSWE。 Kimi K3 使用 Kimi Code 测试框架评测，GPT-5.6 Sol 使用 Codex 测试框架；其余结果来自 https://www.frontierswe.com/。优势分（Dominance score）使用官方评测脚本从原始分数重新计算，数据截至 2026 年 7 月 16 日。

6. PostTrain Bench。 GLM-5.2、GPT-5.5 和 Claude Opus 4.8 的分数取自 PostTrainBench 官方结果（https://posttrainbench.com/）。Kimi K3、Claude Fable 5 和 GPT-5.6 Sol 则用官方 Harbor 实现，以最高推理强度评测，在 H20 GPU 上跑三次取平均（官方设置用的是 H100）。其中 Kimi K3 和 Claude Fable 5 用 Claude Code 测试框架，GPT-5.6 Sol 用 Codex 测试框架。

7. MLS Bench Lite。 Kimi K3 用 Kimi Code 测试框架评测；GLM-5.2 和 Claude 系列模型用 Claude Code 测试框架；GPT-5.5 和 GPT-5.6 Sol 用 Codex 测试框架。

8. KCB 2.0。 Kimi K3 同时用 Kimi Code 和 Claude Code 两套测试框架评测；GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 用 Claude Code；GPT-5.5 和 GPT-5.6 Sol 用 Codex。所有模型都以最高推理强度评测，只有 GPT-5.5 用的是「xhigh」档。另外说明一点：在这个内部基准测试中，有 10% 的任务触发了 GPT-5.6 Sol 的网络安全防护。

生产力与智能体基准测试

1. 在 OfficeQA Pro 中，每个测试用例都向智能体提供完整的 PDF 语料库；所有 PDF 均以图像形式呈现，不提供机器可读的文本。
2. OfficeQA Pro 与 SpreadsheetBench 2。 Kimi K3、GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code 框架评估；GPT 5.5 和 GPT 5.6 Sol 使用 Codex 框架评估。
3. MCP Atlas。 所有模型都在 500 个任务的公开子集上评估，限制 100 轮，使用 Gemini 3.1 Pro 作为评判模型。
4. AutomationBench。 所有模型都在 600 个任务的公开子集上评估，其他方面均遵循官方 GitHub 设置。
5. BrowseComp。 我们采用 Claude 模型卡中使用的上下文压缩策略，在 300K token 时触发。在 1M token 上下文窗口且不做上下文管理的情况下评估时，Kimi K3 得分 90.4。Claude Fable 5、Claude Opus 4.8、GPT 5.6 Sol 和 GPT 5.5 的结果引自 https://www.anthropic.com/news/claude-fable-5-mythos-5 和 https://openai.com/index/gpt-5-6/。
6. GDPval-AA、AA-Briefcase 和 APEX-Agents 的分数引自 https://artificialanalysis.ai/。

查看原文