Kimi-K3 模型入门指南：Moonshot AI 的 2.8T 参数开源多模态智能体
Moonshot AI 发布了 Kimi-K3，一个拥有 2.8 万亿参数的开源多模态模型，支持文本、图像和视频输入，上下文窗口长达 100 万 token。该模型采用自研的注意力机制和稀疏专家架构，在长周期编程和智能体任务中表现突出。本文介绍其核心特性、最佳使用场景和关键注意事项。
模型概览
Kimi-K3 是 moonshotai 开发的一款开放权重多模态智能体模型，参数量达 2.8 万亿（即 2.8T 参数）。它是全球首个开源的 3T 级模型，基于 Moonshot AI 自研的 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）架构，并采用 Stable LatentMoE 框架——每个 token 只激活 896 个专家中的 16 个，计算效率相比上一代提升了 2.5 倍。
模型原生支持多模态，可以在同一前向推理过程中处理文本、图像和视频，上下文窗口长达 100 万 token（精确值为 1,048,576 tokens）。训练时采用了量化感知训练，权重用 MXFP4 格式，激活值用 MXFP8 格式。模型运行在 transformers 库上，主要面向长周期编程任务、智能体知识工作和重度推理场景。
需要特别注意的是，虽然 Kimi-K3 在多项基准测试中与闭源前沿模型表现相当，但它根据 Kimi K3 License 协议开放使用，允许研究和部署，同时保留特定的许可限制。使用前请仔细阅读许可协议。
主要使用场景
长周期软件工程与代码生成
Kimi-K3 拥有 100 万 token 的上下文窗口，且架构专门针对持续工程会话进行了优化，可以处理 GPU 内核优化、编译器开发和仓库级代码导航，几乎不需要人工干预。它的 93 层 Transformer 中包含了 69 层 Kimi Delta Attention 和 24 层门控多头潜在注意力（Gated Multi-Head Latent Attention, MLA），为理解复杂代码库提供了足够的深度。
该模型在代码智能体基准测试中表现出色：
- FrontierSWE：81.2 分
- Terminal-Bench 2.1：88.3 分
在需要跨数千行代码和多个文件操作保持上下文的智能体编程任务中，Kimi-K3 超越了大多数竞品。
视觉反馈的产品设计与 CAD 工作
Kimi-K3 的多模态能力使其能够直接处理图像和视频输入，适用于需要视觉反馈的产品设计场景，例如 CAD 模型生成、草图到渲染的转换等。由于上下文窗口大，模型可以在一次对话中参考多张设计图、技术文档和历史修改记录，提升设计迭代效率。
智能体知识工作与重度推理
对于需要多步骤推理和长期记忆的智能体任务（如文档分析、合规审查、科学论文解读），Kimi-K3 的 100 万 token 上下文窗口允许它一次性处理完整的长文档或对话历史，减少分段处理带来的信息丢失。同时，MoE 架构的稀疏激活特性使推理成本可控，适合部署在需要持续运行的智能体应用中。
技术亮点
- 自研注意力架构：Kimi Delta Attention 和 Attention Residuals 提升了长序列处理时的信息保持能力，配合门控多头潜在注意力，在深度 Transformer 中实现高效上下文建模。
- Stable LatentMoE 框架：在 896 个专家中仅激活 16 个，大幅降低计算开销，同时保持模型容量。相比上一代，计算效率提升 2.5 倍。
- 量化感知训练：权重使用 4 位浮点（MXFP4），激活值使用 8 位浮点（MXFP8），在减少模型存储和推理显存占用的同时，尽量维持精度。
核心注意事项
- 许可限制：Kimi-K3 使用专有的 Kimi K3 License，允许研究和部署，但并非完全开放（如商业用途可能受限）。务必在项目中使用前确认许可条款。
- 硬件需求：由于参数量巨大，推理需要大显存的 GPU（如 A100/H100 80GB）或分布式部署方案。量化后有助于降低门槛，但仍有较高硬件要求。
- 适用场景：模型专为长周期、高复杂度任务设计，对于短文本生成或简单问答，可能不如轻量模型高效。