Kimi K3开源：2.8万亿参数背后的能力与门槛

2026年7月27日，月之暗面举行 Kimi K3 开放日，正式开放 Kimi K3 模型权重和技术报告，同时放出支撑训练的关键 Infra 技术。

这次发布很快冲到海外开发者面前。Hugging Face CEO Clem Delangue 提到，Kimi K3 在发布后 30 分钟内获得超过 4000 个赞，登顶 Hugging Face 趋势榜，是平台上增长最快的发布之一。上线前半小时，已有近 3700 名开发者等待模型开放。

热度来得快，不只是因为“又一个大模型开源”。Kimi K3 的特殊之处在于，它不是只给出一个可下载的权重文件，而是把模型、技术报告、部分训练系统和智能体环境一起端出来。对于开发者来说，这更像是打开了一套前沿模型生产线的一部分：你能看到模型长什么样，也能看到它背后怎么训练、怎么通信、怎么跑 Agent 任务。

下面拆开看。

2.8万亿参数：Kimi K3到底大在哪里

Kimi K3 是月之暗面目前能力最强的模型。它采用 MoE（Mixture of Experts，混合专家）架构，总参数量达到 2.8 万亿，约为 Kimi K2.5 的 3 倍。

但 MoE 模型不能只看总参数。它不是每次回答都把 2.8 万亿参数全部点亮。Kimi K3 使用稀疏激活机制：每个 Token 会从 896 个路由专家中选择并激活 16 个专家，单次激活参数约 104B。这样做的好处是，模型可以拥有非常大的“知识与能力储备”，但推理时只调用其中一部分，尽量控制计算成本。

可以把它想成一座大型医院。医院里有 896 个专科团队，病人来了不会让所有医生一起会诊，而是由分诊系统挑出最相关的 16 个团队处理。医院规模很大，但每次问诊的工作量没有按医院总人数线性增长。

Kimi K3 的几个核心规格放在一起看，会更清楚：

这里容易产生一个疑问：2.8 万亿参数，为什么开放权重不是夸张到难以想象的体积？

原因在于量化格式。Kimi K3 权重约 1.56T，与其采用的 FP4 量化有关。简单说，模型参数没有按常规高精度格式完整存储，而是用更低比特的格式压缩表示。这样可以明显降低存储和传输压力。不过，权重文件变小不等于模型变“轻”。它仍然是一个超大规模模型，后面说部署门槛时会看到这一点。

Kimi K3 的另一个关键点是 100 万 Token 上下文。百万 Token 不是一个好看的宣传数字，它会直接改变模型能处理的任务类型。

例如：

• 一次读完整个大型代码仓库，而不是只看几个文件；
• 分析几百页合同、论文、财报或医学文档；
• 把多轮 Agent 操作记录、工具调用结果、错误日志都留在上下文里；
• 在长时间任务中保持状态，不容易“中途失忆”。

对普通聊天来说，百万上下文未必每天都用得上。但对代码工程、科研分析、自动化办公、复杂智能体任务，它会减少很多切片、检索、拼接和上下文丢失带来的麻烦。

不只是堆参数：KDA、Stable LatentMoE和MoonViT-V2

Kimi K3 的能力提升不只是参数变大。技术报告里给出的路线更像是三条线一起推进：注意力机制、MoE 训练稳定性、视觉编码器。

注意力机制：让长上下文算得更稳

Kimi K3 在注意力机制上采用了 3:1 的混合方案：Kimi Delta Attention 与 Gated MLA 组合使用，并加入块级 Attention Residuals。

长上下文模型有一个老问题：文本越长，计算越贵，信息传递也越容易变散。模型读到后面，前面那些关键线索可能还在上下文里，但已经不容易被有效调用。Kimi Delta Attention 的目标就是提高长上下文计算效率，而 Gated MLA 则用于增强注意力表达。块级 Attention Residuals 则像是在不同网络层之间多修了几条通道，让信息不要在深层传递中丢得太快。

这些结构听起来很工程，但落到实际场景就是：模型要读 80 万 Token 的代码和日志时，不能前面读完后面忘，也不能因为上下文太长把推理成本炸穿。

MoE架构：大规模稀疏模型最怕不稳定

Kimi K3 采用 Stable LatentMoE。每个 Token 从 896 个路由专家里激活 16 个，同时结合 SiTU-GLU 与 Quantile Balancing，用来提升高稀疏度训练下的稳定性。

MoE 模型训练难点之一，是“分活儿”不均。有些专家可能被大量 Token 频繁调用，忙得排队；有些专家被冷落，几乎没有训练信号。长时间下去，模型内部会出现专家负载失衡，训练效率和最终能力都会受影响。

Quantile Balancing 这类机制，就是为了让专家分配更可控。它不只是为了好看地“平均分配”，而是为了避免少数专家过载、少数专家荒废，让 2.8 万亿参数真正参与到有效学习中。

视觉编码器：MoonViT-V2从零训练

视觉能力方面，Kimi K3 使用 MoonViT-V2 编码器。这个编码器从零开始，以 next-token prediction 的方式训练，不依赖传统对比学习预训练。

以往很多视觉语言模型会先使用类似对比学习的方法，把图片和文本配对拉近，再接入语言模型。MoonViT-V2 的路线不同，它更早地把视觉信息纳入统一的生成式训练目标中。技术报告显示，这种方式在达到 SigLIP 初始化基线效果的同时，获得了更稳定的优化过程。

这对文档、图表、截图、界面理解很重要。今天的多模态任务早就不只是“这张图里有什么”。真实使用里，用户会丢来一张财务图表、一页论文截图、一份扫描合同、一张软件报错界面。模型需要读结构、读坐标、读文字，还要把视觉信息和推理过程接上。

三项Infra开放：这次不只是给模型

Kimi K3 开放日里，月之暗面同步开放了三项关键基础设施技术：MoonEP、FlashKDA 和 AgentEnv。其中 FlashKDA 此前已经开源，MoonEP 与 AgentEnv 随本次发布正式开源。

这件事比很多人想象得更重要。开源模型权重解决的是“有没有模型”。开放训练和后训练基础设施，解决的是“别人能不能少踩一些重复的坑”。

MoonEP 主要服务于超大 MoE 模型训练。MoE 的专家分布在不同设备上，Token 被路由到不同专家后，就会出现大量跨卡、跨节点通信。如果某些专家被大量 Token 命中，通信压力会变得不均衡。MoonEP 要处理的，就是这种负载不均下的高效专家并行通信。

FlashKDA 则是更贴近推理和训练算子的部分。资料显示，在英伟达 H20 GPU 上，FlashKDA 的 Prefill 速度相比 flash-linear-attention 基线提升约 1.72 至 2.22 倍，并可作为替换后端使用。Prefill 是长上下文推理里非常关键的一段：模型要先把用户输入的大量上下文“读进去”，这一步越慢，长文档、长代码仓库、长日志分析的等待时间就越明显。

AgentEnv 的场景更偏后训练。它由月之暗面与 KVCache.ai 联合开发，是一个智能体沙箱系统，支持快速快照、恢复和分叉。听起来像虚拟机功能，但对 Agent 训练非常实际。

例如，让模型在一个代码仓库里自主修 bug。它会打开文件、修改代码、运行测试、遇到报错、回滚、再尝试。训练时不能让这些操作污染真实环境，也不能每次失败都从头创建环境。快照、恢复、分叉就派上用场：模型可以在同一个任务节点上尝试多条路径，失败后迅速回到某个状态继续探索。

这也是 Kimi K3 强调 Agent 能力的原因之一。Agent 不是会聊天就够了，它要能在可执行环境里长期行动，承受失败，读取反馈，再修改策略。

编程、Agent、视觉：Kimi K3的成绩单

官方评测显示，Kimi K3 在编程、Agent 任务和视觉理解上表现突出。为了避免只看几个孤立分数，可以先把主要结果放到一张表里。

编程能力是这次最容易被开发者感知的部分。Kimi K3 在 SWE Marathon、Program Bench 中取得第一，在 Terminal Bench 2.1 中达到 88.3 分。Terminal Bench 这类测试更接近真实开发：模型不只是补几行代码，而是要理解终端输出、执行命令、定位错误、继续修复。

FrontierSWE 更偏高难软件工程任务。Kimi K3 以 81.2 分排在第二，仅次于 Claude Fable 5。这个结果说明它不是只擅长刷算法题，而是在真实工程链条里具备较强操作能力。

一些实际测试也很有意思。智东西在 Kimi K3 Max 模式下测试复杂 3D 横版格斗游戏生成，Kimi K3 一次完成游戏创建且没有出现错误。海外开发者也对比了 Kimi K3、GPT-5.6 Sol、Fable 5 在游戏设计上的表现，认为 Kimi K3 在玩法核心、节奏自然度和调用成本上表现突出，单次调用成本约 0.030 美元。

这种案例比单纯跑分更能说明问题。游戏生成任务会同时考验代码结构、交互逻辑、物理效果、素材组织和调试能力。模型写出一段能运行的代码不难，难的是一次性把玩法闭环搭起来，还不让项目在运行时崩掉。

Agent 和知识工作场景也值得看。Kimi K3 在 BrowseComp 达到 91.2 分，在 Automation Bench 和 SpreadsheetBench 2 中排名第一。浏览、自动化、表格处理，看起来不像炫技任务，却是企业环境里最常见的工作：查资料、整理数据、填表、比较条款、生成报告、处理重复流程。模型如果能稳定执行这些任务，带来的效率提升会比“会写诗”直接得多。

视觉方向上，Kimi K3 在 OmniDocBench 达到 91.1 分，在图表理解 CharXiv 等任务上表现较强。文档视觉理解的价值也很具体：很多公司文件不是干净的 Markdown，而是 PDF、扫描件、PPT、图片表格、合同截图。模型能不能读懂这些材料，会直接影响它能否进入真实办公流。

当然，Kimi K3 并不是所有场景都满分。视频体验里也提到，它整体能力相比此前模型提升明显，但在部分前端生成场景中，实际效果未必达到所有用户的最高预期。这个反馈很正常。前端生成不只考代码，还考审美、布局、交互细节和浏览器兼容。一个模型在软件工程测试里很强，不等于每次都能生成让设计师满意的页面。

长程任务：48小时自主运行意味着什么

Kimi K3 官方展示了一些长程任务案例，包括：

• 连续 48 小时自主运行，完成芯片构建、优化与验证；
• 一次分析 391 个 GWTC-5 引力波事件，调用 20 多个并发子智能体，产出科学可视化图和表格；
• 从零开发类似 Triton 的 MiniTriton 编译器。

这些任务有一个共同点：时间长、步骤多、失败概率高。模型不能只在单轮问答里给出漂亮答案，它要持续推进任务。

以“开发 MiniTriton 编译器”为例，模型可能需要先设计语法或中间表示，再写解析器、调度逻辑、代码生成部分，接着跑测试，发现错误后定位问题。每一步都可能需要改动前面的设计。普通短上下文模型容易在这种流程中丢状态：忘了之前为什么这么写，忘了某个约束，或者无法综合大量测试反馈。

百万 Token 上下文、AgentEnv 沙箱、后训练阶段覆盖编程 Agent 和通用 Agent，都是为这类长程任务服务的。模型要成为真正可用的工程助手，不能只会“建议你这样做”，还要能打开项目、动手修改、运行测试、看结果，再继续修。

生态反应：海外和国内基础设施都在抢适配

Kimi K3 开源后，海外 AI 基础设施厂商很快开始适配，包括 Nebius、Baseten、Fireworks 等。Nebius 称 Kimi K3 是首个达到前沿性能水平的开放权重模型，是开放模型发展的一大进步。

Cognition 也宣布 Kimi K3 接入 Devin 桌面客户端与命令行工具，并称其是在 FrontierCode 1.1 评测基准上首款性能逼近前沿水准的开源模型。Devin 这类开发者 Agent 产品接入 Kimi K3，说明它已经被放进真实工程工具链里测试，而不是只停留在模型榜单上。

国内硬件与推理生态的响应也很快。华为昇腾 CANN 宣布对模型 MXFP4 量化实现 Day 0 原生支持，并提供在昇腾 950PR/DT 系列和 Atlas A3 系列集群上的部署实践。趋境科技基于 SGLang 完成 Kimi K3 在华为昇腾 910C 超节点上的 Day 0 适配，并同步开源相关成果。

这类 Day 0 适配很关键。开放权重只是第一步，模型要真正被使用，还要进入推理框架、云平台、硬件集群、开发工具和企业流程。否则权重躺在仓库里，开发者只能点赞，很难把它接进业务。

开源不等于低成本本地运行

Kimi K3 权重开放后，很多人最关心的问题是：我能不能自己部署？

答案要看“自己”是谁。

如果是普通开发者，用一两张消费级显卡，比如 4090、5090，基本不用期待完整有效部署。Kimi K3 权重约 1.56T，对显存、内存、带宽、推理框架和集群调度都有很高要求。视频素材中提到，在英伟达 H100 级别硬件上运行，可能需要约 18 张 H100。这个数字足以让大多数小团队冷静下来。

可以粗略看一下不同主体的现实情况：

超大模型私有化部署不能只问“能不能跑起来”。跑起来之后，还有几个更现实的问题：

第一，吞吐够不够。一个模型能回答一个请求，和能同时服务几百个用户，是两回事。

第二，延迟能不能接受。百万 Token 上下文很强，但如果每次读长文档都要等很久，业务流程会被拖慢。

第三，维护成本谁承担。超大模型部署涉及驱动、框架、量化、调度、监控、故障恢复。没有稳定工程团队，很难长期运转。

第四，商业回报能不能覆盖算力。很多企业并不需要每个任务都用 2.8 万亿参数模型。客户问答、简单分类、固定格式抽取，可能小模型加检索就能完成。把 Kimi K3 用在复杂研发、长文档分析、多步骤 Agent、企业级自动化上，才更容易体现价值。

所以，Kimi K3 开放权重并不意味着人人都能低成本把前沿模型搬进办公室。它短期更可能先在云端推理服务、大型企业私有化、研究机构实验、AI 基础设施厂商适配中释放价值。

Kimi K3开源真正改变的是什么

Kimi K3 的意义，不只在“参数达到 2.8 万亿”。过去几年，开放权重模型一直在追赶闭源前沿模型。追赶的方式也在变化：早期更多是语言能力和指令跟随，后来是代码、数学、长上下文，再后来是多模态和 Agent。

Kimi K3 这次把几个关键方向放在同一个模型里：超大规模 MoE、百万 Token 上下文、原生视觉理解、编程 Agent、通用 Agent，以及训练 Infra 开放。它给开发者社区的不是一个单点能力，而是一套可以继续研究和适配的技术对象。

这也解释了为什么海外开发者和基础设施厂商反应这么快。一个模型如果只是在中文聊天里表现不错，影响范围会有限。Kimi K3 的编程、Agent、视觉文档和长程任务能力，正好踩在全球开发者最关心的工作流上：写代码、修项目、读文档、操作浏览器、处理表格、调用工具、长时间自动执行任务。

不过，开放生态不会因为一次发布就自动繁荣。接下来真正重要的，是围绕 Kimi K3 出现多少可用的推理优化、量化方案、部署脚本、评测复现、Agent 框架适配和行业应用案例。很多开发者不会直接训练一个 2.8 万亿参数模型，但他们会基于权重和工具链做二次开发：接入 IDE、接入内部知识库、做代码迁移、做财报分析、做科研助手、做自动化测试。

开源的价值不只是“下载一个模型”。对 Kimi K3 这样规模的模型来说，更现实的价值是让更多团队看见前沿模型的结构、训练方法和系统工程细节，并在自己的算力、业务和工具链里找到能落地的那一段。Kimi K3 已经把门打开了，但门后面不是一台普通电脑就能跑起来的小玩具，而是一整套需要算力、工程和场景共同支撑的模型系统。