Kimi K3: Open Frontier Intelligence——Kimi K3：开放前沿智能

今天Kimi官方重磅发布了全新一代的旗舰模型Kimi K3官方博文介绍在这里我简单阅读了下因为官方博客是英文的这里记录的自己的阅读记录感兴趣的话可以看下。今天我们推出Kimi K3——我们最强大的模型。Kimi K3 是一个拥有2.8万亿参数的模型基于 Kimi Delta Attention 和 Attention Residuals 架构构建具备原生视觉能力和100万token的上下文窗口。它是全球首个开源的 3T 级模型专为长周期编程、知识工作和推理等前沿智能任务而设计。虽然其整体性能仍落后于最强大的专有模型 Claude Fable 5 和 GPT 5.6 Sol但 Kimi K3 在我们的评估套件中展现了前沿水平的性能持续优于其他测试模型。Kimi K3 即日起在 Kimi.com、Kimi Work、Kimi Code 和 Kimi API 上线。发布时Kimi K3 默认使用最大思考强度模式低强度和高强度模式将在后续更新中推出。我们正与推理合作伙伴和开源维护者密切合作确保在整个生态系统中可靠落地。完整模型权重将于 2026年7月27日 前发布。更多架构、训练和评估细节将在 Kimi K3 技术报告中同步公开。开源 3T 级模型Kimi K3 是首个达到2.8万亿参数的开源模型标志着 Kimi 在规模扩展前沿的持续突破——过去12个月中有9个月Kimi 模型一直保持着开源模型规模的最高纪录。Kimi K3 基于Kimi Delta Attention (KDA)和Attention Residuals (AttnRes)两项架构更新构建旨在改善信息在序列长度和模型深度上的流动方式。同时我们扩展了混合专家模型 (MoE)的稀疏度在 Stable LatentMoE 框架下实际激活896个专家中的16个。结合优化的训练和数据策略这些结构性变化使得整体扩展效率相比 Kimi K2 提升了约2.5倍能够更有效地将算力转化为智能。编程能力Kimi K3 具备强大的长周期编程能力。在极少人工干预下它能维持长时间的工程会话、导航大型代码库并编排终端工具。Kimi K3 还擅长融合软件工程与视觉推理的任务——利用截图和视觉信息优化游戏开发、前端开发和 CAD 设计。案例1内核优化我们测试了模型优化 GPU 内核的能力。每个模型在相同的沙盒环境中独立工作最多24小时对四项任务涵盖 AttnRes、KDA 和一个 512 头维度的 MLA 内核进行性能分析、重写和基准测试硬件平台包括 NVIDIA H200 和另一家厂商的 GPGPU。Kimi K3 的表现与 Fable 5含回退机制相当大幅优于 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。在 AttnRes 内核优化中基于生产规格96层模型维度81928192个tokenK3 在15小时不间断迭代中设计了一种新颖的两阶段内核算法融合内核的同时保持相同数值精度将前向反向时间从283.6ms 降至 114.4ms。注Claude Fable 5 由第三方评估其结果可能包含回退行为。大多数模型的某些轨迹包含可接受的精度简化在数值容差范围内。案例2GPU 编译器开发我们进一步测试 Kimi K3 是否能从零构建 GPU 编程系统。Kimi K3 开发了MiniTriton——一个紧凑的类 Triton 编译器拥有自己的基于 MLIR 的 tile 级 IR 层、优化通道和 PTX 代码生成管道。在支持的 Roofline 基准测试中MiniTriton 性能媲美甚至优于 Triton 和 torch.compile。此外MiniTriton 成功支撑了端到端的 nanoGPT 训练损失曲线与参考高度吻合验证了完整管线的可靠性。案例3游戏开发与数字创作Kimi K3 结合强大的3D推理、编程和视觉能力将概念、图像和视频转化为可玩的互动体验。通过代码和实时截图之间的无缝迭代K3 实现了真正的“视觉闭环”。案例3D 开放世界游戏Kimi K3 使用 Three.js WebGPU 和 GPU 计算构建了一个完全程序化的浏览器端 3D 探索游戏程序化生成环境同时使用 3D 资产生成工具创建角色和模型生成包含森林、木屋村庄、雪山和动态天气的广阔开放世界。案例4芯片设计作为早期概念验证Kimi K3 设计了一款服务于基于自身架构的微型模型的芯片。在单次48小时自主运行中K3 使用开源 EDA 工具在 Nangate 45nm 库上构建、优化和验证了该芯片。在 4mm² 面积内芯片在 100MHz 下满足时序收敛仿真中保持超过 8,700 tokens/s 的解码吞吐量。案例5科研编程Kimi K3 架起了科学文献与可执行代码之间的桥梁自主实现、验证和分析复杂的计算研究流程。在一个案例中Kimi K3 在约两小时内完成了通常需要经验丰富的研究人员一到两周的工作——复现计算天体物理学中的 I-Love-Q 普适关系审阅并交叉验证了20篇论文实现完整数值管线评估了300种状态方程识别了已发表公式中的不一致之处生成了3,000行 Python 代码并生成了用于探索结果的可交互 HTML 仪表板。知识工作能力Kimi K3 推动了端到端知识工作的进步。在内部评估中Kimi K3最大模式在源自真实用户-代理工作流的任务上表现出一致的提升。案例1交互式 AI ASIC 行业研究报告42年Kimi K3 在 Kimi Work 中生成了可交互的研究报告涵盖42年 ASIC 行业历史经过120轮递归自我改进将证据转化为定制图表、动画图和交互式视觉叙事。通过2,800次网络搜索/获取和1,100次终端数据拉取覆盖11,000页内容包含87份季度报告和99份原始 PDF。案例2核聚变行业研究生成咨询风格的行业报告包含交互式可视化——时间线、漏斗图、区间条形图、甘特图以及出版级幻灯片。案例3GWTC-5 引力波分析使用20个并发子代理分析391个引力波事件生成7张科学可视化图表、2个表格并综合了10篇论文的文献。Kimi K3 还特别擅长制作信息图风格的演示文稿如完全可编辑的热力图和年度报告。Widgets 和 Dashboard在 Kimi Work 中我们推出了Widgets和Dashboard两项新功能使与 Kimi K3 的交互更加可视化和持久化。Widgets 可直接在聊天中生成交互组件并可连接本地数据或外部插件实现持续更新。Dashboard 将您最关心的 Widgets 整合到一个持久的个性化视图中。视频编辑Kimi K3 在动态设计、动画和视频编辑方面表现出色因为其原生多模态架构在同一模型中理解文本、图像和视频。制作了3Blue1Brown 风格的自身架构动画讲解视频从56个源片段中剪辑了自己的预告视频涵盖片段选择、运动匹配剪辑、帧级节拍同步、音频处理和多次修订。这类高密度短视频通常需要经验丰富的编辑1-2个工作日或初学者3-5天。架构与基础设施Kimi K3 基于Kimi Delta Attention (KDA)和Attention Residuals (AttnRes)构建KDA为扩展注意力提供高效基础AttnRes选择性跨深度检索表示而非均匀累积Stable LatentMoE实际激活 896 个专家中的 16 个。在此稀疏度下路由和优化成为首要挑战Quantile Balancing直接从路由器分数分位数推导专家分配消除启发式更新Per-Head Muon扩展 Muon 优化器独立优化注意力头Sigmoid Tanh Unit (SiTU)改进激活控制Gated MLA增强注意力选择性Kimi K3 从 SFT 阶段起应用量化感知训练使用MXFP4 权重和MXFP8 激活确保广泛的硬件兼容性。为避免大规模专家并行时专家不平衡影响吞吐量我们引入了完全平衡的专家并行训练方法。推理效率方面建议在64个或更多加速器的超节点配置上部署 Kimi K3。针对 KDA 对传统前缀缓存带来的新挑战我们已向 vLLM 社区贡献了相应实现将在模型发布时同步开源。可用性平台获取方式Kimi K3 Agents从移动应用商店下载或更新最新 Kimi AppiOS/Android/HarmonyOS或访问 kimi.comKimi Work下载最新 Kimi Work 桌面应用 v3.1.0Windows / Apple Silicon MacKimi Code在终端运行 Kimi Code使用/model命令选择 Kimi K3Kimi API访问 Kimi API 平台选择kimi-k3。定价缓存命中输入 $0.30/MTok缓存未命中输入 $3.00/MTok输出 $15.00/MTok。Mooncake 分离式推理架构下官方 Kimi API 在编程场景中缓存命中率超 90%Kimi Enterprise提供企业级数据隐私和成员管理个人账号与企业账号完全隔离完整基准测试表基准测试Kimi K3 (max)Claude Fable 5 (max, 含回退)GPT 5.6 Sol (max)Claude Opus 4.8 (max)GPT 5.5 (xhigh)GLM-5.2 (max)编程DeepSWE67.570.073.059.067.046.2Program Bench77.876.877.671.970.863.7Terminal Bench 2.188.384.688.884.683.482.7FrontierSWE81.286.671.366.764.967.3SWE Marathon42.035.039.040.014.013.0PostTrain Bench36.641.434.634.128.434.3MLS Bench48.349.946.242.835.540.4Kimi Code Bench 2.0 (内部)72.976.964.871.769.064.2代理能力GDPval-AA v2 (Elo分)1668.01760.01748.01600.01494.01514.0BrowseComp91.288.090.484.384.4—DeepSearchQA (f1)95.094.2—93.1——Toolathlon-Verified73.277.974.976.273.559.9MCP Atlas84.284.783.683.682.882.6Automation Bench30.829.129.727.222.712.9Job Bench52.957.446.548.438.343.4AA-Briefcase (Elo分)1548.01583.01495.01354.01158.01260.0APEX-Agents37.643.339.939.438.535.6Office QA Pro63.369.9*63.2*63.9*60.9*41.4SpreadsheetBench 234.834.7*32.4*31.6*29.1*28.1DECK-Bench (内部)73.573.074.766.968.268.6推理与知识GPQA-Diamond93.592.694.191.093.591.2HLE-Full43.553.344.549.8*41.4*—HLE-Full w/ tools56.063.058.057.9*52.2*—视觉MMMU-Pro81.681.283.078.981.2—MMMU-Pro w/ python83.486.584.682.783.2—CharXiv (RQ)84.888.984.680.584.1—CharXiv (RQ) w/ python91.393.589.189.989.0—MathVision94.394.895.886.792.2—MathVision w/ python97.898.697.897.196.8—BabyVision w/ python85.790.588.981.283.6—ZeroBench_main (pass5)23.023.017.017.022.0—ZeroBench_main w/ python (pass5)41.046.035.034.041.0—WorldVQA ForceAnswer51.056.741.839.138.5—OmniDocBench91.189.885.887.989.4—PerceptionBench58.557.259.747.255.8—已知限制思考历史敏感性K3 在“保留思考历史”模式下训练。若代理框架未能按要求传递所有历史思考内容或在会话中途切换到 K3生成质量可能变得极不稳定。建议使用已验证兼容的框架如 Kimi Code避免在会话中途切换到 K3。过度主动K3 的训练特别强调长周期、高难度任务。因此在执行过程中遇到小问题或用户意图不明确时可能替用户做出意外决策。如需代理在明确定义的边界内操作请在系统提示或 AGENTS.md 中对 K3 施加更明确的行为约束。尽管整体竞争力很强K3 在用户体验方面与 Claude Fable 5 和 GPT 5.6 Sol 相比仍存在明显差距。