简介这份PDF是DeepSeek团队于2024年6月发布的DeepSeek-V2大模型技术论文面向大模型研究者、算法工程师及对MoE架构感兴趣的开发者系统解答了如何在控制训练成本的同时保持强劲性能与高效推理这一核心问题。论文完整呈现了2360亿总参数、每token激活210亿参数、支持128K上下文的技术细节并深入剖析Multi-head Latent Attention与DeepSeekMoE两项创新架构附有训练成本、KV缓存与生成吞吐量的对比图表。资源包内仅含1个PDF文件大小约1.5MB轻量便携适合离线精读与团队分享。目前已有294人学习下载。读者可从中获取预训练语料规模、SFT与RL流程、与DeepSeek 67B及主流开源模型的性能对照以及官方检查点获取方式为模型选型、架构优化与成本评估提供一手参考。1. 2360亿参数只激活210亿DeepSeek-V2这篇论文里藏着一个成本拐点2024年6月一份关于MoE大模型的技术论文在从业者圈子里流传开来。论文主角是一个总参数2360亿、但每个token只激活210亿参数的模型支持128K上下文相比上一代同系列67B稠密模型训练成本省下42.5%KV缓存压掉93.3%最大生成吞吐量拉到5.76倍。这几个数字放在一起指向的不是“又一个开源模型发布”而是一个更值得琢磨的信号大模型的竞争重心正在从“堆参数”往“单位算力换多少有效能力”上挪。对做推理部署、做训练预算、做模型选型的团队来说这篇论文的价值不在于它刷了什么榜而在于它把“经济性”当成一等公民来设计架构这在当时的开源MoE路线里并不常见。2. 架构拆解MLA和DeepSeekMoE各自解决了什么2.1 MLA把KV缓存从瓶颈变成可压缩项理解这篇论文先要理解它为什么盯上KV缓存。标准多头注意力在生成阶段需要把每个token的Key和Value全部缓存下来序列越长、批越大这块显存占用就越夸张直接卡住最大批处理量和上下文长度。论文里给出的对比很直白MHA每token缓存的元素数量是2×n_h×d_h×l而MLA通过低秩联合压缩只缓存一个维度为d_c的潜在向量d_c远小于n_h×d_h。这就是93.3%这个数字的来源——不是靠量化或剪枝抠出来的而是从注意力结构上把“要缓存什么”重新定义了一遍。更细的一层是解耦式旋转位置编码。RoPE和低秩压缩天然不兼容因为位置信息要作用在完整的Key上而MLA的Key是从潜在向量上投影出来的。论文的处理办法是把RoPE单独拆出来只作用在一部分维度上其余维度走压缩路径。这个设计在工程上意味着推理时W_UK可以吸收进W_Q、W_UV可以吸收进W_O连Key和Value都不必显式算出来。从行业角度看这类“训练时一套、推理时等价变换”的思路是后来很多高效注意力方案反复借鉴的套路。注意MLA的压缩维度d_c是超参不是越小越好。压得太狠会伤表达能力论文的消融实验里对这一点有专门对比选型时不能只看缓存数字。2.2 DeepSeekMoE稀疏计算换训练经济性注意力之外论文的另一半功夫花在前馈网络上。DeepSeekMoE采用细粒度专家切分加共享专家隔离路由专家被切得更细每次只激活其中一部分共享专家则始终参与计算承担通用知识。这个组合的好处是专家专业化程度更高同时避免每个token都要惊动全部参数。训练时配合专家并行论文还补了设备受限路由和负载均衡辅助损失防止某些专家被过度压榨、另一些闲着。对从业者来说这里最该记住的不是“MoE很省”而是“省在哪、代价是什么”。MoE省的是每个token的浮点运算量但总参数依然要占显存专家并行的通信开销也是实打实的。论文里提到的token丢弃策略本质上是在训练稳定性和负载均衡之间做取舍。血泪经验是MoE的训练曲线比稠密模型更玄学路由塌缩、专家负载倾斜这些问题往往要到训练中段才暴露前期指标好看不代表后面不翻车。2.3 8.1T语料与两阶段对齐规模背后的工程账预训练语料8.1万亿token相比上一代明显扩充了中文数据占比并提升了质量。这个量级本身不稀奇稀奇的是它和42.5%的训练成本节省同时成立——说明省成本不是靠少喂数据而是靠架构效率。对齐阶段走的是SFT加强化学习两步先收集约150万条覆盖数学、代码、写作、推理、安全等领域的对话做监督微调再用组相对策略优化做偏好对齐。论文报告聊天版本在英文开放对话评测里处于开源第一梯队中文评测里甚至压过不少闭源模型。这套流程对做模型落地的团队有直接参考价值预训练决定能力上限对齐决定可用性而经济性决定这件事能不能反复迭代。一个训练成本可控的基座意味着团队敢多做几轮SFT和RL实验而不是一次训完就不敢动。3. 三个数字背后的影响面谁该重新算账3.1 推理侧KV缓存降93.3%意味着什么KV缓存减少93.3%最直接的受益方是做高并发推理服务的团队。缓存占用下降同等显存下能塞进更大的批、更长的上下文最大生成吞吐量5.76倍的提升就是这么来的。放到实际场景里长文档问答、多轮对话、代码补全这类吃上下文的业务单位请求的显存成本会明显下降。但要注意吞吐提升是相对上一代67B稠密模型而言的跨模型比较时得看激活参数、批大小、序列长度是否对齐不能拿一个数字直接套到自己的业务容量规划上。从行业角度看这类架构信号会传导到推理框架的优化重点上当模型本身把KV缓存压小框架层再去做PagedAttention、前缀缓存之类的优化边际收益的算法就变了。做推理基础设施的团队值得把这类模型的缓存结构纳入压测基线。3.2 训练侧42.5%成本节省改变的是实验节奏训练成本省42.5%听起来是个财务数字实际影响的是研发节奏。大模型训练最贵的不是一次预训练而是“训坏了重来”和“想验证一个想法却排不上算力”。成本门槛下降团队才敢做更多消融、更多数据配比实验、更多对齐策略尝试。论文里能拿出MHA、GQA、MQA、MLA的完整消融对比本身就是这种实验能力的体现。对中小团队而言这不代表可以自己从头训一个同量级模型而是说在选基座、做继续预训练、做领域微调时单位算力能换到的有效迭代次数变多了。踩坑的地方在于省下来的成本很容易被低效的数据管道和反复的失败实验吃掉架构红利不等于工程红利。3.3 选型侧210亿激活参数的性能定位怎么读论文的核心主张是“只激活210亿参数仍在开源模型里处于顶级水平”。这句话要拆开看激活参数少意味着单次前向的计算量小推理便宜但总参数2360亿意味着显存占用和部署门槛并不低。选型时如果只看激活参数去对标稠密模型容易误判部署成本反过来只看总参数又会低估它的推理效率。正确的读法是两个数字一起看再结合自己的显存预算、并发要求和延迟目标做权衡。下面这段伪代码示意了在估算显存时如何把总参数和激活参数分开考虑避免把MoE当成稠密模型来算账# 粗略估算MoE模型部署显存仅示意计算口径 total_params 236e9 # 总参数决定权重显存占用 active_params 21e9 # 每token激活参数决定单次计算量 bytes_per_param 2 # FP16下每参数2字节 weight_memory_gb total_params * bytes_per_param / (1024**3) # 权重显存按总参数算不能按激活参数算 kv_cache_per_token 0.0001 # 示意值实际由MLA压缩维度决定 seq_len 128 * 1024 batch 8 kv_memory_gb kv_cache_per_token * seq_len * batch / (1024**2) print(f权重显存约 {weight_memory_gb:.1f} GB) print(fKV缓存约 {kv_memory_gb:.2f} GB)这段代码的关键不在数值精确而在计算口径权重显存必须按总参数估KV缓存按压缩后的潜在维度估两者相加才是部署底线。很多选型翻车就翻在拿激活参数去估权重结果上线才发现显存根本不够。4. 常见误读这篇论文最容易被看偏的四个地方4.1 误读一把“激活210亿”当成“模型只有210亿”为什么容易错激活参数是计算量指标不是容量指标。MoE的总参数决定了它能装多少知识激活参数只决定每个token调用多少。怎么看评估部署成本看总参数评估推理算力看激活参数两个口径分开算别混着比。4.2 误读二把93.3%的缓存下降当成所有场景都能兑现为什么容易错这个数字是相对上一代稠密模型的架构级对比实际业务里的缓存占用还受序列长度分布、批策略、框架实现影响。怎么看在自己的流量特征下压测别直接拿论文数字做容量规划。4.3 误读三认为MoE一定比稠密模型好训为什么容易错MoE省的是计算量换来的是路由不稳定、负载不均、通信开销这些新问题。论文专门写了设备受限路由和负载均衡损失恰恰说明这些不是白送的。怎么看把训练稳定性当成独立课题预留调路由的时间和算力。4.4 误读四把开源检查点等同于开箱即用的产品为什么容易错论文放出的是模型检查点配套的推理优化、服务化封装、领域适配都得自己做。怎么看把检查点当成起点而非终点评估团队在推理工程和对齐数据上的投入能力。5. 趋势判断经济性正在成为大模型架构的第一设计约束把这篇论文放回2024年中的时间线看它最值得记住的不是某个榜单分数而是它把“强、经济、高效”三个词并列写进标题并且用架构设计去同时兑现。MLA压缩缓存、DeepSeekMoE稀疏计算、8.1T语料加两阶段对齐三件事指向同一个判断模型能力的竞争正在从“谁能堆出更大的参数”转向“谁能用更低的单位成本维持能力增长”。这个转向对从业者的影响是分层的——做推理的要把缓存结构纳入优化基线做训练的要把实验迭代次数当成核心资产做选型的要把总参数和激活参数分开算账。再往远看一步这类架构信号会外溢到工具链和人才需求上。推理框架会更重视对压缩注意力的原生支持训练框架会更重视专家并行的调度效率团队里既懂模型结构又懂部署成本的人会更吃香。反过来只会按稠密模型口径做容量规划、只会看榜单选基座的做法会越来越不够用。我自己的习惯是每次看到“省了多少成本、提了多少吞吐”这类数字先不急着信而是把计算口径、对比基线、业务场景三件事各问一遍对不上就先搁置。这篇论文的口径相对清楚但落到自己业务里还是得走一遍压测。从那以后我每次做模型选型都强制把总参数、激活参数、缓存结构三项分开列账再决定要不要试。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/11/4 2:47:30 · 阅读 1.2k DeepSeek-V2论文解读：MoE架构如何实现训练成本降42.5%与KV缓存压93.3%
简介这份PDF是DeepSeek团队于2024年6月发布的DeepSeek-V2大模型技术论文面向大模型研究者、算法工程师及对MoE架构感兴趣的开发者系统解答了如何在控制训练成本的同时保持强劲性能与高效推理这一核心问题。论文完整呈现了2360亿总参数、每token激活210亿参数、支持128K上下文的技术细节并深入剖析Multi-head Latent Attention与DeepSeekMoE两项创新架构附有训练成本、KV缓存与生成吞吐量的对比图表。资源包内仅含1个PDF文件大小约1.5MB轻量便携适合离线精读与团队分享。目前已有294人学习下载。读者可从中获取预训练语料规模、SFT与RL流程、与DeepSeek 67B及主流开源模型的性能对照以及官方检查点获取方式为模型选型、架构优化与成本评估提供一手参考。1. 2360亿参数只激活210亿DeepSeek-V2这篇论文里藏着一个成本拐点2024年6月一份关于MoE大模型的技术论文在从业者圈子里流传开来。论文主角是一个总参数2360亿、但每个token只激活210亿参数的模型支持128K上下文相比上一代同系列67B稠密模型训练成本省下42.5%KV缓存压掉93.3%最大生成吞吐量拉到5.76倍。这几个数字放在一起指向的不是“又一个开源模型发布”而是一个更值得琢磨的信号大模型的竞争重心正在从“堆参数”往“单位算力换多少有效能力”上挪。对做推理部署、做训练预算、做模型选型的团队来说这篇论文的价值不在于它刷了什么榜而在于它把“经济性”当成一等公民来设计架构这在当时的开源MoE路线里并不常见。2. 架构拆解MLA和DeepSeekMoE各自解决了什么2.1 MLA把KV缓存从瓶颈变成可压缩项理解这篇论文先要理解它为什么盯上KV缓存。标准多头注意力在生成阶段需要把每个token的Key和Value全部缓存下来序列越长、批越大这块显存占用就越夸张直接卡住最大批处理量和上下文长度。论文里给出的对比很直白MHA每token缓存的元素数量是2×n_h×d_h×l而MLA通过低秩联合压缩只缓存一个维度为d_c的潜在向量d_c远小于n_h×d_h。这就是93.3%这个数字的来源——不是靠量化或剪枝抠出来的而是从注意力结构上把“要缓存什么”重新定义了一遍。更细的一层是解耦式旋转位置编码。RoPE和低秩压缩天然不兼容因为位置信息要作用在完整的Key上而MLA的Key是从潜在向量上投影出来的。论文的处理办法是把RoPE单独拆出来只作用在一部分维度上其余维度走压缩路径。这个设计在工程上意味着推理时W_UK可以吸收进W_Q、W_UV可以吸收进W_O连Key和Value都不必显式算出来。从行业角度看这类“训练时一套、推理时等价变换”的思路是后来很多高效注意力方案反复借鉴的套路。注意MLA的压缩维度d_c是超参不是越小越好。压得太狠会伤表达能力论文的消融实验里对这一点有专门对比选型时不能只看缓存数字。2.2 DeepSeekMoE稀疏计算换训练经济性注意力之外论文的另一半功夫花在前馈网络上。DeepSeekMoE采用细粒度专家切分加共享专家隔离路由专家被切得更细每次只激活其中一部分共享专家则始终参与计算承担通用知识。这个组合的好处是专家专业化程度更高同时避免每个token都要惊动全部参数。训练时配合专家并行论文还补了设备受限路由和负载均衡辅助损失防止某些专家被过度压榨、另一些闲着。对从业者来说这里最该记住的不是“MoE很省”而是“省在哪、代价是什么”。MoE省的是每个token的浮点运算量但总参数依然要占显存专家并行的通信开销也是实打实的。论文里提到的token丢弃策略本质上是在训练稳定性和负载均衡之间做取舍。血泪经验是MoE的训练曲线比稠密模型更玄学路由塌缩、专家负载倾斜这些问题往往要到训练中段才暴露前期指标好看不代表后面不翻车。2.3 8.1T语料与两阶段对齐规模背后的工程账预训练语料8.1万亿token相比上一代明显扩充了中文数据占比并提升了质量。这个量级本身不稀奇稀奇的是它和42.5%的训练成本节省同时成立——说明省成本不是靠少喂数据而是靠架构效率。对齐阶段走的是SFT加强化学习两步先收集约150万条覆盖数学、代码、写作、推理、安全等领域的对话做监督微调再用组相对策略优化做偏好对齐。论文报告聊天版本在英文开放对话评测里处于开源第一梯队中文评测里甚至压过不少闭源模型。这套流程对做模型落地的团队有直接参考价值预训练决定能力上限对齐决定可用性而经济性决定这件事能不能反复迭代。一个训练成本可控的基座意味着团队敢多做几轮SFT和RL实验而不是一次训完就不敢动。3. 三个数字背后的影响面谁该重新算账3.1 推理侧KV缓存降93.3%意味着什么KV缓存减少93.3%最直接的受益方是做高并发推理服务的团队。缓存占用下降同等显存下能塞进更大的批、更长的上下文最大生成吞吐量5.76倍的提升就是这么来的。放到实际场景里长文档问答、多轮对话、代码补全这类吃上下文的业务单位请求的显存成本会明显下降。但要注意吞吐提升是相对上一代67B稠密模型而言的跨模型比较时得看激活参数、批大小、序列长度是否对齐不能拿一个数字直接套到自己的业务容量规划上。从行业角度看这类架构信号会传导到推理框架的优化重点上当模型本身把KV缓存压小框架层再去做PagedAttention、前缀缓存之类的优化边际收益的算法就变了。做推理基础设施的团队值得把这类模型的缓存结构纳入压测基线。3.2 训练侧42.5%成本节省改变的是实验节奏训练成本省42.5%听起来是个财务数字实际影响的是研发节奏。大模型训练最贵的不是一次预训练而是“训坏了重来”和“想验证一个想法却排不上算力”。成本门槛下降团队才敢做更多消融、更多数据配比实验、更多对齐策略尝试。论文里能拿出MHA、GQA、MQA、MLA的完整消融对比本身就是这种实验能力的体现。对中小团队而言这不代表可以自己从头训一个同量级模型而是说在选基座、做继续预训练、做领域微调时单位算力能换到的有效迭代次数变多了。踩坑的地方在于省下来的成本很容易被低效的数据管道和反复的失败实验吃掉架构红利不等于工程红利。3.3 选型侧210亿激活参数的性能定位怎么读论文的核心主张是“只激活210亿参数仍在开源模型里处于顶级水平”。这句话要拆开看激活参数少意味着单次前向的计算量小推理便宜但总参数2360亿意味着显存占用和部署门槛并不低。选型时如果只看激活参数去对标稠密模型容易误判部署成本反过来只看总参数又会低估它的推理效率。正确的读法是两个数字一起看再结合自己的显存预算、并发要求和延迟目标做权衡。下面这段伪代码示意了在估算显存时如何把总参数和激活参数分开考虑避免把MoE当成稠密模型来算账# 粗略估算MoE模型部署显存仅示意计算口径 total_params 236e9 # 总参数决定权重显存占用 active_params 21e9 # 每token激活参数决定单次计算量 bytes_per_param 2 # FP16下每参数2字节 weight_memory_gb total_params * bytes_per_param / (1024**3) # 权重显存按总参数算不能按激活参数算 kv_cache_per_token 0.0001 # 示意值实际由MLA压缩维度决定 seq_len 128 * 1024 batch 8 kv_memory_gb kv_cache_per_token * seq_len * batch / (1024**2) print(f权重显存约 {weight_memory_gb:.1f} GB) print(fKV缓存约 {kv_memory_gb:.2f} GB)这段代码的关键不在数值精确而在计算口径权重显存必须按总参数估KV缓存按压缩后的潜在维度估两者相加才是部署底线。很多选型翻车就翻在拿激活参数去估权重结果上线才发现显存根本不够。4. 常见误读这篇论文最容易被看偏的四个地方4.1 误读一把“激活210亿”当成“模型只有210亿”为什么容易错激活参数是计算量指标不是容量指标。MoE的总参数决定了它能装多少知识激活参数只决定每个token调用多少。怎么看评估部署成本看总参数评估推理算力看激活参数两个口径分开算别混着比。4.2 误读二把93.3%的缓存下降当成所有场景都能兑现为什么容易错这个数字是相对上一代稠密模型的架构级对比实际业务里的缓存占用还受序列长度分布、批策略、框架实现影响。怎么看在自己的流量特征下压测别直接拿论文数字做容量规划。4.3 误读三认为MoE一定比稠密模型好训为什么容易错MoE省的是计算量换来的是路由不稳定、负载不均、通信开销这些新问题。论文专门写了设备受限路由和负载均衡损失恰恰说明这些不是白送的。怎么看把训练稳定性当成独立课题预留调路由的时间和算力。4.4 误读四把开源检查点等同于开箱即用的产品为什么容易错论文放出的是模型检查点配套的推理优化、服务化封装、领域适配都得自己做。怎么看把检查点当成起点而非终点评估团队在推理工程和对齐数据上的投入能力。5. 趋势判断经济性正在成为大模型架构的第一设计约束把这篇论文放回2024年中的时间线看它最值得记住的不是某个榜单分数而是它把“强、经济、高效”三个词并列写进标题并且用架构设计去同时兑现。MLA压缩缓存、DeepSeekMoE稀疏计算、8.1T语料加两阶段对齐三件事指向同一个判断模型能力的竞争正在从“谁能堆出更大的参数”转向“谁能用更低的单位成本维持能力增长”。这个转向对从业者的影响是分层的——做推理的要把缓存结构纳入优化基线做训练的要把实验迭代次数当成核心资产做选型的要把总参数和激活参数分开算账。再往远看一步这类架构信号会外溢到工具链和人才需求上。推理框架会更重视对压缩注意力的原生支持训练框架会更重视专家并行的调度效率团队里既懂模型结构又懂部署成本的人会更吃香。反过来只会按稠密模型口径做容量规划、只会看榜单选基座的做法会越来越不够用。我自己的习惯是每次看到“省了多少成本、提了多少吞吐”这类数字先不急着信而是把计算口径、对比基线、业务场景三件事各问一遍对不上就先搁置。这篇论文的口径相对清楚但落到自己业务里还是得走一遍压测。从那以后我每次做模型选型都强制把总参数、激活参数、缓存结构三项分开列账再决定要不要试。希望帮到你。本文还有配套的精品资源点击获取