说实话第一次听说某个模型用上“混合专家”MoE时我的第一反应是这不就是集成学习换了个名字吗多个专家凑在一起投票怎么可能反而省算力后来把相关论文和实现逐行看完才意识到这个直觉错得离谱。MoE的核心不是让多个模型合作而是给同一个模型装上大量可替换的子模块每次输入只激活其中一小部分——它属于条件计算跟集成是两套完全不同的逻辑。这篇文章我打算沿着“专家本质 → 路由机制 → 负载均衡”这条主线来写。前面讲清楚专家和门控网络到底在做什么中间重点讲负载均衡为什么会成为MoE工程落地最绕不开的问题最后给一个可以放进训练脚本跑起来的最小实现以及我个人在训练时用来判断负载健康状况的几个指标。适合两类人读一类是刚接触大模型架构、想彻底搞懂MoE原理的开发者另一类是已经在调MoE模型、正被负载不均衡或训练不稳定折磨的工程师。文章里没有堆术语但也不会为了通俗牺牲准确性该给公式给公式该贴代码贴代码。1. MoE到底解决了什么稠密模型的“全量激活”困境1.1 稠密模型为什么这么贵注意力稍微拉回到Transformer结构上你会发现一个套在头上的紧箍咒标准的Transformer里每一个token都必须完整经过Attention层和前馈层没有例外。前馈层FFN通常在参数量上占大头而且它对每个token做的是无差别计算这是整个推理链路里最大的算力黑洞。模型想要更强的表达能力最直接的办法就是把FFN的隐层维度拉大、把层数加深。参数一多每个进来的token都要同样多算一遍。这就是我们常说的“稠密激活”所有参数对每个token一视同仁地付出计算量。换句话说参数量和推理成本被死死绑定在一起模型想记住更多知识就得喂更多参数参数越多每次推理的计算量也跟着线性涨。对大模型部署来说这几乎是预算上的噩梦。你辛辛苦苦训出一个70B模型每个token前向都要从第一个参数算到最后一个参数没有一点点偷懒的空间。1.2 MoE不是集成而是条件计算很多人一开始把MoE理解成集成学习这是最大的认知坑。集成学习的核心是多个模型各自对输入算一遍然后把结果投票或者加权总成本就是单个模型成本的N倍。你有8个模型做集成推理成本就是8倍没有任何技巧能省下来。MoE的玩法完全不同。它在结构上仍然是一个模型只不过这个模型内部准备了大量可替换的“计算单元”。输入进来后门控网络先从这些单元里挑出少数几个让它们干活其余单元原地不动、不参与计算。这叫做条件计算不同输入走不同的计算路径而整条路径只是完整参数空间中的一个子集。用一个不太严谨但很好懂的类比集成像遇到难题时找8个顾问各出一份方案再综合MoE像公司内部设了很多项目组任务进来后只叫两个最对口的组去处理其他组不用动弹。前者算力是加法后者是动态分配。1.3 MoE收益的本质参数量和计算量解绑所以MoE被大规模采用的根本原因是把“参数量”和“单次推理计算量”之间的绑定关系解开了。一个MoE模型可以有非常大的总参数量但某个token真正激活的只是其中一小块。假设一个模型把FFN替换成了8专家的MoEtop_k取2那么每个token实际产生的计算量大约只相当于2个专家的工作量却拥有8倍于普通前馈网络的容量储备。从部署角度看有两个明显收益一是模型容量更大、能塞进更多知识二是单token的推理算力成本没有跟随参数总量线性增长。当然天下没有免费的午餐代价就落在路由机制、通信开销、显存占用和负载均衡上。这也是为什么标题把“负载均衡”单独拎出来——它才是决定MoE能不能用得起来的工程命门。2. “专家”到底是什么MoE的核心部件拆解2.1 专家不是学科分类而是参数子空间很多人对MoE的第一个直觉是专家应该像语文老师、数学老师那样各管一摊吧实际你去把训练好的MoE模型拆开看会发现专家的分工根本不是按文本主题划分的。拿不同话题去测每个专家的激活程度最后往往是高度重叠、分布散乱同一个专家可能在数学题和情感对话里都被高概率激活。那专家到底是什么用我的理解来说专家就是一组相对独立的参数子空间擅长某一种神经表示变换而不是某一个学科。Transformer里的FFN层本质上是对token的隐藏表示做非线性变换不同的FFN参数矩阵是在尝试建模不同类型的变换模式。MoE把原本属于一个大FFN的参数空间切分成多个独立子空间让路由按输入特征动态挑选最合适的那个。一个比较粗的类比FFN是要求一个人掌握所有语境下的翻译方式MoE则准备了多个翻译处理模块有的擅长短句、有的擅长技术文档。但这个分工不是刻意指定的而是在训练中自发涌现的默契——它是路有出来的自然结果不是人设计出来的先验规则。2.2 门控网络到底在学什么门控网络Router/Gating在MoE里负责分发。它通常就是一个线性层输入是token的隐藏表示输出是一个与专家数量等长的logits向量再经过softmax变成每个专家的选中概率。这里要澄清一个常见的困惑门控网络不是在学习“这个token属于哪个专家”的分类问题它不产生one-hot标签而是输出一个概率分布。以最常用的top-k路由为例模型从概率最高的K个专家里挑出来把其余专家置零接着再把K个选中专家的概率重新归一化最后用归一化权重去做专家输出的加权求和。为什么是加权求和而不是硬选一个如果每个token只走一个专家路由错一次就完全没有拯救机会梯度通过的路径也会变得非常局限。加权求和让多个专家同时参与输出本质上是给路由决策留了一条软后路第一专家选错了第二专家还能补位。这也是top_k2成为默认选择的重要原因。2.3 为什么通常只替换FFN层另一个值得注意的细节是MoE在设计时不是把所有层都换成专家通常只替换FFN层Attention层保持稠密。原因是FFN占用了Transformer里绝大部分参数和单token计算量对Attention做同样的替换性价比很低。而且Attention是token之间交换信息的公共通道每个token都需要和其他token交互这一层很难被稀疏化处理。你无法只让一部分token做Attention而另一部分不做那会把上下文依赖关系打断。所以MoE的“稀疏”是刻意、局部的把计算开销最大的FFN部分做成条件分支而公共交互层继续全量计算。这种“局部稀疏、整体稠密”的设计才是MoE工程落地的真实面貌。3. 路由最容易被忽略的三个细节K值、噪声注入与容量因子3.1 K值怎么选稀疏度与表达力的权衡top_k到底取几直接决定稀疏程度和模型容量利用率的平衡。整理一个简单的对照K值计算成本容错性典型场景K1最低差路由错一次就全错极端追求推理速度K2低较强两个专家互补大多数MoE模型的默认值K全部等于稠密模型最强但没有稀疏收益soft MoE几乎只在特殊场景用K1是最极端的稀疏每个token只用一个专家计算成本最小但专家间的协作完全不存在模型容量利用率很容易受制于路由早期偏差。K2是大多数方案的默认选择计算量只多一倍却给两个专家互补的容错空间。如果K等于专家总数就退化成软路由所有专家每个token都参与MoE的算力优势基本消失。还有一个容易被忽视的点K值要和专家数量放在一起看。专家少的时候可以用大K专家多的时候用小K真正重要的是保证被激活的“专家组合”数量足够大模型才能拥有条件组合的表达能力。3.2 训练时为什么要往logits里注入噪声很多人理解路由就是softmax选top_k但真训练时直接这么干很容易出问题。训练早期的门控网络非常脆弱一旦对某个专家产生早期偏好分配就会被快速锁死在一条歪路上。经典的解决方案是在训练阶段往logits里注入噪声让选择过程带一点随机探索。这个做法本质上是给路由参数加温度逼着门控在前几个epoch里不要过早收敛多去尝试不同的专家组合。推理阶段噪声关闭让选择变成确定性过程。你可能觉得这不就是dropout吗其实不是。dropout随机丢弃的是神经元而这里解决的是专家选择的探索问题两者作用对象完全不同。路由噪声调整的是门控的决策熵防止它在信息不足的情况下做太自信的决定。3.3 容量因子给每个专家设一道工位上限容量因子capacity factor是MoE里最容易被新手忽略的参数它决定了一个专家在单次批次中最多能处理多少个token。计算公式通常是先算出如果路由完全均匀时每个专家该分到多少token再乘上容量因子得到上限。因子取1表示完全没有冗余路由稍微偏一点就会挤爆实际训练通常设在1.0到1.25之间。超过容量上限的token怎么办两种常见做法直接丢弃或者走残差旁路绕过MoE层。训练时丢弃token是信息损失所以容量因子不能设太小推理时宁可多算也不丢token通常会临时提高容量。容量因子是负载均衡的“硬约束”它和辅助均衡损失的区别在于辅助损失是劝门控别偏心容量因子是直接物理限制每个专家最多能接多少活。两者配合才能把负载真正按住。4. 负载均衡问题是怎么发生的从正反馈到专家崩溃4.1 完整链条偶然优势如何滚成雪球要理解负载均衡得先弄明白不均衡是怎么来的。它不是某一次初始化的偶发bug而是MoE自带的内在倾向。刚开始训练时门控接近均匀但由于随机波动总会有一两个专家在某些batch里收到稍多一点的数据。这一丝偶然优势会滚雪球专家收到的token多对应梯度更新就多它的参数就更适配当前训练分布参数一适配门控分配给它的token就更多。于是“赢家通吃”的循环形成了。这个过程在文献里通常被称为路由崩溃或专家崩溃。它不像程序报错那么明显——训练loss可能还在降但你把专家激活分布拉出来看会发现一群人快累死了另一群人每天在摸鱼。还有一种更隐蔽的情况训练初期有均衡损失压着直方图看起来挺平坦一旦辅助损失权重设小或者训练后期噪声衰减崩溃会在某个阶段突然冒出来。所以不均衡问题不是配好参数就一劳永逸它需要全程监控。4.2 专家崩溃的实际代价很多人觉得专家崩溃无非是浪费几个专家顶多训练慢一点。实际上代价比想象中大得多。第一是参数量虚增。设计目标是每个专家贡献一些容量如果大部分专家长期闲置模型的有效容量就远低于设计值相当于你显存里白养了一堆人。第二是训练不稳定。热门专家承接过量梯度和样本方差优化器要照顾这些大梯度冷门专家的小更新又被压在下面梯度分布严重失衡。第三是分布式热点。专家并行时token会大量路由到某几个设备上闲置的设备空转忙碌的设备在等通信整个集群利用率往下掉。另外还有一个隐性影响如果长期只有少数专家活跃那么即使你设了top_k2最后两个专家常常是同一批幸存者MoE组合能力实际退化成单专家表达能力整个设计初衷就失效了。4.3 为什么不能指望模型自己学会均衡“门控网络也是可学习的它难道不会学到让loss最小的分配吗”这个问题我被人问过很多次。答案是它会学但学到的往往是集中分配而不是均匀分配。均匀分配本就不在主loss的优化目标里。对主loss而言把大部分token塞给少数几个强专家往往能更快压到不错的效果这正是梯度下降喜欢的路径。也就是说如果不加约束模型自然涌现的均衡状态是“能者多劳”而不是“人人有活干”。工程上绕不开的结论就是必须人为干预。要么用辅助损失要么用容量硬约束要么在路由信号里加负载反馈。把均衡这件事从隐含项变成显式指标才是MoE能用得稳的前提。5. 解决负载均衡的核心手段辅助损失、硬约束与新路由策略5.1 辅助平衡损失最经典的软引导最常见的软办法是加辅助均衡损失。思想很朴素统计一个batch内每个专家实际接收的token比例f_i再统计门控对每个专家输出的平均概率P_i然后把每个专家的f_i乘P_i累加起来乘上专家数量作为惩罚项。这里有两个细节要理解。为什么把f_i和P_i乘在一起因为单独约束任何一个都不够——你可能嘴上概率说得很均匀但实际分配歪到一边也可能实际分得匀但门控对专家毫无区分度。两者相乘同时惩罚了分配不均和评分不均。为什么乘专家数量为了让这一项的量级和token数、专家数解耦落到一个稳定的尺度。实现时有个特别容易踩的坑f_i在反向传播时要用detach截断让梯度只通过P_i回流到门控不要顺着token统计量再绕回门控一次。权重系数通常取0.001到0.01这个量级太小约束不住太大会抢主loss的位置导致模型整体效果下降。5.2 容量因子与溢出token的处理辅助损失是软约束真到了约束不住的时候需要硬约束兜底这就是容量因子。它的作用非常直接专家接单超过上限后后续token要么被丢弃要么走残差旁路。丢token对模型质量伤害明显尤其在训练集分布比较歪的场景。走残差旁路至少让信息还能继续流下去代价是该token这一层没得到专家精细处理表达能力会打折扣。还有第三种做法是把溢出token重新分配给次优专家多花一点路由和通信开销但保住了信息。实操上我强烈建议把溢出token当成健康指标看待训练时被drop或旁路的token比例如果持续高过5%~10%说明容量太小或者负载已经歪得很严重。这时候与其硬调容量因子不如先回头看看辅助均衡损失是不是没在工作。5.3 新一代思路绕开辅助损失做均衡辅助损失好用但它本质上是和主loss在抢优化空间。所以近一两年有不少工作想绕开它其中两类最值得关注。第一类是负载反馈偏置。给路由logits里额外加一个可学习的偏置训练过程中定期统计每个专家负载负载高的降低偏置、负载低的抬高偏置。这样均衡信息直接被写进路由信号不需要额外的辅助损失项。好处是主loss和均衡信号互不干扰坏处是它多了一层反馈机制实现起来和调参更讲究。第二类是设备限制路由和路由分组。token不能任意选专家只能从某个设备组或某个分组里选再由组内路由决定具体专家。这种结构性约束天然把路由压力分散到多组还顺带减少了跨设备通信。如果你刚开始做MoE我建议先用“辅助损失容量因子”这个经典组合验证稳定后再去探索无辅助损失的方案别第一个版本就把难度拉满。6. 从原理到代码手写一个最小MoE层会遇到哪些坑6.1 一个可直接实验的PyTorch最小实现下面这个版本我把MoE层压缩到只剩核心逻辑可以直接塞进Transformer风格模型的FFN位置做实验。它包含门控、top_k选择、专家前馈、简单容量限制和辅助均衡损失能跑通、能观察到负载变化。import torch import torch.nn as nn import torch.nn.functional as F class MoEFFN(nn.Module): def __init__(self, d_model, d_ff512, num_experts8, top_k2, capacity_factor1.25, aux_loss_weight0.01): super().__init__() self.num_experts num_experts self.top_k top_k self.capacity_factor capacity_factor self.aux_loss_weight aux_loss_weight self.gate nn.Linear(d_model, num_experts, biasFalse) nn.init.normal_(self.gate.weight, mean0.0, std0.02) self.experts nn.ModuleList([ nn.Sequential( nn.Linear(d_model, d_ff), nn.GELU(), nn.Dropout(0.1), nn.Linear(d_ff, d_model), ) for _ in range(num_experts) ]) def forward(self, x): # x: [batch, seq, d_model] bsz, seq_len, d_model x.shape x x.reshape(-1, d_model) n_tokens x.size(0) logits self.gate(x) # 在float32下算softmax避免混合精度带来的路由误差 probs F.softmax(logits.float(), dim-1) topk_probs, topk_inds torch.topk(probs, self.top_k, dim-1) topk_probs topk_probs / topk_probs.sum(dim-1, keepdimTrue) capacity max(1, int(round(n_tokens / self.num_experts * self.capacity_factor))) out torch.zeros_like(x) aux 0.0 for eid in range(self.num_experts): mask (topk_inds eid) # [N, top_k] # 每个token分给该专家的权重选中则取归一化概率未选中则为0 expert_weights topk_probs.masked_fill(~mask, 0.0).sum(dim-1) # 辅助损失f_i要detach梯度只通过P_i回流到门控 aux expert_weights.mean().detach() * probs[:, eid].mean() if expert_weights.sum() 0: # 简单容量限制保留权重最高的前capacity个token sorted_idx torch.argsort(expert_weights, descendingTrue) kept_idx sorted_idx[:capacity] assigned torch.zeros_like(expert_weights) assigned[kept_idx] expert_weights[kept_idx] out self.experts[eid](x) * assigned.unsqueeze(-1) aux_loss self.aux_loss_weight * self.num_experts * aux return out.view(bsz, seq_len, d_model), aux_loss需要强调一句真实训练框架不会让每个专家对全部token做前向而是先做路由再把每个专家接到的token聚合成batch后统一矩阵乘。上面这个写法是为了可读性只能当逻辑验证用不要拿它的复杂度去和框架版本对比。另外完全被容量丢弃的token在真实模型里要走残差旁路兜底这个最小实现没做那一层接入正式Transformer时要自己补上。6.2 实现中容易翻车的四个细节我每次检查别人的MoE实现都会格外留意四个点。第一门控线性层不要加bias或者至少保证初始化时bias为0。加一个随机初始化的bias很容易在训练早期引入偏心让某个专家天然获得优势。第二softmax务必在float32下计算混合精度训练里半精度logits带来的路由误差会被后续加权放大直接损害训练稳定性。第三辅助损失里的f_i要用detach忘记截断是新手最容易犯的bug梯度路径一旦绕路路由就会被带偏。第四专家内部的dropout放在激活之后、输出层之前不要对路由概率做dropout否则会打乱top_k矩阵的稀疏结构。另外如果你的模型里有多个MoE层每层都会算出一个辅助损失最终loss应该是所有层辅助损失之和。注意各层的负载状况是可以独立变化的监控时也要分层看不能只看一个平均数字。6.3 训练MoE时的三个核心观测指标我现在训练MoE模型时最在意的不是loss曲线本身而是下面这三个东西观测指标计算方式健康范围异常处理专家使用率直方图每N步统计每个专家接收token次数占总token比例无专家长期为0分布不过分倾斜倾斜明显时先查辅助损失权重和gate初始化辅助损失数值随训练步数记录初期快速下降后趋稳数值相对主loss不明显偏大持续高说明软引导失效调整权重或检查容量因子溢出token占比每个batch溢出或旁路的token数占总token数比例训练期控制在5%~10%以内持续超标就增大容量因子回头查均衡损失loss曲线只告诉你整体在收敛这三个指标才告诉你MoE的资产有没有真的被用起来。我见过不止一次loss非常漂亮、但专家利用率一塌糊涂的情况这种模型最后测试时表现会远低于预期因为它的有效容量比设计值小得多。7. MoE正在往哪里走新趋势与仍然存在的瓶颈7.1 细粒度专家与共享专家早期MoE的典型特征是专家数量不多、每个专家很大靠辅助损失维持负载均衡。最近几年的演进方向反过来专家数量做得更大每个专家维度变小同时专门设置几个固定激活的共享专家。共享专家兜住通用知识路由专家专攻细粒度差异专家粒度变小后同一个token会涉及更多专家组合组合空间变大这对容量利用和负载分散都有好处。还有一个附带优点细粒度专家偶尔失活时影响被摊薄了不像大专家那样一躺倒整个层就少了一大块容量。这个方向让我觉得MoE正在从“粗放地挂一堆大模块”走向“精细化分工”整个架构的效率和鲁棒性都在提升。7.2 路由粒度与通信结构的优化另一类变化集中在路由粒度上。token级路由精度高但代价是跨设备通信的碎片化一批token里可能每个token都跑向不同设备通信开销爆炸。现在很多方案开始做block级路由或设备限制路由一段连续的输入强制送到同一个设备组先决定设备再决定专家。这牺牲了一点路由精度却让通信包变得整齐吞吐明显提升。做工程的人应该能感觉到这是典型的容量利用率和系统效率之间的trade-off。同样的趋势在推理侧也出现许多推理框架会把发往同一专家的token攒批后再做矩阵乘本质上都是在对抗路由带来的访存随机性。7.3 我目前最看重的几个实践判断接触MoE很长时间我自己的判断可以归纳成几句。在纯训练侧MoE确实是低成本扩展模型能力的实用方式但负载均衡一定要当成一等公民来设计不能指望它自己长出来。在推理侧显存和访存才是真正的瓶颈——MoE的稀疏性帮你省了算力却把所有专家参数都压在显存里部署前一定要盘一遍专家实际的利用率毫不客气地裁掉那些常年摸鱼的专家。最后一条建议很朴素如果你正打算在自己的模型里试MoE先从最朴素的版本开始固定top_k2加一个经典的辅助均衡损失容量因子设1.25。跑通之后再去试各种新的路由方法比如负载反馈偏置、设备限制路由、细粒度专家拆分。先把基本盘守住再谈花样。 
长河君 · 2026/10/18 17:45:37 · 阅读 1.2k MoE原理与负载均衡：稀疏大模型训练、推理成本优化实践
说实话第一次听说某个模型用上“混合专家”MoE时我的第一反应是这不就是集成学习换了个名字吗多个专家凑在一起投票怎么可能反而省算力后来把相关论文和实现逐行看完才意识到这个直觉错得离谱。MoE的核心不是让多个模型合作而是给同一个模型装上大量可替换的子模块每次输入只激活其中一小部分——它属于条件计算跟集成是两套完全不同的逻辑。这篇文章我打算沿着“专家本质 → 路由机制 → 负载均衡”这条主线来写。前面讲清楚专家和门控网络到底在做什么中间重点讲负载均衡为什么会成为MoE工程落地最绕不开的问题最后给一个可以放进训练脚本跑起来的最小实现以及我个人在训练时用来判断负载健康状况的几个指标。适合两类人读一类是刚接触大模型架构、想彻底搞懂MoE原理的开发者另一类是已经在调MoE模型、正被负载不均衡或训练不稳定折磨的工程师。文章里没有堆术语但也不会为了通俗牺牲准确性该给公式给公式该贴代码贴代码。1. MoE到底解决了什么稠密模型的“全量激活”困境1.1 稠密模型为什么这么贵注意力稍微拉回到Transformer结构上你会发现一个套在头上的紧箍咒标准的Transformer里每一个token都必须完整经过Attention层和前馈层没有例外。前馈层FFN通常在参数量上占大头而且它对每个token做的是无差别计算这是整个推理链路里最大的算力黑洞。模型想要更强的表达能力最直接的办法就是把FFN的隐层维度拉大、把层数加深。参数一多每个进来的token都要同样多算一遍。这就是我们常说的“稠密激活”所有参数对每个token一视同仁地付出计算量。换句话说参数量和推理成本被死死绑定在一起模型想记住更多知识就得喂更多参数参数越多每次推理的计算量也跟着线性涨。对大模型部署来说这几乎是预算上的噩梦。你辛辛苦苦训出一个70B模型每个token前向都要从第一个参数算到最后一个参数没有一点点偷懒的空间。1.2 MoE不是集成而是条件计算很多人一开始把MoE理解成集成学习这是最大的认知坑。集成学习的核心是多个模型各自对输入算一遍然后把结果投票或者加权总成本就是单个模型成本的N倍。你有8个模型做集成推理成本就是8倍没有任何技巧能省下来。MoE的玩法完全不同。它在结构上仍然是一个模型只不过这个模型内部准备了大量可替换的“计算单元”。输入进来后门控网络先从这些单元里挑出少数几个让它们干活其余单元原地不动、不参与计算。这叫做条件计算不同输入走不同的计算路径而整条路径只是完整参数空间中的一个子集。用一个不太严谨但很好懂的类比集成像遇到难题时找8个顾问各出一份方案再综合MoE像公司内部设了很多项目组任务进来后只叫两个最对口的组去处理其他组不用动弹。前者算力是加法后者是动态分配。1.3 MoE收益的本质参数量和计算量解绑所以MoE被大规模采用的根本原因是把“参数量”和“单次推理计算量”之间的绑定关系解开了。一个MoE模型可以有非常大的总参数量但某个token真正激活的只是其中一小块。假设一个模型把FFN替换成了8专家的MoEtop_k取2那么每个token实际产生的计算量大约只相当于2个专家的工作量却拥有8倍于普通前馈网络的容量储备。从部署角度看有两个明显收益一是模型容量更大、能塞进更多知识二是单token的推理算力成本没有跟随参数总量线性增长。当然天下没有免费的午餐代价就落在路由机制、通信开销、显存占用和负载均衡上。这也是为什么标题把“负载均衡”单独拎出来——它才是决定MoE能不能用得起来的工程命门。2. “专家”到底是什么MoE的核心部件拆解2.1 专家不是学科分类而是参数子空间很多人对MoE的第一个直觉是专家应该像语文老师、数学老师那样各管一摊吧实际你去把训练好的MoE模型拆开看会发现专家的分工根本不是按文本主题划分的。拿不同话题去测每个专家的激活程度最后往往是高度重叠、分布散乱同一个专家可能在数学题和情感对话里都被高概率激活。那专家到底是什么用我的理解来说专家就是一组相对独立的参数子空间擅长某一种神经表示变换而不是某一个学科。Transformer里的FFN层本质上是对token的隐藏表示做非线性变换不同的FFN参数矩阵是在尝试建模不同类型的变换模式。MoE把原本属于一个大FFN的参数空间切分成多个独立子空间让路由按输入特征动态挑选最合适的那个。一个比较粗的类比FFN是要求一个人掌握所有语境下的翻译方式MoE则准备了多个翻译处理模块有的擅长短句、有的擅长技术文档。但这个分工不是刻意指定的而是在训练中自发涌现的默契——它是路有出来的自然结果不是人设计出来的先验规则。2.2 门控网络到底在学什么门控网络Router/Gating在MoE里负责分发。它通常就是一个线性层输入是token的隐藏表示输出是一个与专家数量等长的logits向量再经过softmax变成每个专家的选中概率。这里要澄清一个常见的困惑门控网络不是在学习“这个token属于哪个专家”的分类问题它不产生one-hot标签而是输出一个概率分布。以最常用的top-k路由为例模型从概率最高的K个专家里挑出来把其余专家置零接着再把K个选中专家的概率重新归一化最后用归一化权重去做专家输出的加权求和。为什么是加权求和而不是硬选一个如果每个token只走一个专家路由错一次就完全没有拯救机会梯度通过的路径也会变得非常局限。加权求和让多个专家同时参与输出本质上是给路由决策留了一条软后路第一专家选错了第二专家还能补位。这也是top_k2成为默认选择的重要原因。2.3 为什么通常只替换FFN层另一个值得注意的细节是MoE在设计时不是把所有层都换成专家通常只替换FFN层Attention层保持稠密。原因是FFN占用了Transformer里绝大部分参数和单token计算量对Attention做同样的替换性价比很低。而且Attention是token之间交换信息的公共通道每个token都需要和其他token交互这一层很难被稀疏化处理。你无法只让一部分token做Attention而另一部分不做那会把上下文依赖关系打断。所以MoE的“稀疏”是刻意、局部的把计算开销最大的FFN部分做成条件分支而公共交互层继续全量计算。这种“局部稀疏、整体稠密”的设计才是MoE工程落地的真实面貌。3. 路由最容易被忽略的三个细节K值、噪声注入与容量因子3.1 K值怎么选稀疏度与表达力的权衡top_k到底取几直接决定稀疏程度和模型容量利用率的平衡。整理一个简单的对照K值计算成本容错性典型场景K1最低差路由错一次就全错极端追求推理速度K2低较强两个专家互补大多数MoE模型的默认值K全部等于稠密模型最强但没有稀疏收益soft MoE几乎只在特殊场景用K1是最极端的稀疏每个token只用一个专家计算成本最小但专家间的协作完全不存在模型容量利用率很容易受制于路由早期偏差。K2是大多数方案的默认选择计算量只多一倍却给两个专家互补的容错空间。如果K等于专家总数就退化成软路由所有专家每个token都参与MoE的算力优势基本消失。还有一个容易被忽视的点K值要和专家数量放在一起看。专家少的时候可以用大K专家多的时候用小K真正重要的是保证被激活的“专家组合”数量足够大模型才能拥有条件组合的表达能力。3.2 训练时为什么要往logits里注入噪声很多人理解路由就是softmax选top_k但真训练时直接这么干很容易出问题。训练早期的门控网络非常脆弱一旦对某个专家产生早期偏好分配就会被快速锁死在一条歪路上。经典的解决方案是在训练阶段往logits里注入噪声让选择过程带一点随机探索。这个做法本质上是给路由参数加温度逼着门控在前几个epoch里不要过早收敛多去尝试不同的专家组合。推理阶段噪声关闭让选择变成确定性过程。你可能觉得这不就是dropout吗其实不是。dropout随机丢弃的是神经元而这里解决的是专家选择的探索问题两者作用对象完全不同。路由噪声调整的是门控的决策熵防止它在信息不足的情况下做太自信的决定。3.3 容量因子给每个专家设一道工位上限容量因子capacity factor是MoE里最容易被新手忽略的参数它决定了一个专家在单次批次中最多能处理多少个token。计算公式通常是先算出如果路由完全均匀时每个专家该分到多少token再乘上容量因子得到上限。因子取1表示完全没有冗余路由稍微偏一点就会挤爆实际训练通常设在1.0到1.25之间。超过容量上限的token怎么办两种常见做法直接丢弃或者走残差旁路绕过MoE层。训练时丢弃token是信息损失所以容量因子不能设太小推理时宁可多算也不丢token通常会临时提高容量。容量因子是负载均衡的“硬约束”它和辅助均衡损失的区别在于辅助损失是劝门控别偏心容量因子是直接物理限制每个专家最多能接多少活。两者配合才能把负载真正按住。4. 负载均衡问题是怎么发生的从正反馈到专家崩溃4.1 完整链条偶然优势如何滚成雪球要理解负载均衡得先弄明白不均衡是怎么来的。它不是某一次初始化的偶发bug而是MoE自带的内在倾向。刚开始训练时门控接近均匀但由于随机波动总会有一两个专家在某些batch里收到稍多一点的数据。这一丝偶然优势会滚雪球专家收到的token多对应梯度更新就多它的参数就更适配当前训练分布参数一适配门控分配给它的token就更多。于是“赢家通吃”的循环形成了。这个过程在文献里通常被称为路由崩溃或专家崩溃。它不像程序报错那么明显——训练loss可能还在降但你把专家激活分布拉出来看会发现一群人快累死了另一群人每天在摸鱼。还有一种更隐蔽的情况训练初期有均衡损失压着直方图看起来挺平坦一旦辅助损失权重设小或者训练后期噪声衰减崩溃会在某个阶段突然冒出来。所以不均衡问题不是配好参数就一劳永逸它需要全程监控。4.2 专家崩溃的实际代价很多人觉得专家崩溃无非是浪费几个专家顶多训练慢一点。实际上代价比想象中大得多。第一是参数量虚增。设计目标是每个专家贡献一些容量如果大部分专家长期闲置模型的有效容量就远低于设计值相当于你显存里白养了一堆人。第二是训练不稳定。热门专家承接过量梯度和样本方差优化器要照顾这些大梯度冷门专家的小更新又被压在下面梯度分布严重失衡。第三是分布式热点。专家并行时token会大量路由到某几个设备上闲置的设备空转忙碌的设备在等通信整个集群利用率往下掉。另外还有一个隐性影响如果长期只有少数专家活跃那么即使你设了top_k2最后两个专家常常是同一批幸存者MoE组合能力实际退化成单专家表达能力整个设计初衷就失效了。4.3 为什么不能指望模型自己学会均衡“门控网络也是可学习的它难道不会学到让loss最小的分配吗”这个问题我被人问过很多次。答案是它会学但学到的往往是集中分配而不是均匀分配。均匀分配本就不在主loss的优化目标里。对主loss而言把大部分token塞给少数几个强专家往往能更快压到不错的效果这正是梯度下降喜欢的路径。也就是说如果不加约束模型自然涌现的均衡状态是“能者多劳”而不是“人人有活干”。工程上绕不开的结论就是必须人为干预。要么用辅助损失要么用容量硬约束要么在路由信号里加负载反馈。把均衡这件事从隐含项变成显式指标才是MoE能用得稳的前提。5. 解决负载均衡的核心手段辅助损失、硬约束与新路由策略5.1 辅助平衡损失最经典的软引导最常见的软办法是加辅助均衡损失。思想很朴素统计一个batch内每个专家实际接收的token比例f_i再统计门控对每个专家输出的平均概率P_i然后把每个专家的f_i乘P_i累加起来乘上专家数量作为惩罚项。这里有两个细节要理解。为什么把f_i和P_i乘在一起因为单独约束任何一个都不够——你可能嘴上概率说得很均匀但实际分配歪到一边也可能实际分得匀但门控对专家毫无区分度。两者相乘同时惩罚了分配不均和评分不均。为什么乘专家数量为了让这一项的量级和token数、专家数解耦落到一个稳定的尺度。实现时有个特别容易踩的坑f_i在反向传播时要用detach截断让梯度只通过P_i回流到门控不要顺着token统计量再绕回门控一次。权重系数通常取0.001到0.01这个量级太小约束不住太大会抢主loss的位置导致模型整体效果下降。5.2 容量因子与溢出token的处理辅助损失是软约束真到了约束不住的时候需要硬约束兜底这就是容量因子。它的作用非常直接专家接单超过上限后后续token要么被丢弃要么走残差旁路。丢token对模型质量伤害明显尤其在训练集分布比较歪的场景。走残差旁路至少让信息还能继续流下去代价是该token这一层没得到专家精细处理表达能力会打折扣。还有第三种做法是把溢出token重新分配给次优专家多花一点路由和通信开销但保住了信息。实操上我强烈建议把溢出token当成健康指标看待训练时被drop或旁路的token比例如果持续高过5%~10%说明容量太小或者负载已经歪得很严重。这时候与其硬调容量因子不如先回头看看辅助均衡损失是不是没在工作。5.3 新一代思路绕开辅助损失做均衡辅助损失好用但它本质上是和主loss在抢优化空间。所以近一两年有不少工作想绕开它其中两类最值得关注。第一类是负载反馈偏置。给路由logits里额外加一个可学习的偏置训练过程中定期统计每个专家负载负载高的降低偏置、负载低的抬高偏置。这样均衡信息直接被写进路由信号不需要额外的辅助损失项。好处是主loss和均衡信号互不干扰坏处是它多了一层反馈机制实现起来和调参更讲究。第二类是设备限制路由和路由分组。token不能任意选专家只能从某个设备组或某个分组里选再由组内路由决定具体专家。这种结构性约束天然把路由压力分散到多组还顺带减少了跨设备通信。如果你刚开始做MoE我建议先用“辅助损失容量因子”这个经典组合验证稳定后再去探索无辅助损失的方案别第一个版本就把难度拉满。6. 从原理到代码手写一个最小MoE层会遇到哪些坑6.1 一个可直接实验的PyTorch最小实现下面这个版本我把MoE层压缩到只剩核心逻辑可以直接塞进Transformer风格模型的FFN位置做实验。它包含门控、top_k选择、专家前馈、简单容量限制和辅助均衡损失能跑通、能观察到负载变化。import torch import torch.nn as nn import torch.nn.functional as F class MoEFFN(nn.Module): def __init__(self, d_model, d_ff512, num_experts8, top_k2, capacity_factor1.25, aux_loss_weight0.01): super().__init__() self.num_experts num_experts self.top_k top_k self.capacity_factor capacity_factor self.aux_loss_weight aux_loss_weight self.gate nn.Linear(d_model, num_experts, biasFalse) nn.init.normal_(self.gate.weight, mean0.0, std0.02) self.experts nn.ModuleList([ nn.Sequential( nn.Linear(d_model, d_ff), nn.GELU(), nn.Dropout(0.1), nn.Linear(d_ff, d_model), ) for _ in range(num_experts) ]) def forward(self, x): # x: [batch, seq, d_model] bsz, seq_len, d_model x.shape x x.reshape(-1, d_model) n_tokens x.size(0) logits self.gate(x) # 在float32下算softmax避免混合精度带来的路由误差 probs F.softmax(logits.float(), dim-1) topk_probs, topk_inds torch.topk(probs, self.top_k, dim-1) topk_probs topk_probs / topk_probs.sum(dim-1, keepdimTrue) capacity max(1, int(round(n_tokens / self.num_experts * self.capacity_factor))) out torch.zeros_like(x) aux 0.0 for eid in range(self.num_experts): mask (topk_inds eid) # [N, top_k] # 每个token分给该专家的权重选中则取归一化概率未选中则为0 expert_weights topk_probs.masked_fill(~mask, 0.0).sum(dim-1) # 辅助损失f_i要detach梯度只通过P_i回流到门控 aux expert_weights.mean().detach() * probs[:, eid].mean() if expert_weights.sum() 0: # 简单容量限制保留权重最高的前capacity个token sorted_idx torch.argsort(expert_weights, descendingTrue) kept_idx sorted_idx[:capacity] assigned torch.zeros_like(expert_weights) assigned[kept_idx] expert_weights[kept_idx] out self.experts[eid](x) * assigned.unsqueeze(-1) aux_loss self.aux_loss_weight * self.num_experts * aux return out.view(bsz, seq_len, d_model), aux_loss需要强调一句真实训练框架不会让每个专家对全部token做前向而是先做路由再把每个专家接到的token聚合成batch后统一矩阵乘。上面这个写法是为了可读性只能当逻辑验证用不要拿它的复杂度去和框架版本对比。另外完全被容量丢弃的token在真实模型里要走残差旁路兜底这个最小实现没做那一层接入正式Transformer时要自己补上。6.2 实现中容易翻车的四个细节我每次检查别人的MoE实现都会格外留意四个点。第一门控线性层不要加bias或者至少保证初始化时bias为0。加一个随机初始化的bias很容易在训练早期引入偏心让某个专家天然获得优势。第二softmax务必在float32下计算混合精度训练里半精度logits带来的路由误差会被后续加权放大直接损害训练稳定性。第三辅助损失里的f_i要用detach忘记截断是新手最容易犯的bug梯度路径一旦绕路路由就会被带偏。第四专家内部的dropout放在激活之后、输出层之前不要对路由概率做dropout否则会打乱top_k矩阵的稀疏结构。另外如果你的模型里有多个MoE层每层都会算出一个辅助损失最终loss应该是所有层辅助损失之和。注意各层的负载状况是可以独立变化的监控时也要分层看不能只看一个平均数字。6.3 训练MoE时的三个核心观测指标我现在训练MoE模型时最在意的不是loss曲线本身而是下面这三个东西观测指标计算方式健康范围异常处理专家使用率直方图每N步统计每个专家接收token次数占总token比例无专家长期为0分布不过分倾斜倾斜明显时先查辅助损失权重和gate初始化辅助损失数值随训练步数记录初期快速下降后趋稳数值相对主loss不明显偏大持续高说明软引导失效调整权重或检查容量因子溢出token占比每个batch溢出或旁路的token数占总token数比例训练期控制在5%~10%以内持续超标就增大容量因子回头查均衡损失loss曲线只告诉你整体在收敛这三个指标才告诉你MoE的资产有没有真的被用起来。我见过不止一次loss非常漂亮、但专家利用率一塌糊涂的情况这种模型最后测试时表现会远低于预期因为它的有效容量比设计值小得多。7. MoE正在往哪里走新趋势与仍然存在的瓶颈7.1 细粒度专家与共享专家早期MoE的典型特征是专家数量不多、每个专家很大靠辅助损失维持负载均衡。最近几年的演进方向反过来专家数量做得更大每个专家维度变小同时专门设置几个固定激活的共享专家。共享专家兜住通用知识路由专家专攻细粒度差异专家粒度变小后同一个token会涉及更多专家组合组合空间变大这对容量利用和负载分散都有好处。还有一个附带优点细粒度专家偶尔失活时影响被摊薄了不像大专家那样一躺倒整个层就少了一大块容量。这个方向让我觉得MoE正在从“粗放地挂一堆大模块”走向“精细化分工”整个架构的效率和鲁棒性都在提升。7.2 路由粒度与通信结构的优化另一类变化集中在路由粒度上。token级路由精度高但代价是跨设备通信的碎片化一批token里可能每个token都跑向不同设备通信开销爆炸。现在很多方案开始做block级路由或设备限制路由一段连续的输入强制送到同一个设备组先决定设备再决定专家。这牺牲了一点路由精度却让通信包变得整齐吞吐明显提升。做工程的人应该能感觉到这是典型的容量利用率和系统效率之间的trade-off。同样的趋势在推理侧也出现许多推理框架会把发往同一专家的token攒批后再做矩阵乘本质上都是在对抗路由带来的访存随机性。7.3 我目前最看重的几个实践判断接触MoE很长时间我自己的判断可以归纳成几句。在纯训练侧MoE确实是低成本扩展模型能力的实用方式但负载均衡一定要当成一等公民来设计不能指望它自己长出来。在推理侧显存和访存才是真正的瓶颈——MoE的稀疏性帮你省了算力却把所有专家参数都压在显存里部署前一定要盘一遍专家实际的利用率毫不客气地裁掉那些常年摸鱼的专家。最后一条建议很朴素如果你正打算在自己的模型里试MoE先从最朴素的版本开始固定top_k2加一个经典的辅助均衡损失容量因子设1.25。跑通之后再去试各种新的路由方法比如负载反馈偏置、设备限制路由、细粒度专家拆分。先把基本盘守住再谈花样。