一. 核心架构与配置1. MOE61 层 Transformer，前 3 层稠密，后 58 层为 MoE；每层 1 个共享专家 + 8 个路由专家，总参 671B，激活仅 37B。（1）负载均衡的重要性在 MoE（Mixture-of-Experts）模型中，负载均衡是确保系统高效运作的核心条件。核心问题：路由崩溃（Route Collapse）当负载不均衡时，MoE 无法有效运作，最典型的问题是路由崩溃：少数专家接收大部分输入 token，其他专家利用率极低导致硬件资源浪费（计算集中在少数 GPU 核心）引发梯度冲突（gradient conflict），训练不稳定、难以收敛工作负荷不足的专家因训练 token 不足，难以学习有效知识，导致性能低下和泛化效果差（2）传统负载均衡方案辅助损失函数（Auxiliary Loss）在模型训练的目标函数基础上引入辅助损失函数，以强化负载均衡。