Qwen3.8-Whittle-MoE-27B-A17.8B 完全解析零新权重把27B稠密模型变成17.8B激活MoE24GB显卡本地跑通Qwen3.8-Whittle-MoE-27B-A17.8B是一个开源的事后 MoE模型它把稠密的 Qwen3.8-27B 的 FFN 层精确切割成 64 个专家切片不新增任何一个 FFN 权重只重新训练了每层的 tiny 路由器让每个 token 只激活 17.8B 参数。量化后 24GB 显存的显卡就能本地跑通是小显卡跑大模型方向少见的完整可复现实验。一、它到底做了什么零新权重的外科手术传统做 MoE混合专家模型需要从头训练而 Whittle 的思路是切分partition而不是重建父模型每一层的稠密 FFN 宽度为 17408被切成64 个宽度 192 的路由专家1 个常驻共享专家宽度 5120算术上完全精确64 × 192 5120 17408一个神经元都不少每层一个小路由器为每个 token 从 64 个专家中挑 16 个于是每个 token 只运行 8192/17408 的 FFN 宽度——27B 总参数中只有 17.8B 是激活的注意力侧64 层、16 个 full attention 层与 gated deltanet 线性注意力混合、hidden size 5120完全没动。切完的第一版输出是乱码知识测验 39 题只答对 4 题。研究者随后冻结全部专家只训练 64 个路由器成绩立刻恢复到 27/39——说明知识一直都在切片里路由器只需要学会该点燃哪些专家。这个先救路由器的方法是本项目最值得借鉴的部分。二、24GB 显卡本地部署最快跑通方法模型以 bf16 safetensors 形式存放在仓库根目录15 个分片推荐下载官方量化版 GGUFQ4_K_M用 llama.cpp 启动服务llama-server -m Whittle-MoE-27B-A18B-v2.2-Q4_K_M.gguf --host 0.0.0.0 --port 8090 -ngl 99 -c 8192 -fa on --jinja几点实用建议显存Q4_K_M 量化后 24GB 单卡可跑显存更紧张时可拆到两块 12GB 显卡--jinja参数很重要它会启用模型自带的 chat_template.jinja 聊天模板多轮对话才不会出现格式问题需要多轮对话或长上下文时-c 8192的上下文长度可按需调整仓库内的 loop_test.py 是一套现成的复读率测试脚本指向服务地址即可复现官方发布的所有数字例如python loop_test.py http://localhost:8090。本地文件资料主模型权重索引model.safetensors.index.json架构配置64 专家、top-16、共享专家 5120config.json生成参数temperature 0.7 / top_p 0.8 / top_k 20generation_config.json三、质量表现从复读机到会收尾的四个版本这个项目的公开日志非常坦诚版本迭代本身就是一篇教程指标同套固定测试集初版v2v2.1v2.2单轮长回答复读率69%11%8%—多轮对话复读率64%7%7%7%结构化输出SQL/HTML/表格复读率~75%39%22%22%知识测验28/3927/3928/3928/39几个关键发现对想自己微调 MoE 的人很有价值复读与提前截断是同一根轴的两端。v2.2 之前治复读的训练总会让模型学会提前闭嘴五轮消融实验完整记录在 WHITTLE_FINDINGS.md证明缺失的不是要不要停而是何时停v2.2 的停止门stop gate只训练了 64 个shared_expert_gate张量共 0.33M 参数、0.66MB却把数数列表的干净收尾率从 18/36 提到 27/36列表复读指标从 0.237 降到 0.048v2.2.1修复了开启推理reasoning时在思维链中提前结束回合的 bug开启推理的 24 条探针中没输出/think就结束的比例从 21/24 降到 3/24。修复文件在 v2.2/shared_expert_gate.safetensors旧门被归档以便回滚若你的场景是给我恰好 N 条官方建议锁定 v2.1其余场景 v2.2 更好。四、诚实的局限使用之前必读官方在 README.md 中把短板写得明明白白结构化输出仍偏弱SQL、HTML、markdown 表格生成约 39% 会退化比 75% 好了但仍不算可用继承家族弱点偶尔出现臆造的词和毛边数字算术能力一般仓库里 arith_eval_shexp.json 记录了多题只答对 3/5 的实况评测规模小单人小测试架所有数字应视为车间测量而非权威 benchmark量化版 GGUF 尚未重建 v2.2.1 门跑量化档时建议保持 reasoning 关闭。五、仓库结构与进阶资源除了可直接部署的主权重仓库里还保留了完整的训练过程资产适合想深入 MoE 压缩的研究者路径内容v1/第一代 MoE 权重router-heal 之前v2/v2 反循环轮次完整权重 聊天模板v2-adapter/v2 训练使用的 LoRA 适配器router 与 gate 全参保留v2.1/adapter/v2.1 平衡轮次的适配器router-heal-adapter/路由修复阶段 LoRA 适配器arith-shexp-lora/针对算术的 shared_expert LoRA 及其评测记录ROADMAP.mdv3 规划k 值扫描、DRY 采样器、训练轮预算与风险登记WHITTLE_FINDINGS.md全部实验日志包括 13 个踩坑记录EOS 掩码反噬、优化器内存、就绪检查等如果只想快速上手记住三句话下载 v2.2 的 Q4_K_M GGUF → llama.cpp 加--jinja启动 → 24GB 显存即可对话。六、总结Qwen3.8-Whittle-MoE-27B-A17.8B 最大的价值不只是27B 模型 24GB 跑起来而是它用公开的方法、数据集和失败日志证明了一条路稠密大模型可以事后改造成 MoE而且最先该救的是路由器。对新手而言它是研究 MoE、蒸馏和何时停止生成这一难题的难得教材对本地部署用户而言它是一张入门 17.8B 激活参数模型的现实选择。需要提醒的是结构化输出与算术仍是短板生产环境请结合具体任务自行验证。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/30 2:24:46 · 阅读 1.2k Qwen3.8-Whittle-MoE-27B-A17.8B 完全解析：零新权重把27B稠密模型变成17.8B激活MoE，24GB显卡本地跑通
Qwen3.8-Whittle-MoE-27B-A17.8B 完全解析零新权重把27B稠密模型变成17.8B激活MoE24GB显卡本地跑通Qwen3.8-Whittle-MoE-27B-A17.8B是一个开源的事后 MoE模型它把稠密的 Qwen3.8-27B 的 FFN 层精确切割成 64 个专家切片不新增任何一个 FFN 权重只重新训练了每层的 tiny 路由器让每个 token 只激活 17.8B 参数。量化后 24GB 显存的显卡就能本地跑通是小显卡跑大模型方向少见的完整可复现实验。一、它到底做了什么零新权重的外科手术传统做 MoE混合专家模型需要从头训练而 Whittle 的思路是切分partition而不是重建父模型每一层的稠密 FFN 宽度为 17408被切成64 个宽度 192 的路由专家1 个常驻共享专家宽度 5120算术上完全精确64 × 192 5120 17408一个神经元都不少每层一个小路由器为每个 token 从 64 个专家中挑 16 个于是每个 token 只运行 8192/17408 的 FFN 宽度——27B 总参数中只有 17.8B 是激活的注意力侧64 层、16 个 full attention 层与 gated deltanet 线性注意力混合、hidden size 5120完全没动。切完的第一版输出是乱码知识测验 39 题只答对 4 题。研究者随后冻结全部专家只训练 64 个路由器成绩立刻恢复到 27/39——说明知识一直都在切片里路由器只需要学会该点燃哪些专家。这个先救路由器的方法是本项目最值得借鉴的部分。二、24GB 显卡本地部署最快跑通方法模型以 bf16 safetensors 形式存放在仓库根目录15 个分片推荐下载官方量化版 GGUFQ4_K_M用 llama.cpp 启动服务llama-server -m Whittle-MoE-27B-A18B-v2.2-Q4_K_M.gguf --host 0.0.0.0 --port 8090 -ngl 99 -c 8192 -fa on --jinja几点实用建议显存Q4_K_M 量化后 24GB 单卡可跑显存更紧张时可拆到两块 12GB 显卡--jinja参数很重要它会启用模型自带的 chat_template.jinja 聊天模板多轮对话才不会出现格式问题需要多轮对话或长上下文时-c 8192的上下文长度可按需调整仓库内的 loop_test.py 是一套现成的复读率测试脚本指向服务地址即可复现官方发布的所有数字例如python loop_test.py http://localhost:8090。本地文件资料主模型权重索引model.safetensors.index.json架构配置64 专家、top-16、共享专家 5120config.json生成参数temperature 0.7 / top_p 0.8 / top_k 20generation_config.json三、质量表现从复读机到会收尾的四个版本这个项目的公开日志非常坦诚版本迭代本身就是一篇教程指标同套固定测试集初版v2v2.1v2.2单轮长回答复读率69%11%8%—多轮对话复读率64%7%7%7%结构化输出SQL/HTML/表格复读率~75%39%22%22%知识测验28/3927/3928/3928/39几个关键发现对想自己微调 MoE 的人很有价值复读与提前截断是同一根轴的两端。v2.2 之前治复读的训练总会让模型学会提前闭嘴五轮消融实验完整记录在 WHITTLE_FINDINGS.md证明缺失的不是要不要停而是何时停v2.2 的停止门stop gate只训练了 64 个shared_expert_gate张量共 0.33M 参数、0.66MB却把数数列表的干净收尾率从 18/36 提到 27/36列表复读指标从 0.237 降到 0.048v2.2.1修复了开启推理reasoning时在思维链中提前结束回合的 bug开启推理的 24 条探针中没输出/think就结束的比例从 21/24 降到 3/24。修复文件在 v2.2/shared_expert_gate.safetensors旧门被归档以便回滚若你的场景是给我恰好 N 条官方建议锁定 v2.1其余场景 v2.2 更好。四、诚实的局限使用之前必读官方在 README.md 中把短板写得明明白白结构化输出仍偏弱SQL、HTML、markdown 表格生成约 39% 会退化比 75% 好了但仍不算可用继承家族弱点偶尔出现臆造的词和毛边数字算术能力一般仓库里 arith_eval_shexp.json 记录了多题只答对 3/5 的实况评测规模小单人小测试架所有数字应视为车间测量而非权威 benchmark量化版 GGUF 尚未重建 v2.2.1 门跑量化档时建议保持 reasoning 关闭。五、仓库结构与进阶资源除了可直接部署的主权重仓库里还保留了完整的训练过程资产适合想深入 MoE 压缩的研究者路径内容v1/第一代 MoE 权重router-heal 之前v2/v2 反循环轮次完整权重 聊天模板v2-adapter/v2 训练使用的 LoRA 适配器router 与 gate 全参保留v2.1/adapter/v2.1 平衡轮次的适配器router-heal-adapter/路由修复阶段 LoRA 适配器arith-shexp-lora/针对算术的 shared_expert LoRA 及其评测记录ROADMAP.mdv3 规划k 值扫描、DRY 采样器、训练轮预算与风险登记WHITTLE_FINDINGS.md全部实验日志包括 13 个踩坑记录EOS 掩码反噬、优化器内存、就绪检查等如果只想快速上手记住三句话下载 v2.2 的 Q4_K_M GGUF → llama.cpp 加--jinja启动 → 24GB 显存即可对话。六、总结Qwen3.8-Whittle-MoE-27B-A17.8B 最大的价值不只是27B 模型 24GB 跑起来而是它用公开的方法、数据集和失败日志证明了一条路稠密大模型可以事后改造成 MoE而且最先该救的是路由器。对新手而言它是研究 MoE、蒸馏和何时停止生成这一难题的难得教材对本地部署用户而言它是一张入门 17.8B 激活参数模型的现实选择。需要提醒的是结构化输出与算术仍是短板生产环境请结合具体任务自行验证。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考