【免费下载链接】Ornith-1.5-35B-A3B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-8bit点击查看免费下载Ornith-1.5-35B-A3B-8bit 是一款面向 Apple Silicon 的MoEMixture of Experts混合专家多模态大模型。它拥有 35B 总参数却靠256 个专家里只激活 8 个的路由策略让每个 token 实际只计算约 3B 参数即 A3B是本地部署大模型的优选方案。本文用通俗的方式带你读懂它的MoE 路由与稀疏激活机制。先搞懂什么是 MoE 路由传统大模型每生成一个字都要动用全部参数算力开销巨大。MoE 换了个思路把模型里的前馈网络MLP拆成一大群专家每个 token 只挑选其中几个最合适的专家来干活其余专家直接休眠。这就是稀疏激活的核心——参数很多但真正参与计算的很少。类比一家医院有 256 位专科医生患者token来了分诊台路由器只叫最相关的 8 位医生会诊不会让 256 位医生全部出场。Ornith-1.5-35B-A3B-8bit 正是这种设计256 个专家每层都有 256 个候选专家num_experts: 256只激活 8 个每个 token 只路由给 8 个专家num_experts_per_tok: 8共享专家兜底另有一个共享专家始终参与保证基础能力这些数字都定义在 config.json 的text_config中可直接查阅。路由器Router是怎么选出 8 个专家的每一步推理路由器都要做一次快速决策打分路由器是一个轻量线性层输入当前 token 的隐状态维度 2048对 256 个专家各算一个匹配分数logit。选 Top-8从 256 个分数里挑出最高的 8 个专家。加权融合8 个专家各自输出结果再按分数加权求和得到这一层的最终表示。在权重文件里这部分叫gate路由器权重形状约为 256×2048而 256 个专家本身被打包在switch_mlp模块中高效存储。你可以在 model.safetensors.index.json 中搜到mlp.gate、mlp.shared_expert、mlp.switch_mlp等键名。这里还有个细节配置里router_aux_loss_coef: 0.0意味着推理阶段不启用辅助负载均衡损失——路由器更自由地按内容分配专家把负载均衡交给训练阶段处理。共享专家为什么还要一个常驻医生⚕️除了 8 个被选中的路由专家模型还配了一个共享专家shared_expert它对每个 token 都参与计算负责沉淀最通用、最基础的语言能力避免专家太专精、共性能力被稀释。更妙的是它还带一个独立的门控shared_expert_gate一个可学习的小线性层动态决定共享专家输出贡献多少。相当于给常驻医生配了一个音量旋钮让模型自己判断该让通用知识发挥多大作用。每个 token 经过某一层时 ├─ 8 个路由专家Top-8 选出各自不同 ├─ 1 个共享专家永远激活 └─ shared_expert_gate调节共享专家的权重 ──────────────── 加权求和 → 该层最终输出A3B30 亿激活参数到底从哪来⚡名字里的35B-A3B是它的招牌35B 模型总参数约 350 亿A3B 每个 tokenActive激活约 3B30 亿为什么能省这么多因为一次只动 8/256 个专家。粗算一下每层的活跃部分组成每层专家数单个专家参数量约说明路由专家83×2048×512 ≈ 3.1Mmoe_intermediate_size: 512共享专家1≈ 3.1M始终激活路由器 门控—约 0.5M计算开销很小仅 MoE 部分每层约激活 29M 参数乘以 40 层num_hidden_layers: 40就是十几亿再叠加注意力层与嵌入层合计落在约 3B量级——这正是A3B的由来。 换句话说总参数 35B实际每字只算 ~3B算力消耗约为同规模稠密模型的 1/10 左右速度自然快、显存压力也小。40 层混合注意力线性 全注意力交替排布除了 MoE这个模型还用了混合注意力来进一步提速线性注意力linear_attention计算更省适合长文本全注意力full_attention表达力更强用于关键位置配置full_attention_interval: 4定义了节奏——每 4 层插入 1 层全注意力其余 3 层用线性注意力。40 层的排布在 config.json 的layer_types里清晰可见。此外16 个注意力头 2 个 KV 头GQA 分组查询注意力进一步压缩缓存支持 256K 上下文max_position_embeddings: 262144可处理超长文档248320 词表vocab_size覆盖多语言8-bit 量化让它在 Mac 上跑得动的关键这个版本是8-bit 量化版专为 Apple Silicon 的MLX框架优化量化方式bits: 8、group_size: 64、mode: affine每 64 个权重一组用一组缩放因子还原文件大小共 8 个分片model-00001-of-00008.safetensors~model-00008-of-00008.safetensors合计约35.13 GiB量化把每个参数从 16 位压到 8 位体积近乎减半让 35B 级别的模型能塞进消费级 Mac 的统一内存里运行。每个权重复带.weight量化值、.scales缩放、.biases偏移三件套正是 affine 量化的标准形态。多模态能力不止于文字️从configuration.jsontask: visual-question-answering可以看出它天生支持图像 视频理解视觉塔27 层vision_config.depth: 27支持 16×16 图像块切分图像 / 视频 tokenimage_token_id、video_token_id已在 config.json 中定义对话模板chat_template.jinja 专门处理图文混合内容的渲染也就是说你不仅能让它聊天、写代码还能把图片或视频丢给它做视觉问答。如何在本地部署运行Ornith-1.5-35B-A3B-8bit 是标准MLX 格式模型天然适配 Apple Silicon。最简流程获取模型在 macOS Apple Silicon 上执行git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-8bit确认硬件模型约 35 GiB建议配备36GB 及以上统一内存的 Mac 以获得流畅体验。推理生成用 MLX 生态的mlx_lm加载目录即可跑起来推荐参数参考 generation_config.jsontemperature: 1.0、top_k: 20、top_p: 0.95。关键配置文件速览文件作用config.json核心架构MoE 专家数、路由、量化、注意力排布generation_config.json默认采样参数温度、top_k/top_pconfiguration.json框架与任务类型多模态视觉问答model.safetensors.index.json全部 2090 个张量的分布索引chat_template.jinja图文对话渲染模板tokenizer.json / tokenizer_config.json分词器与配置preprocessor_config.json / video_preprocessor_config.json图像 / 视频预处理model-0000*.safetensors×88-bit 量化权重分片一句话总结✅Ornith-1.5-35B-A3B-8bit 用256 选 8 的 MoE 路由常驻共享专家把 35B 的大个子压缩成每字约 3B 的轻快身板再叠加混合注意力与8-bit 量化最终实现了在 Mac 上也能流畅跑大模型的平衡点。读懂它的路由与激活机制你也就掌握了当下主流大模型大而快的核心设计哲学。赞分享【免费下载链接】Ornith-1.5-35B-A3B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-8bit点击查看免费下载相关推荐35B总参只需3B激活拆解Ornith-1.5-35B-A3B-OptiQ-4bit的MoE混合专家架构35B总参只需3B激活拆解Ornith 1.5 35B A3B OptiQ 4bit的MoE混合专家架构 Ornith 1.5 35B A3B OptiQ 4人工智能大模型基础模型多模态本地部署模型量化128个专家只激活3BNVIDIA-Nemotron-3.5-Lightning-30B-A3B-8bit的MoE路由与共享专家机制完全解析128个专家只激活3BNVIDIA Nemotron 3.5 Lightning 30B A3B 8bit的MoE路由与共享专家机制完全解析 NVIDIA N256个专家只激活8个Hy4-preview-4bit的MoE路由与负载均衡机制详解256个专家只激活8个Hy4 preview 4bit的MoE路由与负载均衡机制详解 Hy4 preview 4bit 是腾讯 Hy4 preview MoE上一篇HS2-HF补丁5分钟解锁Honey Select 2完整中文体验与去码功能下一篇OpenSeesPy终极指南掌握Python结构分析的完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/19 6:57:20 · 阅读 1.2k 256个专家只激活8个：Ornith-1.5-35B-A3B-8bit 的MoE路由与A3B激活机制揭秘
【免费下载链接】Ornith-1.5-35B-A3B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-8bit点击查看免费下载Ornith-1.5-35B-A3B-8bit 是一款面向 Apple Silicon 的MoEMixture of Experts混合专家多模态大模型。它拥有 35B 总参数却靠256 个专家里只激活 8 个的路由策略让每个 token 实际只计算约 3B 参数即 A3B是本地部署大模型的优选方案。本文用通俗的方式带你读懂它的MoE 路由与稀疏激活机制。先搞懂什么是 MoE 路由传统大模型每生成一个字都要动用全部参数算力开销巨大。MoE 换了个思路把模型里的前馈网络MLP拆成一大群专家每个 token 只挑选其中几个最合适的专家来干活其余专家直接休眠。这就是稀疏激活的核心——参数很多但真正参与计算的很少。类比一家医院有 256 位专科医生患者token来了分诊台路由器只叫最相关的 8 位医生会诊不会让 256 位医生全部出场。Ornith-1.5-35B-A3B-8bit 正是这种设计256 个专家每层都有 256 个候选专家num_experts: 256只激活 8 个每个 token 只路由给 8 个专家num_experts_per_tok: 8共享专家兜底另有一个共享专家始终参与保证基础能力这些数字都定义在 config.json 的text_config中可直接查阅。路由器Router是怎么选出 8 个专家的每一步推理路由器都要做一次快速决策打分路由器是一个轻量线性层输入当前 token 的隐状态维度 2048对 256 个专家各算一个匹配分数logit。选 Top-8从 256 个分数里挑出最高的 8 个专家。加权融合8 个专家各自输出结果再按分数加权求和得到这一层的最终表示。在权重文件里这部分叫gate路由器权重形状约为 256×2048而 256 个专家本身被打包在switch_mlp模块中高效存储。你可以在 model.safetensors.index.json 中搜到mlp.gate、mlp.shared_expert、mlp.switch_mlp等键名。这里还有个细节配置里router_aux_loss_coef: 0.0意味着推理阶段不启用辅助负载均衡损失——路由器更自由地按内容分配专家把负载均衡交给训练阶段处理。共享专家为什么还要一个常驻医生⚕️除了 8 个被选中的路由专家模型还配了一个共享专家shared_expert它对每个 token 都参与计算负责沉淀最通用、最基础的语言能力避免专家太专精、共性能力被稀释。更妙的是它还带一个独立的门控shared_expert_gate一个可学习的小线性层动态决定共享专家输出贡献多少。相当于给常驻医生配了一个音量旋钮让模型自己判断该让通用知识发挥多大作用。每个 token 经过某一层时 ├─ 8 个路由专家Top-8 选出各自不同 ├─ 1 个共享专家永远激活 └─ shared_expert_gate调节共享专家的权重 ──────────────── 加权求和 → 该层最终输出A3B30 亿激活参数到底从哪来⚡名字里的35B-A3B是它的招牌35B 模型总参数约 350 亿A3B 每个 tokenActive激活约 3B30 亿为什么能省这么多因为一次只动 8/256 个专家。粗算一下每层的活跃部分组成每层专家数单个专家参数量约说明路由专家83×2048×512 ≈ 3.1Mmoe_intermediate_size: 512共享专家1≈ 3.1M始终激活路由器 门控—约 0.5M计算开销很小仅 MoE 部分每层约激活 29M 参数乘以 40 层num_hidden_layers: 40就是十几亿再叠加注意力层与嵌入层合计落在约 3B量级——这正是A3B的由来。 换句话说总参数 35B实际每字只算 ~3B算力消耗约为同规模稠密模型的 1/10 左右速度自然快、显存压力也小。40 层混合注意力线性 全注意力交替排布除了 MoE这个模型还用了混合注意力来进一步提速线性注意力linear_attention计算更省适合长文本全注意力full_attention表达力更强用于关键位置配置full_attention_interval: 4定义了节奏——每 4 层插入 1 层全注意力其余 3 层用线性注意力。40 层的排布在 config.json 的layer_types里清晰可见。此外16 个注意力头 2 个 KV 头GQA 分组查询注意力进一步压缩缓存支持 256K 上下文max_position_embeddings: 262144可处理超长文档248320 词表vocab_size覆盖多语言8-bit 量化让它在 Mac 上跑得动的关键这个版本是8-bit 量化版专为 Apple Silicon 的MLX框架优化量化方式bits: 8、group_size: 64、mode: affine每 64 个权重一组用一组缩放因子还原文件大小共 8 个分片model-00001-of-00008.safetensors~model-00008-of-00008.safetensors合计约35.13 GiB量化把每个参数从 16 位压到 8 位体积近乎减半让 35B 级别的模型能塞进消费级 Mac 的统一内存里运行。每个权重复带.weight量化值、.scales缩放、.biases偏移三件套正是 affine 量化的标准形态。多模态能力不止于文字️从configuration.jsontask: visual-question-answering可以看出它天生支持图像 视频理解视觉塔27 层vision_config.depth: 27支持 16×16 图像块切分图像 / 视频 tokenimage_token_id、video_token_id已在 config.json 中定义对话模板chat_template.jinja 专门处理图文混合内容的渲染也就是说你不仅能让它聊天、写代码还能把图片或视频丢给它做视觉问答。如何在本地部署运行Ornith-1.5-35B-A3B-8bit 是标准MLX 格式模型天然适配 Apple Silicon。最简流程获取模型在 macOS Apple Silicon 上执行git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-8bit确认硬件模型约 35 GiB建议配备36GB 及以上统一内存的 Mac 以获得流畅体验。推理生成用 MLX 生态的mlx_lm加载目录即可跑起来推荐参数参考 generation_config.jsontemperature: 1.0、top_k: 20、top_p: 0.95。关键配置文件速览文件作用config.json核心架构MoE 专家数、路由、量化、注意力排布generation_config.json默认采样参数温度、top_k/top_pconfiguration.json框架与任务类型多模态视觉问答model.safetensors.index.json全部 2090 个张量的分布索引chat_template.jinja图文对话渲染模板tokenizer.json / tokenizer_config.json分词器与配置preprocessor_config.json / video_preprocessor_config.json图像 / 视频预处理model-0000*.safetensors×88-bit 量化权重分片一句话总结✅Ornith-1.5-35B-A3B-8bit 用256 选 8 的 MoE 路由常驻共享专家把 35B 的大个子压缩成每字约 3B 的轻快身板再叠加混合注意力与8-bit 量化最终实现了在 Mac 上也能流畅跑大模型的平衡点。读懂它的路由与激活机制你也就掌握了当下主流大模型大而快的核心设计哲学。赞分享【免费下载链接】Ornith-1.5-35B-A3B-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-8bit点击查看免费下载相关推荐35B总参只需3B激活拆解Ornith-1.5-35B-A3B-OptiQ-4bit的MoE混合专家架构35B总参只需3B激活拆解Ornith 1.5 35B A3B OptiQ 4bit的MoE混合专家架构 Ornith 1.5 35B A3B OptiQ 4人工智能大模型基础模型多模态本地部署模型量化128个专家只激活3BNVIDIA-Nemotron-3.5-Lightning-30B-A3B-8bit的MoE路由与共享专家机制完全解析128个专家只激活3BNVIDIA Nemotron 3.5 Lightning 30B A3B 8bit的MoE路由与共享专家机制完全解析 NVIDIA N256个专家只激活8个Hy4-preview-4bit的MoE路由与负载均衡机制详解256个专家只激活8个Hy4 preview 4bit的MoE路由与负载均衡机制详解 Hy4 preview 4bit 是腾讯 Hy4 preview MoE上一篇HS2-HF补丁5分钟解锁Honey Select 2完整中文体验与去码功能下一篇OpenSeesPy终极指南掌握Python结构分析的完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考