MiniMax-M3.1-Flash-w8a8 best_practice.yaml逐行精读QuaRot、iter_smooth与线性量化7大关键参数本文为 MiniMax 多模态大模型MiniMax-M3.1-Flash的w8a8 权重量化版本MiniMax-M3.1-Flash-w8a8逐行精读其best_practice.yaml配置文件。聚焦QuaRot 旋转平滑、iter_smooth 迭代平滑与linear_quant 线性量化三大核心环节带你拆解线性量化 7 大关键参数与受保护层的白名单帮助新手在把模型压缩到 int8 的同时最大程度保住精度并快速上手 Ascend NPU 上的量化部署与调参。 一句话先看懂这份 yaml 就是把「原始 bf16 模型 → 旋转平滑 → 迭代平滑 → int8 线性量化 → 分片保存」整条流水线串起来的「菜谱」。读懂它你就能自己复刻、微调任意 MoE 模型的 w8a8 量化。一、30 秒速览w8a8 量化到底在做什么如果你只关心「这份文件干嘛的」记住这张图即可 阶段类型一句话作用①quarot旋转平滑给权重/激活施加正交旋转把离群值「摊平」让后续量化更均匀②iter_smooth迭代平滑迭代求解 Norm 与 Linear 之间的平滑系数进一步压缩数值动态范围③linear_quant线性量化把权重和激活真正压成 int8这是决定体积和精度的关键一步w8a8的含义权重Weight 8bit激活Activation 8bit。相比 bf16单个参数从 2 字节降到 1 字节模型体积直接减半在 Ascend 等 NPU 上的推理吞吐也显著提升而精度损失被前两步「平滑」压到最低。 本项目实测精度AIME2026 得分 93.33%说明 w8a8 量化对这套配置几乎「无感」非常适合生产部署。二、仓库结构速览一份 yaml 背后的文件地图 ️精读配置前先花 10 秒认识仓库里都有什么。MiniMax-M3.1-Flash-w8a8目录核心文件如下文件 / 目录作用quant_model_weights-00001-of-00103.safetensors量化后模型权重分片共 103 片quant_model_weights.safetensors.index.json权重索引记录张量到分片文件的映射quant_model_description.json量化元信息描述dspark/DSpark 投机解码草稿模型权重约 3.9GB见 dspark/model.safetensors.index.jsonoptional/quarot.safetensorsQuaRot 旋转矩阵离线导出可选加载config.json模型结构配置MoE、稀疏注意力、视觉塔等MiniMax-M3.1_best_practice.yaml⭐本文主角w8a8 量化最佳实践配置generation_config.json生成参数采样、温度等README.md量化脚本与精度测试结果 一个小知识点本模型是MoE混合专家多模态架构 —— config.json 显示共60 层每层128 个专家num_local_experts: 128每个 token 只激活4 个num_experts_per_tok: 4并启用了稀疏注意力。专家数量多、参数分布广正是「平滑 量化」这套组合拳的价值所在。三、best_practice.yaml 逐行精读 下面对照 MiniMax-M3.1_best_practice.yaml 逐块拆解。3.1metadata配置的身份名片metadata: config_id: minimax_m3_w8a8 score: 88.0 label: w_bit: 8 a_bit: 8 is_sparse: false kv_cache: false verified_model_types: - MiniMax-M3 - MiniMax-M3.1config_id: minimax_m3_w8a8唯一标识工具链靠它定位配置。score: 88.0该配置的「经验得分」分数越高通常代表精度/体积综合表现越好可用于在多份配置间择优。label标签元信息。w_bit: 8a_bit: 8再次点明 w8a8is_sparse: false表示未启用稀疏剪枝kv_cache: false表示KV Cache 保持高精度不量化KV Cache 参与每步注意力量化它精度风险大这里保守不压。verified_model_types声明已验证适配MiniMax-M3/MiniMax-M3.1换模型前建议核对。3.2spec.process三步流水线的心脏apiversion: modelslim_v1 spec: runner: auto prior: [] process: - type: quarot - type: iter_smooth - type: linear_quantprocess是一个有序数组工具链从上到下依次执行。runner: auto表示自动挑选合适的执行器。三步环环相扣先旋转 → 再平滑 → 最后量化。下面逐一精读。①quarot旋转平滑Quantization with Rotations- type: quarot online: false block_size: 32 down_proj_online_layers: [] max_tp_size: 4 export_extra_info: true参数取值通俗解释onlinefalse离线模式旋转矩阵在量化阶段一次性算好并保存即 optional/quarot.safetensors推理时直接加载不增加在线开销block_size32旋转按32 维分块进行块越小越精细但计算/存储开销越大32 是精度与效率的平衡点down_proj_online_layers[]空列表 没有任何 down_proj 层走在线旋转全部离线处理max_tp_size4旋转矩阵最多切 4 份适配最高 4 卡张量并行TP部署export_extra_infotrue量化时导出额外信息如 scale供推理端正确反量化 为什么要「旋转」MoE 里常有离群值个别维度数值特别大直接把它们压到 int8 会严重失真。QuaRot 用一组正交旋转矩阵把数值「搅匀」让分布更接近高斯量化误差随之下降。②iter_smooth迭代平滑Iterative Smoothing- type: iter_smooth alpha: 0.5 scale_min: 1.0e-05 symmetric: true enable_subgraph_type: - norm-linear include: null exclude: null参数取值通俗解释alpha0.5平滑强度系数。取 0.5 表示「激活平滑一半、权重对应调整一半」是最稳的中间值调大更激进scale_min1.0e-05缩放下限防止某通道平滑系数被算成 0 导致除零或精度崩塌相当于安全阀symmetrictrue采用对称量化零点在 0计算更简单、硬件友好enable_subgraph_typenorm-linear只对Norm → Linear这一子图结构做平滑这是最容易产生离群值的地方include/excludenull均为空 不做额外过滤对全部符合条件的子图生效 「迭代」体现在它不是一次算完而是反复调整 Norm 与 Linear 之间的平滑系数逼近一个让激活分布最平稳的解是 w8a8 能保住 93% 精度的关键功臣之一。③linear_quant线性量化决定体积与精度的核心- type: linear_quant qconfig: act: dtype: int8 scope: per_token symmetric: true method: minmax weight: dtype: int8 scope: per_channel symmetric: true method: minmax include: - * exclude: - *norm* ...qconfig分act激活与weight权重两组每组 4 个旋钮。这就是标题里「线性量化 7 大关键参数」的所在 四、重点线性量化 7 大关键参数详解 ️把act与weight合起来看真正决定「压得多小、掉多少精度」的就是下面7 个参数#参数取值作用一句话1dtypeact weightint8权重、激活都压到8bit即 w8a8 的核心2act.scopeper_token激活每个 token 单独算缩放因子粒度最细、最抗离群值3weight.scopeper_channel权重每个输出通道算缩放因子在精度与内存间取平衡4symmetricact weighttrue对称量化零点恒为 0硬件执行更高效5methodact weightminmax用最大最小值定缩放范围简单稳健、适合对称分布6include*默认量化所有匹配层全量覆盖7exclude见下节白名单反向豁免一批敏感层保持高精度不压4.1 为什么per_tokenper_channel是黄金组合激活用per_token同一个 batch 里不同 token 的数值范围差异巨大逐 token 单独定标能避免「一个超大 token 拖垮整批」。权重用per_channel权重矩阵不同输出通道的量级本就不同按通道定标比全局单一 scale 精确得多而per_tensor全局会损失精度per_group又太占内存 ——per_channel是 MoE 场景的甜点。⚖️symmetric: truemethod: minmax组合意味着缩放因子scale max(|x|) / 127。在前三步「旋转 平滑」已经把分布摊平的前提下minmax 足够准确无需更复杂也更容易出错的分位数法。4.2include: *是什么意思*是通配符表示「先把所有层都拉进量化候选」。真正的精细控制交给下面的exclude白名单 —— 这是一种「先全要、再点名豁免」的工程化写法。五、exclude白名单这些层为什么「宁可不压」️exclude: - *norm* - *embed_tokens* - *lm_head* - *vision_tower* - *multi_modal_projector* - *patch_merge_mlp* - *mlp.down_proj* - *shared_experts.down_proj* - *mlp.gate - *indexer* - *index_*这些被「豁免」的层保持原始高精度理由各不相同受保护模式保护原因*norm*LayerNorm/RMSNorm 负责数值稳定压成 int8 会让整个网络「雪崩」*embed_tokens*/*lm_head*词嵌入与输出头直接决定生成质量必须高精度*vision_tower*/*multi_modal_projector*/*patch_merge_mlp*视觉塔与多模态投影压坏了图像理解能力先崩*mlp.down_proj*/*shared_experts.down_proj*SwiGLU 的 down 投影对误差极敏感是 MoE 量化重灾区*mlp.gate*路由门控决定「选哪几个专家」压错一步就路由错乱*indexer*/*index_*稀疏注意力索引层决定注意力块选择量化会破坏稀疏检索 经验法则「越靠近输入/输出、越负责归一化或路由」的层越要保护。这份白名单几乎把 MoE 多模态模型的「命门」全圈了出来是 93.33% 精度的隐形保险。六、save与dataset怎么存、用什么校准 save: - type: ascendv1_saver part_file_size: 4 dataset: mix_calib.jsonl model_adapter: {}ascendv1_saver面向Ascend昇腾的 v1 格式保存器直接产出 NPU 可加载的量化权重也就是仓库里那 103 片 quant_model_weights-*.safetensors。part_file_size: 4单文件约4GB分片。分片让大模型能流式/并行加载也方便断点续传与多卡切分。dataset: mix_calib.jsonl校准数据集。量化时需要真实数据来统计激活分布尤其per_token的 scalemix_calib.jsonl是混合文本/多模态样本直接决定method: minmax的 max 值取多准。换模型时校准集越贴近下游任务精度越稳。 完整量化流程在 README.md 中有命令级说明先反量化出 bf16 → 再跑w8a8量化 → 最后用convert出的 dspark 替换带旋转的 dspark保证投机解码草稿模型与主模型旋转一致。七、default_w8a8_dynamic动态量化的「兜底配置」default_w8a8_dynamic: act: scope: per_token dtype: int8 symmetric: true method: minmax weight: scope: per_channel dtype: int8 symmetric: true method: minmax这一段是动态在线量化的默认兜底。当某些层没被静态流水线覆盖、或推理端需要在线动态定标时就用这套默认值激活per_token、权重per_channel、对称、minmax —— 与linear_quant完全对齐保证「静态/动态」两条路精度行为一致避免踩坑。 理解它 理解「静态量化离线算好 scale存进权重」与「动态量化运行时按当前 batch 算 scale」的差异前者快、省内存后者更灵活、能跟住离群值。八、调参速查表新手最常问的 4 个问题 ❓想优化什么动哪个参数方向建议想再保精度quarot.block_size、iter_smooth.alpha调小 block如 16、alpha 在 0.3~0.7 间微调后跑校准集想提速/省显存weight.scope、part_file_size可试更粗粒度但精度会下降务必回测精度掉得离谱exclude白名单检查是否漏了敏感层尤其 gate / down_proj / vision部署到多卡max_tp_size确保 ≥ 实际 TP 卡数否则旋转矩阵切分不匹配✅ 通用调参口诀先跑通 → 再动 alpha/block → 每次只改一个参数 → 用同一份校准集回测 AIME 等基准避免多变量互相干扰。九、小结一份 yaml 读懂一套量化体系 回顾全文MiniMax-M3.1_best_practice.yaml 用不到 70 行就把 MoE 多模态模型的 w8a8 量化讲清楚了三步流水线quarot旋转摊平离群值→iter_smooth迭代平滑 Norm-Linear→linear_quantint8 落地。7 大关键参数int8、per_token、per_channel、symmetric、minmax、include: *、exclude白名单构成精度与体积的平衡木。保护哲学norm / embed / lm_head / vision / gate / down_proj / indexer 全部豁免守住「命门」。落地闭环ascendv1_saver分片 4GB 保存 mix_calib.jsonl校准 default_w8a8_dynamic动态兜底直连 Ascend NPU 推理。读懂这份「菜谱」你不仅能复刻 MiniMax-M3.1-Flash-w8a8 的量化也能举一反三把同款方法迁移到其他 MoE 多模态模型上 —— 这正是「最佳实践」配置真正值钱的地方。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/11/3 2:43:49 · 阅读 1.2k MiniMax-M3.1-Flash-w8a8 best_practice.yaml逐行精读：QuaRot、iter_smooth与线性量化7大关键参数
MiniMax-M3.1-Flash-w8a8 best_practice.yaml逐行精读QuaRot、iter_smooth与线性量化7大关键参数本文为 MiniMax 多模态大模型MiniMax-M3.1-Flash的w8a8 权重量化版本MiniMax-M3.1-Flash-w8a8逐行精读其best_practice.yaml配置文件。聚焦QuaRot 旋转平滑、iter_smooth 迭代平滑与linear_quant 线性量化三大核心环节带你拆解线性量化 7 大关键参数与受保护层的白名单帮助新手在把模型压缩到 int8 的同时最大程度保住精度并快速上手 Ascend NPU 上的量化部署与调参。 一句话先看懂这份 yaml 就是把「原始 bf16 模型 → 旋转平滑 → 迭代平滑 → int8 线性量化 → 分片保存」整条流水线串起来的「菜谱」。读懂它你就能自己复刻、微调任意 MoE 模型的 w8a8 量化。一、30 秒速览w8a8 量化到底在做什么如果你只关心「这份文件干嘛的」记住这张图即可 阶段类型一句话作用①quarot旋转平滑给权重/激活施加正交旋转把离群值「摊平」让后续量化更均匀②iter_smooth迭代平滑迭代求解 Norm 与 Linear 之间的平滑系数进一步压缩数值动态范围③linear_quant线性量化把权重和激活真正压成 int8这是决定体积和精度的关键一步w8a8的含义权重Weight 8bit激活Activation 8bit。相比 bf16单个参数从 2 字节降到 1 字节模型体积直接减半在 Ascend 等 NPU 上的推理吞吐也显著提升而精度损失被前两步「平滑」压到最低。 本项目实测精度AIME2026 得分 93.33%说明 w8a8 量化对这套配置几乎「无感」非常适合生产部署。二、仓库结构速览一份 yaml 背后的文件地图 ️精读配置前先花 10 秒认识仓库里都有什么。MiniMax-M3.1-Flash-w8a8目录核心文件如下文件 / 目录作用quant_model_weights-00001-of-00103.safetensors量化后模型权重分片共 103 片quant_model_weights.safetensors.index.json权重索引记录张量到分片文件的映射quant_model_description.json量化元信息描述dspark/DSpark 投机解码草稿模型权重约 3.9GB见 dspark/model.safetensors.index.jsonoptional/quarot.safetensorsQuaRot 旋转矩阵离线导出可选加载config.json模型结构配置MoE、稀疏注意力、视觉塔等MiniMax-M3.1_best_practice.yaml⭐本文主角w8a8 量化最佳实践配置generation_config.json生成参数采样、温度等README.md量化脚本与精度测试结果 一个小知识点本模型是MoE混合专家多模态架构 —— config.json 显示共60 层每层128 个专家num_local_experts: 128每个 token 只激活4 个num_experts_per_tok: 4并启用了稀疏注意力。专家数量多、参数分布广正是「平滑 量化」这套组合拳的价值所在。三、best_practice.yaml 逐行精读 下面对照 MiniMax-M3.1_best_practice.yaml 逐块拆解。3.1metadata配置的身份名片metadata: config_id: minimax_m3_w8a8 score: 88.0 label: w_bit: 8 a_bit: 8 is_sparse: false kv_cache: false verified_model_types: - MiniMax-M3 - MiniMax-M3.1config_id: minimax_m3_w8a8唯一标识工具链靠它定位配置。score: 88.0该配置的「经验得分」分数越高通常代表精度/体积综合表现越好可用于在多份配置间择优。label标签元信息。w_bit: 8a_bit: 8再次点明 w8a8is_sparse: false表示未启用稀疏剪枝kv_cache: false表示KV Cache 保持高精度不量化KV Cache 参与每步注意力量化它精度风险大这里保守不压。verified_model_types声明已验证适配MiniMax-M3/MiniMax-M3.1换模型前建议核对。3.2spec.process三步流水线的心脏apiversion: modelslim_v1 spec: runner: auto prior: [] process: - type: quarot - type: iter_smooth - type: linear_quantprocess是一个有序数组工具链从上到下依次执行。runner: auto表示自动挑选合适的执行器。三步环环相扣先旋转 → 再平滑 → 最后量化。下面逐一精读。①quarot旋转平滑Quantization with Rotations- type: quarot online: false block_size: 32 down_proj_online_layers: [] max_tp_size: 4 export_extra_info: true参数取值通俗解释onlinefalse离线模式旋转矩阵在量化阶段一次性算好并保存即 optional/quarot.safetensors推理时直接加载不增加在线开销block_size32旋转按32 维分块进行块越小越精细但计算/存储开销越大32 是精度与效率的平衡点down_proj_online_layers[]空列表 没有任何 down_proj 层走在线旋转全部离线处理max_tp_size4旋转矩阵最多切 4 份适配最高 4 卡张量并行TP部署export_extra_infotrue量化时导出额外信息如 scale供推理端正确反量化 为什么要「旋转」MoE 里常有离群值个别维度数值特别大直接把它们压到 int8 会严重失真。QuaRot 用一组正交旋转矩阵把数值「搅匀」让分布更接近高斯量化误差随之下降。②iter_smooth迭代平滑Iterative Smoothing- type: iter_smooth alpha: 0.5 scale_min: 1.0e-05 symmetric: true enable_subgraph_type: - norm-linear include: null exclude: null参数取值通俗解释alpha0.5平滑强度系数。取 0.5 表示「激活平滑一半、权重对应调整一半」是最稳的中间值调大更激进scale_min1.0e-05缩放下限防止某通道平滑系数被算成 0 导致除零或精度崩塌相当于安全阀symmetrictrue采用对称量化零点在 0计算更简单、硬件友好enable_subgraph_typenorm-linear只对Norm → Linear这一子图结构做平滑这是最容易产生离群值的地方include/excludenull均为空 不做额外过滤对全部符合条件的子图生效 「迭代」体现在它不是一次算完而是反复调整 Norm 与 Linear 之间的平滑系数逼近一个让激活分布最平稳的解是 w8a8 能保住 93% 精度的关键功臣之一。③linear_quant线性量化决定体积与精度的核心- type: linear_quant qconfig: act: dtype: int8 scope: per_token symmetric: true method: minmax weight: dtype: int8 scope: per_channel symmetric: true method: minmax include: - * exclude: - *norm* ...qconfig分act激活与weight权重两组每组 4 个旋钮。这就是标题里「线性量化 7 大关键参数」的所在 四、重点线性量化 7 大关键参数详解 ️把act与weight合起来看真正决定「压得多小、掉多少精度」的就是下面7 个参数#参数取值作用一句话1dtypeact weightint8权重、激活都压到8bit即 w8a8 的核心2act.scopeper_token激活每个 token 单独算缩放因子粒度最细、最抗离群值3weight.scopeper_channel权重每个输出通道算缩放因子在精度与内存间取平衡4symmetricact weighttrue对称量化零点恒为 0硬件执行更高效5methodact weightminmax用最大最小值定缩放范围简单稳健、适合对称分布6include*默认量化所有匹配层全量覆盖7exclude见下节白名单反向豁免一批敏感层保持高精度不压4.1 为什么per_tokenper_channel是黄金组合激活用per_token同一个 batch 里不同 token 的数值范围差异巨大逐 token 单独定标能避免「一个超大 token 拖垮整批」。权重用per_channel权重矩阵不同输出通道的量级本就不同按通道定标比全局单一 scale 精确得多而per_tensor全局会损失精度per_group又太占内存 ——per_channel是 MoE 场景的甜点。⚖️symmetric: truemethod: minmax组合意味着缩放因子scale max(|x|) / 127。在前三步「旋转 平滑」已经把分布摊平的前提下minmax 足够准确无需更复杂也更容易出错的分位数法。4.2include: *是什么意思*是通配符表示「先把所有层都拉进量化候选」。真正的精细控制交给下面的exclude白名单 —— 这是一种「先全要、再点名豁免」的工程化写法。五、exclude白名单这些层为什么「宁可不压」️exclude: - *norm* - *embed_tokens* - *lm_head* - *vision_tower* - *multi_modal_projector* - *patch_merge_mlp* - *mlp.down_proj* - *shared_experts.down_proj* - *mlp.gate - *indexer* - *index_*这些被「豁免」的层保持原始高精度理由各不相同受保护模式保护原因*norm*LayerNorm/RMSNorm 负责数值稳定压成 int8 会让整个网络「雪崩」*embed_tokens*/*lm_head*词嵌入与输出头直接决定生成质量必须高精度*vision_tower*/*multi_modal_projector*/*patch_merge_mlp*视觉塔与多模态投影压坏了图像理解能力先崩*mlp.down_proj*/*shared_experts.down_proj*SwiGLU 的 down 投影对误差极敏感是 MoE 量化重灾区*mlp.gate*路由门控决定「选哪几个专家」压错一步就路由错乱*indexer*/*index_*稀疏注意力索引层决定注意力块选择量化会破坏稀疏检索 经验法则「越靠近输入/输出、越负责归一化或路由」的层越要保护。这份白名单几乎把 MoE 多模态模型的「命门」全圈了出来是 93.33% 精度的隐形保险。六、save与dataset怎么存、用什么校准 save: - type: ascendv1_saver part_file_size: 4 dataset: mix_calib.jsonl model_adapter: {}ascendv1_saver面向Ascend昇腾的 v1 格式保存器直接产出 NPU 可加载的量化权重也就是仓库里那 103 片 quant_model_weights-*.safetensors。part_file_size: 4单文件约4GB分片。分片让大模型能流式/并行加载也方便断点续传与多卡切分。dataset: mix_calib.jsonl校准数据集。量化时需要真实数据来统计激活分布尤其per_token的 scalemix_calib.jsonl是混合文本/多模态样本直接决定method: minmax的 max 值取多准。换模型时校准集越贴近下游任务精度越稳。 完整量化流程在 README.md 中有命令级说明先反量化出 bf16 → 再跑w8a8量化 → 最后用convert出的 dspark 替换带旋转的 dspark保证投机解码草稿模型与主模型旋转一致。七、default_w8a8_dynamic动态量化的「兜底配置」default_w8a8_dynamic: act: scope: per_token dtype: int8 symmetric: true method: minmax weight: scope: per_channel dtype: int8 symmetric: true method: minmax这一段是动态在线量化的默认兜底。当某些层没被静态流水线覆盖、或推理端需要在线动态定标时就用这套默认值激活per_token、权重per_channel、对称、minmax —— 与linear_quant完全对齐保证「静态/动态」两条路精度行为一致避免踩坑。 理解它 理解「静态量化离线算好 scale存进权重」与「动态量化运行时按当前 batch 算 scale」的差异前者快、省内存后者更灵活、能跟住离群值。八、调参速查表新手最常问的 4 个问题 ❓想优化什么动哪个参数方向建议想再保精度quarot.block_size、iter_smooth.alpha调小 block如 16、alpha 在 0.3~0.7 间微调后跑校准集想提速/省显存weight.scope、part_file_size可试更粗粒度但精度会下降务必回测精度掉得离谱exclude白名单检查是否漏了敏感层尤其 gate / down_proj / vision部署到多卡max_tp_size确保 ≥ 实际 TP 卡数否则旋转矩阵切分不匹配✅ 通用调参口诀先跑通 → 再动 alpha/block → 每次只改一个参数 → 用同一份校准集回测 AIME 等基准避免多变量互相干扰。九、小结一份 yaml 读懂一套量化体系 回顾全文MiniMax-M3.1_best_practice.yaml 用不到 70 行就把 MoE 多模态模型的 w8a8 量化讲清楚了三步流水线quarot旋转摊平离群值→iter_smooth迭代平滑 Norm-Linear→linear_quantint8 落地。7 大关键参数int8、per_token、per_channel、symmetric、minmax、include: *、exclude白名单构成精度与体积的平衡木。保护哲学norm / embed / lm_head / vision / gate / down_proj / indexer 全部豁免守住「命门」。落地闭环ascendv1_saver分片 4GB 保存 mix_calib.jsonl校准 default_w8a8_dynamic动态兜底直连 Ascend NPU 推理。读懂这份「菜谱」你不仅能复刻 MiniMax-M3.1-Flash-w8a8 的量化也能举一反三把同款方法迁移到其他 MoE 多模态模型上 —— 这正是「最佳实践」配置真正值钱的地方。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考