【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载本文带你彻底看懂SmolLM2-135M-Instruct_rai_1.8.0_hybrid的量化策略它由 AMD 官方使用Quark 量化工具生成采用AWQ 算法将 135M 参数权重压缩为UINT44 bit 无符号整数并保留BFP16/BF16 全精度激活最终在AMD Ryzen AI的 NPU CPU混合执行架构hybrid下运行。这套组合拳把模型文件从约 270 MB 压到不足 60 MB同时把精度损失控制在肉眼难辨的程度是端侧 AI 部署中小模型 深度量化的教科书级案例。一、项目档案这个模型到底是什么先建立整体认知。这个仓库本质上是 Hugging Face 开源的SmolLM2-135M-Instruct经过 AMD 改造后的部署版改造目标只有一个跑在 AMD Ryzen AI 硬件上更快、更省。核心身份信息一览项目值说明模型架构LlamaForCausalLMllamaLLaMA 风格因果语言模型参数量约135M端侧微型模型层数30 层 Transformerconfig.json 中num_hidden_layers隐藏维度576hidden_size注意力头9 头 Q / 3 头 KVGQA 分组注意力KV cache 更小词表49152且 embedding 与输出层共享权重tie_word_embeddings: true原始精度bfloat16压缩前约占 270 MB量化方案AWQ / Group 128 / Asymmetric / BFP16 激活 / UINT4 权重见 README.md量化工具AMD Quarkversion 0.12rc4quant_method: quark几个值得新手注意的细节hybrid混合的含义genai_config.json 中出现了RyzenAIprovider 选项与hybrid_opt_max_seq_length: 4096。它指模型在NPU 与 CPU 之间混合调度执行——提示词prompt的并行计算走 CPU逐 token 自回归解码交给 NPU 加速从而兼顾首 token 延迟与生成吞吐。rai 的含义eval_results.json 中出现了eval_logits/chosen、eval_rewards/margins等字段这是典型的DPODirect Preference Optimization偏好对齐训练产物——AMD 在官方 README.md 的声明里也写明AMD has modified the original model files即做过安全对齐微调Responsible AI这是命名中rai的来源。多格式权重并存仓库同时提供 model.onnxONNX Runtime GenAI 主图 model.onnx.data约 57.7 MB 的外部权重数据Git LFS 管理以及 model.pb.binRyzenAI provider 的打包数据分别服务于不同推理后端。二、AWQ UINT4 权重量化4 位整数凭什么扛住135M 参数AWQActivation-aware Weight Quantization激活感知权重量化是这套方案的核心配置完整写在 config.json 的quantization_config节点中。2.1 权重侧uint4 逐组非对称量化关键参数如下weight: { dtype: uint4, // 每个权重只占 4 bit qscheme: per_group, // 逐组量化README 中标注 Group 128 symmetric: false, // 非对称量化 observer_cls: PerGroupMinMaxObserver, round_method: half_even, // 银行家舍入消除系统偏差 ch_axis: -1 // 沿输入通道方向分组 }逐组量化是几乎无损的第一道保险把每个矩阵的权重沿通道方向切成若干小组每组独立计算量化范围。权重分布在组内往往差异很大逐组标定能让每一小簇权重都获得贴合自己的缩放尺度避免全局量化被极端值拉爆动态范围。half_even银行家舍入是容易被忽略但很专业的选择普通四舍五入在 0.5 处总是向上进位累积起来会给所有权重叠加一个系统性正偏差而 half-even 让 0.5 处的进位统计上均摊到上下两侧偏差归零。对 135M 个权重逐元素舍入这种细节直接决定了量化误差与量化噪声的差别。2.2 AWQ 的精髓保护 1% 的重要通道普通量化对所有权重一视同仁AWQ 则利用了量化误差研究中的一个关键发现激活值分布是重尾的——少数通道的激活幅度远大于平均与这些高激活通道相乘的权重其量化误差会被激活值放大是精度损失的重灾区而这样的关键通道只占约1%。AWQ 的做法是用少量校准数据统计激活分布识别出这批敏感权重只把这一小部分通道保留在较高精度或施加保护性缩放其余 99% 的权重放心压到 UINT4。这就是激活感知四个字的含义——量化的预算花在刀刃上。config.json 中algo_config的scaling_layers清单精确列出了 AWQ 要保护的对象self_attn.q_proj / k_proj / v_proj、self_attn.o_proj、mlp.gate_proj / up_proj / down_proj并指明每个目标的输入来源prev_op如input_layernorm、post_attention_layernorm。换句话说全部注意力投影与全部 FFN 线性层都被纳入了保护清单一个敏感通道都没落下。2.3 边界处理embed、norm 不参与量化注意exclude: []之外还有两个结构性设计配置中bias: null、input_tensors: null、output_tensors: null即只量化线性层权重LayerNorm、RMSNorm 等归一化层天然不量化rms_norm_eps: 1e-05embedding 因tie_word_embeddings共享输出层权重整体以更高精度路径处理。这是量化社区反复验证的经验误差最敏感的层不量化误差容忍度最高的层压到最狠才能做到整体无损。三、BFP16 激活为什么激活值必须保持全精度标题里的 BFP16BFloat16看似只是没压缩其实是这套方案敢把权重压到 4 bit 的底气所在。量化误差的本质是权重误差 × 激活值。如果激活值也被量化两条误差源会相乘叠加损失呈平方级放大而保持激活全精度反量化后的权重近似值乘上精确的激活值误差就被限制在只有权重侧引入的那一份。具体到本仓库config.json 顶层dtype: bfloat16声明了模型的计算精度基线config.json 中kv_cache_quant_config为空、kv_cache_group为空、min_kv_scale: 0.0——KV cache 同样不做量化注意力缓存以 16 bit 浮点存储transformers.js_config中kv_cache_dtype的q4f16映射为float16也印证了缓存保持半精度浮点。一句话总结这个设计哲学权重可以粗糙计算必须干净——把压缩预算全部花在静态权重上动态数值一路保持 16 bit 精度最终输出的 logits 与全精度模型的差异被压到可忽略水平。这就是标题中无损压缩的工程依据。四、压缩收益完整拆解270 MB 是怎么变成 57.7 MB 的算一笔账。阶段位宽体积估算说明BF16 原始权重16 bit × 135M ≈ 0.27 GB≈270 MB压缩前AWQ UINT4 权重4 bit 每组 scale/zero point 开销≈57.7 MBmodel.onnx.data 实际大小净压缩率—≈ 79%约 4.7:1实际 4.5 bit/参数三个让收益再涨一档的隐藏细节tie_word_embeddings: true49152 词表 × 576 维的 embeddingBF16 下约 56 MB只存一份、双向复用小模型里这接近 1/5 的参数省下的都是真金白银GQA3 个 KV 头解码时 KV cache 体积约为同规格 MHA 模型的 1/3长上下文内存压力显著降低pack_method: reorderconfig.json export 节指定权重按 reorder 方式重排打包使 UINT4 数据在 NPU 上按硬件友好的对齐方式存放反量化时零拷贝读取。五、混合执行架构量化完还要会跑才有意义量化只是入场券部署效率才决定用户体感。本仓库的执行链路由 genai_config.json 定义推理引擎ONNX Runtime GenAIlog_id: onnxruntime-genai主图 model.onnx 外置数据 model.onnx.dataNPU 加速RyzenAIprovider外部数据指向 model.pb.binhybrid_opt_max_seq_length: 4096划定混合调度的序列长度上限上下文长度模型能力 8192config.jsonmax_position_embeddings而 rai_config.json 按 Ryzen AI 版本给出max_prompt_length——1.6.0 / 1.7.x 版本支持 4096更早版本 2048即提示词长度随驱动/运行时版本升级而放宽默认采样策略temperature: 1.0、top_k: 50、top_p: 1.0、do_sample: truegenai_config.jsonsearch节对话模板见 chat_template.jinja角色为 You are a helpful AI assistant named SmolLM, trained by Hugging Face。从 all_results.json 还能看到 RAI 微调的完整账本61,134 个偏好样本、约 2 个 epoch、eval_rewards/accuracies0.615——说明安全对齐是在真实偏好数据上充分训练过的而非简单过滤。六、总结135M 微型模型的无损量化方法论SmolLM2-135M-Instruct_rai_1.8.0_hybrid 给出的是一套可以直接抄作业的端侧量化清单权重压到 UINT4但用per_group逐组量化 非对称标定 half_even舍入守住误差下限AWQ 激活感知保护只把校准识别出的约 1% 敏感通道留在高精度99% 放心压缩激活与 KV cache 保持 BF16/BFP16 全精度让误差只产生一次、不被放大结构级省钱embedding 双向复用 GQA 缩小 KV cachehybrid 混合执行NPU 管解码、CPU 管提示词量化收益转化为真实的端侧速度。对新手而言这套案例的价值在于证明量化不是压得越狠越好而是一份精确的成本收益分配表——哪些比特该省、哪些必须守住每一步都有明确的工程依据。赞分享【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐AWQ量化终极指南深度剖析Llama-3.2-3B-Instruct_rai_1.8.0_hybrid的UINT4权重BFP16激活策略AWQ量化终极指南深度剖析Llama 3.2 3B Instruct_rai_1.8.0_hybrid的UINT4权重BFP16激活策略 Llama 3.2Mistral-7B-Instruct-v0.2_rai_1.8.0_hybrid AWQ UINT4量化策略详解4位权重压缩原理与配置全指南Mistral 7B Instruct v0.2_rai_1.8.0_hybrid AWQ UINT4量化策略详解4位权重压缩原理与配置全指南 MistralAWQ量化深度拆解Qwen3-1.7B_rai_1.8.0_hybrid的UINT4组量化如何兼顾精度与速度AWQ量化深度拆解Qwen3 1.7B_rai_1.8.0_hybrid的UINT4组量化如何兼顾精度与速度 本文深度拆解 Qwen3 1.7B_rai_1.创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/17 5:09:23 · 阅读 1.2k SmolLM2-135M-Instruct 量化策略深度剖析：AWQ UINT4 + BFP16 激活如何实现近乎无损压缩
【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载本文带你彻底看懂SmolLM2-135M-Instruct_rai_1.8.0_hybrid的量化策略它由 AMD 官方使用Quark 量化工具生成采用AWQ 算法将 135M 参数权重压缩为UINT44 bit 无符号整数并保留BFP16/BF16 全精度激活最终在AMD Ryzen AI的 NPU CPU混合执行架构hybrid下运行。这套组合拳把模型文件从约 270 MB 压到不足 60 MB同时把精度损失控制在肉眼难辨的程度是端侧 AI 部署中小模型 深度量化的教科书级案例。一、项目档案这个模型到底是什么先建立整体认知。这个仓库本质上是 Hugging Face 开源的SmolLM2-135M-Instruct经过 AMD 改造后的部署版改造目标只有一个跑在 AMD Ryzen AI 硬件上更快、更省。核心身份信息一览项目值说明模型架构LlamaForCausalLMllamaLLaMA 风格因果语言模型参数量约135M端侧微型模型层数30 层 Transformerconfig.json 中num_hidden_layers隐藏维度576hidden_size注意力头9 头 Q / 3 头 KVGQA 分组注意力KV cache 更小词表49152且 embedding 与输出层共享权重tie_word_embeddings: true原始精度bfloat16压缩前约占 270 MB量化方案AWQ / Group 128 / Asymmetric / BFP16 激活 / UINT4 权重见 README.md量化工具AMD Quarkversion 0.12rc4quant_method: quark几个值得新手注意的细节hybrid混合的含义genai_config.json 中出现了RyzenAIprovider 选项与hybrid_opt_max_seq_length: 4096。它指模型在NPU 与 CPU 之间混合调度执行——提示词prompt的并行计算走 CPU逐 token 自回归解码交给 NPU 加速从而兼顾首 token 延迟与生成吞吐。rai 的含义eval_results.json 中出现了eval_logits/chosen、eval_rewards/margins等字段这是典型的DPODirect Preference Optimization偏好对齐训练产物——AMD 在官方 README.md 的声明里也写明AMD has modified the original model files即做过安全对齐微调Responsible AI这是命名中rai的来源。多格式权重并存仓库同时提供 model.onnxONNX Runtime GenAI 主图 model.onnx.data约 57.7 MB 的外部权重数据Git LFS 管理以及 model.pb.binRyzenAI provider 的打包数据分别服务于不同推理后端。二、AWQ UINT4 权重量化4 位整数凭什么扛住135M 参数AWQActivation-aware Weight Quantization激活感知权重量化是这套方案的核心配置完整写在 config.json 的quantization_config节点中。2.1 权重侧uint4 逐组非对称量化关键参数如下weight: { dtype: uint4, // 每个权重只占 4 bit qscheme: per_group, // 逐组量化README 中标注 Group 128 symmetric: false, // 非对称量化 observer_cls: PerGroupMinMaxObserver, round_method: half_even, // 银行家舍入消除系统偏差 ch_axis: -1 // 沿输入通道方向分组 }逐组量化是几乎无损的第一道保险把每个矩阵的权重沿通道方向切成若干小组每组独立计算量化范围。权重分布在组内往往差异很大逐组标定能让每一小簇权重都获得贴合自己的缩放尺度避免全局量化被极端值拉爆动态范围。half_even银行家舍入是容易被忽略但很专业的选择普通四舍五入在 0.5 处总是向上进位累积起来会给所有权重叠加一个系统性正偏差而 half-even 让 0.5 处的进位统计上均摊到上下两侧偏差归零。对 135M 个权重逐元素舍入这种细节直接决定了量化误差与量化噪声的差别。2.2 AWQ 的精髓保护 1% 的重要通道普通量化对所有权重一视同仁AWQ 则利用了量化误差研究中的一个关键发现激活值分布是重尾的——少数通道的激活幅度远大于平均与这些高激活通道相乘的权重其量化误差会被激活值放大是精度损失的重灾区而这样的关键通道只占约1%。AWQ 的做法是用少量校准数据统计激活分布识别出这批敏感权重只把这一小部分通道保留在较高精度或施加保护性缩放其余 99% 的权重放心压到 UINT4。这就是激活感知四个字的含义——量化的预算花在刀刃上。config.json 中algo_config的scaling_layers清单精确列出了 AWQ 要保护的对象self_attn.q_proj / k_proj / v_proj、self_attn.o_proj、mlp.gate_proj / up_proj / down_proj并指明每个目标的输入来源prev_op如input_layernorm、post_attention_layernorm。换句话说全部注意力投影与全部 FFN 线性层都被纳入了保护清单一个敏感通道都没落下。2.3 边界处理embed、norm 不参与量化注意exclude: []之外还有两个结构性设计配置中bias: null、input_tensors: null、output_tensors: null即只量化线性层权重LayerNorm、RMSNorm 等归一化层天然不量化rms_norm_eps: 1e-05embedding 因tie_word_embeddings共享输出层权重整体以更高精度路径处理。这是量化社区反复验证的经验误差最敏感的层不量化误差容忍度最高的层压到最狠才能做到整体无损。三、BFP16 激活为什么激活值必须保持全精度标题里的 BFP16BFloat16看似只是没压缩其实是这套方案敢把权重压到 4 bit 的底气所在。量化误差的本质是权重误差 × 激活值。如果激活值也被量化两条误差源会相乘叠加损失呈平方级放大而保持激活全精度反量化后的权重近似值乘上精确的激活值误差就被限制在只有权重侧引入的那一份。具体到本仓库config.json 顶层dtype: bfloat16声明了模型的计算精度基线config.json 中kv_cache_quant_config为空、kv_cache_group为空、min_kv_scale: 0.0——KV cache 同样不做量化注意力缓存以 16 bit 浮点存储transformers.js_config中kv_cache_dtype的q4f16映射为float16也印证了缓存保持半精度浮点。一句话总结这个设计哲学权重可以粗糙计算必须干净——把压缩预算全部花在静态权重上动态数值一路保持 16 bit 精度最终输出的 logits 与全精度模型的差异被压到可忽略水平。这就是标题中无损压缩的工程依据。四、压缩收益完整拆解270 MB 是怎么变成 57.7 MB 的算一笔账。阶段位宽体积估算说明BF16 原始权重16 bit × 135M ≈ 0.27 GB≈270 MB压缩前AWQ UINT4 权重4 bit 每组 scale/zero point 开销≈57.7 MBmodel.onnx.data 实际大小净压缩率—≈ 79%约 4.7:1实际 4.5 bit/参数三个让收益再涨一档的隐藏细节tie_word_embeddings: true49152 词表 × 576 维的 embeddingBF16 下约 56 MB只存一份、双向复用小模型里这接近 1/5 的参数省下的都是真金白银GQA3 个 KV 头解码时 KV cache 体积约为同规格 MHA 模型的 1/3长上下文内存压力显著降低pack_method: reorderconfig.json export 节指定权重按 reorder 方式重排打包使 UINT4 数据在 NPU 上按硬件友好的对齐方式存放反量化时零拷贝读取。五、混合执行架构量化完还要会跑才有意义量化只是入场券部署效率才决定用户体感。本仓库的执行链路由 genai_config.json 定义推理引擎ONNX Runtime GenAIlog_id: onnxruntime-genai主图 model.onnx 外置数据 model.onnx.dataNPU 加速RyzenAIprovider外部数据指向 model.pb.binhybrid_opt_max_seq_length: 4096划定混合调度的序列长度上限上下文长度模型能力 8192config.jsonmax_position_embeddings而 rai_config.json 按 Ryzen AI 版本给出max_prompt_length——1.6.0 / 1.7.x 版本支持 4096更早版本 2048即提示词长度随驱动/运行时版本升级而放宽默认采样策略temperature: 1.0、top_k: 50、top_p: 1.0、do_sample: truegenai_config.jsonsearch节对话模板见 chat_template.jinja角色为 You are a helpful AI assistant named SmolLM, trained by Hugging Face。从 all_results.json 还能看到 RAI 微调的完整账本61,134 个偏好样本、约 2 个 epoch、eval_rewards/accuracies0.615——说明安全对齐是在真实偏好数据上充分训练过的而非简单过滤。六、总结135M 微型模型的无损量化方法论SmolLM2-135M-Instruct_rai_1.8.0_hybrid 给出的是一套可以直接抄作业的端侧量化清单权重压到 UINT4但用per_group逐组量化 非对称标定 half_even舍入守住误差下限AWQ 激活感知保护只把校准识别出的约 1% 敏感通道留在高精度99% 放心压缩激活与 KV cache 保持 BF16/BFP16 全精度让误差只产生一次、不被放大结构级省钱embedding 双向复用 GQA 缩小 KV cachehybrid 混合执行NPU 管解码、CPU 管提示词量化收益转化为真实的端侧速度。对新手而言这套案例的价值在于证明量化不是压得越狠越好而是一份精确的成本收益分配表——哪些比特该省、哪些必须守住每一步都有明确的工程依据。赞分享【免费下载链接】SmolLM2-135M-Instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/SmolLM2-135M-Instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐AWQ量化终极指南深度剖析Llama-3.2-3B-Instruct_rai_1.8.0_hybrid的UINT4权重BFP16激活策略AWQ量化终极指南深度剖析Llama 3.2 3B Instruct_rai_1.8.0_hybrid的UINT4权重BFP16激活策略 Llama 3.2Mistral-7B-Instruct-v0.2_rai_1.8.0_hybrid AWQ UINT4量化策略详解4位权重压缩原理与配置全指南Mistral 7B Instruct v0.2_rai_1.8.0_hybrid AWQ UINT4量化策略详解4位权重压缩原理与配置全指南 MistralAWQ量化深度拆解Qwen3-1.7B_rai_1.8.0_hybrid的UINT4组量化如何兼顾精度与速度AWQ量化深度拆解Qwen3 1.7B_rai_1.8.0_hybrid的UINT4组量化如何兼顾精度与速度 本文深度拆解 Qwen3 1.7B_rai_1.创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考