一、为什么需要量化模型训练通常使用 FP32 浮点数。它精度高但参数占用空间较大。量化可以使用更低位数的数据表示参数从而减少模型体积并在部分硬件上提升推理速度。本项目采用 INT8 动态量化目标是降低 BERT 的 CPU 部署成本。二、动态量化是什么动态量化不要求提前准备校准数据而是在推理时根据输入动态计算量化参数。项目主要对Linear层进行量化Embedding 和部分其他结构保持原格式。三、核心代码quantized_modeltorch.quantization.quantize_dynamic(model,{torch.nn.Linear},dtypetorch.qint8,)量化前应确保模型处于评估状态model.eval()quantized_modeltorch.quantization.quantize_dynamic(model,{nn.Linear},dtypetorch.qint8)四、压缩结果项目FP32 BERTINT8 量化后模型体积约 390MB约 146MB压缩比1约 2.7 倍量化后的体积下降明显适合资源受限、CPU 推理或本地部署场景。五、量化遇到的兼容性问题项目中曾出现 HuggingFace BERT 某些模块与 PyTorch 动态量化不完全兼容的问题表现为部分标准评测循环报错。这说明模型文件能够保存不代表所有推理路径都已经验证压缩比不能代替精度和延迟评测量化后必须用与生产相同的输入和推理路径做回归测试。因此更严谨的结论应该是项目完成了量化压缩验证但完整量化评测链路仍需要进一步完善。六、为什么没有直接使用 QAT、TensorRT 或 ONNXQAT量化感知训练通常需要重新训练或微调效果可能更好但工程成本更高。TensorRT适合 NVIDIA GPU 高性能推理但部署环境、算子支持和转换流程更复杂。ONNX Runtime适合跨平台推理但需要增加模型导出、算子兼容和输出一致性验证。当前项目处于原型和完整链路验证阶段因此先选择实现成本较低的动态量化。七、正确的量化验收方式量化模型上线前至少需要比较同一测试集上的 Accuracy、Precision、Recall、F1同一硬件上的 P50、P95 延迟单条和批量推理吞吐模型加载时间和内存占用量化前后的输出差异长文本、空文本和异常输入。八、总结量化不是为了追求一个漂亮的压缩数字而是为了在真实部署条件下取得更好的成本收益。只有精度、性能、稳定性都经过验证量化模型才适合进入生产。 
长河君 · 2026/8/31 15:20:07 · 阅读 1.2k 模型压缩实战：BERT 量化从 390MB 到 146MB 的实践
一、为什么需要量化模型训练通常使用 FP32 浮点数。它精度高但参数占用空间较大。量化可以使用更低位数的数据表示参数从而减少模型体积并在部分硬件上提升推理速度。本项目采用 INT8 动态量化目标是降低 BERT 的 CPU 部署成本。二、动态量化是什么动态量化不要求提前准备校准数据而是在推理时根据输入动态计算量化参数。项目主要对Linear层进行量化Embedding 和部分其他结构保持原格式。三、核心代码quantized_modeltorch.quantization.quantize_dynamic(model,{torch.nn.Linear},dtypetorch.qint8,)量化前应确保模型处于评估状态model.eval()quantized_modeltorch.quantization.quantize_dynamic(model,{nn.Linear},dtypetorch.qint8)四、压缩结果项目FP32 BERTINT8 量化后模型体积约 390MB约 146MB压缩比1约 2.7 倍量化后的体积下降明显适合资源受限、CPU 推理或本地部署场景。五、量化遇到的兼容性问题项目中曾出现 HuggingFace BERT 某些模块与 PyTorch 动态量化不完全兼容的问题表现为部分标准评测循环报错。这说明模型文件能够保存不代表所有推理路径都已经验证压缩比不能代替精度和延迟评测量化后必须用与生产相同的输入和推理路径做回归测试。因此更严谨的结论应该是项目完成了量化压缩验证但完整量化评测链路仍需要进一步完善。六、为什么没有直接使用 QAT、TensorRT 或 ONNXQAT量化感知训练通常需要重新训练或微调效果可能更好但工程成本更高。TensorRT适合 NVIDIA GPU 高性能推理但部署环境、算子支持和转换流程更复杂。ONNX Runtime适合跨平台推理但需要增加模型导出、算子兼容和输出一致性验证。当前项目处于原型和完整链路验证阶段因此先选择实现成本较低的动态量化。七、正确的量化验收方式量化模型上线前至少需要比较同一测试集上的 Accuracy、Precision、Recall、F1同一硬件上的 P50、P95 延迟单条和批量推理吞吐模型加载时间和内存占用量化前后的输出差异长文本、空文本和异常输入。八、总结量化不是为了追求一个漂亮的压缩数字而是为了在真实部署条件下取得更好的成本收益。只有精度、性能、稳定性都经过验证量化模型才适合进入生产。