← 返回术语词典

模型量化

Model Quantization
方法 又称:量化 / 低精度推理 更新于 2026-11-04
定义

把模型权重与激活从 FP32 压到 INT8、INT4 等低精度表示以减少显存占用并提升推理速度,代价是精度损失可预期地变大;物理 AI 模型对绝对量级敏感,量化必须逐工况校准验证。

是什么

模型量化是用低精度数值格式替代 FP32 存储权重与激活,从而减少显存、带宽占用并 提升推理吞吐。常见档位是 INT8(相对 FP32 约 4 倍压缩)与 INT4(约 8 倍), 权重可量化、激活可量化,或两者都量化。

与混合精度不同,量化发生在部署阶段:模型训练完、导出成 ONNX 后, 再由推理引擎做量化并生成对应精度的执行计划。

关键要点

  • 量化误差随数值动态范围放大:物理 AI 模型输出常带有明确物理量纲 (温度 K、压力 Pa、速度 m/s),且不同物理量的量级差异极大。 用统一的缩放因子覆盖整个张量时,小量级的物理量可能被压到接近零。 按物理量分通道量化通常比逐张量量化安全得多。
  • 校准集必须覆盖真实工况:线上的边界条件、网格尺度、载荷组合都应出现在校准数据里。 校准不足是量化模型”测试集准、线上飘”的直接原因。
  • 量化与蒸馏常配合使用:量化带来精度损失时,先用知识蒸馏把原模型的软标签信息 压进小模型,再量化,比直接量化损失更小。
  • 量化后的数值空间要与其它组件一致:若同一模型的不同算子分别由不同精度的 子图执行,拼接处的数值差异会累积。

常见误区 / 边界

  • 量化不是无损压缩。FP32 到 INT8 的舍入误差对”输出相对误差”影响通常可接受, 但对”守恒律残差""边界层梯度”这类量级小但物理意义关键的量影响可能很大, 必须单独核对而不只看整体 RMSE。
  • 量化改变的是数值精度,不改变模型结构。指望量化替代蒸馏来补精度,方向是反的。
  • 量化误差与校准数据的统计分布强耦合。换工况、换网格密度后需要重新评估, 不能沿用上一份校准结果。
  • 与量化模型配套的精度指标(IoU、mAP 之类)未必适合物理场评估, 应改用物理量纲下的绝对/相对误差与守恒残差。

相关术语

站内相关资源