← 返回术语词典

混合精度训练 AMP

Mixed-Precision Training
方法 又称:半精度训练 / FP16 混合精度 更新于 2026-11-04
定义

让网络的不同层分别用 FP16、BF16 或 FP32 计算与存储的训练方法,前向与反向中易溢出的算子自动升到 FP32,在几乎不损失精度的前提下把训练吞吐提升近两倍并省下显存。

是什么

混合精度训练(AMP)指在同一次训练中混合使用不同浮点精度。通常主路径用 FP16 或 BF16 (前向、反向、权重更新),而少数数值敏感或易溢出的算子——归约、求梯度、大幅值累加—— 保留 FP32 计算。

实现上由框架自动完成:前向过程中记录哪些算子产生了溢出风险,反向时对相应梯度做缩放 (loss scaling)防止下溢,在更新权重前再除回来。用户一般只需要开一个开关。

关键要点

  • BF16 与 FP16 的取舍:FP16 动态范围小(最大约 65504),梯度容易下溢, 需要 loss scaling 兜底;BF16 动态范围接近 FP32,通常不需要缩放,稳定性更好, 但需要更新的硬件支持。数值基础模型这类训练场景 BF16 更省心。
  • 省显存不只省显存:激活值以半精度存储,batch size 可以显著放大。 对神经算子这类需要大批量采样的训练,batch 放大往往直接决定收敛质量。
  • 算子级黑名单很重要:某些物理算子(如涉及除法、开方、大量累加的守恒项) 在半精度下误差会被放大。自定义算子应显式声明为 FP32,否则模型可能”能训完但不收敛”。
  • 训练用 AMP、推理用量化是不同的事:AMP 面向训练阶段的吞吐与稳定性, 量化面向部署阶段的体积与延迟,两者目标不同,不要混为一谈。

常见误区 / 边界

  • 精度提升不等于精度无损。物理约束项(尤其是含量纲的强刚度项)在半精度下 可能损失有效位数,需要实测验证而非默认接受。
  • loss scaling 的 scale 因子不是越大越好。过大会在反向后段造成梯度下溢, 过大或过小都表现为训练初期 loss 异常。
  • 某些老旧 GPU 或算子没有半精度实现,会静默回退到 FP32, 收益远低于预期,需要实测吞吐确认。
  • 混合精度与梯度裁剪、归一化方式相互作用,改变其中一项要重新验证另一项。

相关术语

站内相关资源