知识蒸馏 KD
Knowledge Distillation
定义
用大模型或高精度模型的输出(尤其是类别分布里的"暗知识")监督一个小模型训练,让小模型在更小的参数量和算力下逼近原模型精度,是物理 AI 模型做边缘部署与实时推理的常用手段。
是什么
知识蒸馏(KD)是用教师模型的输出去监督学生模型训练。教师通常是参数量更大、 精度更高或推理更慢的模型;学生模型小得多,最终承担线上推理。
蒸馏与普通监督学习的差别在于监督信号:普通训练用真实标签的 one-hot 硬标签, 蒸馏额外使用教师输出的软标签——各类别的概率分布。这类分布里编码了类别之间的 相似度关系(所谓”暗知识”),是学生模型能学到超出硬标签信息的关键。
关键要点
- 损失由两部分组成:软标签蒸馏项(通常用 KL 散度或温度缩放后的交叉熵) 加真实标签的硬标签项。温度 T 控制软标签的信息量,T 越大分布越平滑、类别间关系暴露得越明显。
- 中间特征蒸馏常比输出蒸馏更有效:让学生的中间层去匹配教师的中间层表示, 在物理场任务上通常效果显著好于只对齐输出分布,因为场的空间结构信息藏在特征里。
- 教师可以不是”更大”的模型:物理 AI 里常见的做法是拿收敛更好、精度更高的 求解器代理模型当教师,蒸馏给一个能满足实时性约束的小网络。
- 蒸馏与量化正交且互补:先蒸馏减小模型并改善软标签分布,再量化压缩, 通常比单独做任何一个精度损失更小。
常见误区 / 边界
- 蒸馏不保证超越教师。学生的容量上限决定了它最多逼近教师, 指望小模型蒸馏出比教师更好的精度是不现实的(除非引入额外信息)。
- 温度与损失权重需要调。温度过高会把分布压平、丢失区分度; 只用蒸馏损失而完全丢掉硬标签项,容易让模型在教师预测错误的样本上学到错误。
- 软标签对”物理量”任务需要重新设计。分类任务里类别概率的含义明确, 场的回归任务里”暗知识”的定义要自己构造(例如多工况解之间的差异分布)。
- 蒸馏后的模型仍然要导出与量化,部署链路一步都不能省。
相关术语
站内相关资源
- 物理仿真与机器学习融合路线图 — 模型压缩与部署章节
- 面向预测的物理知识机器学习综述 — 物理 ML 方法综述中的模型压缩路线
- 油藏数值模拟的图神经代理:以 PhysicsNeMo X-MGN 为例 — 储层模拟中的代理模型工程化