开放神经网络交换格式 ONNX
Open Neural Network Exchange
定义
把训练框架产出的神经网络模型导出成与框架无关的标准格式,让同一个模型能在推理引擎、编译器和不同语言中运行,是物理 AI 模型从训练走向生产部署的通用交接格式。
是什么
ONNX 是一种模型交换格式。你用 PyTorch、TensorFlow、JAX 或某个物理 AI 框架训练出模型,
把它导出成 .onnx 文件,这个文件描述的是”计算图”本身——有哪些算子、每层输入输出形状与
数据类型——而不是某个框架的内部实现。
关键在于它把”训练”和”部署”解耦了:导出之后,推理侧不需要装原训练框架。ONNX Runtime、
TensorRT、TVM、各类推理服务框架都能直接消费同一个 .onnx 文件。
关键要点
- 算子覆盖度决定可用性:导出成功不等于能跑。ONNX 算子集(opset)有版本之分, 框架里的自定义算子、动态形状、部分自动微分图无法直接映射。导出报错通常不是 bug, 而是模型用了标准算子集之外的东西。
- 图优化是推理加速的起点:推理引擎加载 ONNX 后会做常量折叠、算子融合、图重写等优化。 物理 AI 模型常见的小算子多(如逐点 MLP、散度/梯度算子),融合收益往往比换硬件更明显。
- 动态形状与静态形状的取舍:静态 batch / 固定网格尺寸的模型导出最稳、推理最快; 变尺寸网格(如自适应网格加密)需要声明动态维度,会牺牲一部分优化机会。
- 物理算子需要自己注册:自定义物理约束层(如有限体积通量算子、网格插值)在导出时 通常要写成自定义算子并注册到目标引擎,否则会被降级为不支持的节点。
常见误区 / 边界
- ONNX 是交换格式,不是推理引擎。它本身不提供加速,性能来自消费它的运行时 (ONNX Runtime、TensorRT 等)。
- ONNX 不解决精度问题。导出前后的数值差异来自算子实现细节与精度设置, 需要单独做导出前后的一致性验证。
- “支持 ONNX” 不等于”支持全部 ONNX 算子”。每个引擎的算子覆盖面不同, 换引擎前必须用目标引擎实际跑一遍。
- 训练期的图优化(如 torch.compile 的算子融合)在导出后会被重新做一遍, 不要指望导出文件保留框架侧的编译结果。
相关术语
站内相关资源
- NVIDIA PhysicsNeMo 物理 AI 工程化框架 — ONNX / TensorRT 导出路径与生产对接
- 物理仿真与机器学习融合路线图 — 模型压缩与部署章节:ONNX + ONNX Runtime
- PhysicsNeMo: 基于神经算子的物理仿真框架 — ONNX Export + Triton 生产部署链路