← 返回术语词典

TensorRT 推理优化 TensorRT

TensorRT Inference Optimization
方法 又称:推理优化引擎 / NVIDIA TensorRT 更新于 2026-11-04
定义

NVIDIA 的推理优化引擎,通过算子融合、精度校准和内核自动调优把已训练模型压到接近硬件极限的吞吐,是物理 AI 模型在数据中心与边缘设备上跑进毫秒级的常规手段。

是什么

TensorRT 是 NVIDIA 的推理优化引擎。它接收一个已训练好的网络(通常经 ONNX 中转), 然后做三件事:把计算图重写并融合成更少的内核、把权重按目标精度重新编码、 为每个层搜索最优的执行配置并写进计划文件(engine plan)。

最终产物是一个针对具体 GPU 型号与精度配置编译好的执行计划,运行时只做前向。

关键要点

  • 融合是主要收益来源:卷积与激活、逐点算子与相邻逐点算子、归约与紧随其后的逐点算子 都会被合并成单个内核。对物理 AI 模型这类以逐点 MLP 为主体的结构,融合后内核数常能降一个量级。
  • 精度模式要显式指定:FP32 / FP16 / INT8 的选择直接决定 kernel 集合与数值行为。 FP16 通常是最省事的加速档;INT8 需要用真实数据做校准,否则精度损失不可控。
  • INT8 校准依赖输入分布:校准集必须覆盖线上实际的场量分布、边界条件与网格尺度。 用单一工况校准、线上跑多工况,是量化模型失效的典型原因。
  • 计划文件与硬件绑定:engine plan 针对具体 GPU 架构与软件版本编译。跨型号部署要重新生成, 不能拷贝复用。

常见误区 / 边界

  • TensorRT 只加速推理,不参与训练,也无法反向传播。
  • 不是所有模型都能从中获益。动态形状、CPU 算子、大量自定义算子会导致大量子图回退到 原生框架执行,加速幅度远低于预期。
  • 加速比高度依赖模型结构与精度档,不能跨场景类比。应以端到端延迟与吞吐实测为准, 而不是引用峰值算力推算。
  • 边缘设备(Jetson 等)与数据中心 GPU 的调优策略不同,量化配置不通用。

相关术语

站内相关资源