← 返回术语词典

Triton 推理服务器 Triton

Triton Inference Server
方法 又称:模型服务框架 / 推理服务 更新于 2026-11-04
定义

NVIDIA 开源的模型服务框架,把多个模型按版本、批量与实例数调度起来对外提供统一的推理接口,负责动态批处理、并发调度与后端引擎选择,是把物理 AI 模型变成可用生产服务的中间层。

是什么

Triton Inference Server 是模型服务框架。它不是模型,也不是加速引擎——它的职责是 把若干个已经导出的模型(TensorRT plan、ONNX、PyTorch 等多种后端)组织起来, 对外暴露统一的 HTTP / gRPC 推理接口,内部负责排队、批处理、实例数伸缩与后端分发。

对物理 AI 而言,它的价值在于:一次部署多个场求解器(稳态 / 瞬态、不同网格), 让前端应用不必关心模型跑在哪个后端、用什么精度。

关键要点

  • 动态批处理是主要收益:Triton 会把到达时间相近的请求合并成一个 batch 交给后端执行。 对物理 AI 单次推理耗时在百毫秒量级的模型,批处理能把单位时间吞吐提升数倍, 同时把排队延迟控制在可接受范围内。
  • 模型仓库是一个目录约定:模型、配置、版本目录的组织方式决定了 Triton 如何加载、 预热与切换版本。版本切换可做到不中断服务。
  • 支持多后端与模型组合:一个服务实例里可以同时挂 TensorRT 后端和 PyTorch 后端, 也可以构建”预处理 + 主模型 + 后处理”的 ensemble,把网格生成、求解、后处理串成一条流水线。
  • 指标与健康检查是内置的:Prometheus 指标、请求计数、队列长度、GPU 利用率直接暴露, 便于接入既有监控体系。

常见误区 / 边界

  • Triton 不做模型优化。真正决定推理耗时的是后端引擎与模型本身, 用 PyTorch 后端挂上去不会有 TensorRT 级别的性能。
  • 动态批处理依赖流量特征。请求到达过于分散时合批效果差, 此时调大最大批大小反而增加排队延迟。
  • 显存/内存规划要自己定。多个模型共存时各自的实例数直接决定资源占用, 配置不当会出现加载失败或频繁换页。
  • ensemble 便于复用流程,但把多个阶段串在一起后,端到端延迟是各阶段之和, 排查性能问题需要分段测量。

相关术语

站内相关资源