TensorRT（NVIDIA TensorRT）是英伟达推出的高性能深度学习推理（Inference）优化库，专为生产环境设计，可将训练好的模型（如PyTorch/TensorFlow）转换为高度优化的推理引擎，显著提升在NVIDIA GPU上的推理速度和能效比。实际应用场景如下：
实时视频分析：YOLOv5 + TensorRT 在Jetson Xavier上达到100+ FPS。
推荐系统：BERT模型INT8量化后延迟降低10倍。
自动驾驶：多传感器融合模型（Lidar+Camera）的端到端优化。
核心功能
层融合（Layer Fusion）：将连续操作（如Conv+BN+ReLU）合并为单一内核，减少内存访问开销。
INT8量化：通过校准数据集统计激活值分布，动态量化权重和激活（精度损失可控）。
内核自动选择（Kernel Auto-Tuning）：针对不同GPU架构（如Ampere vs Turing）选择最优计算内核。
| 功能 | 说明 |
|---|---|
| 模型优化 | 通过层融合（Layer Fusion）、精度校准（FP16/INT8）、内核自动调优等技术减少计算冗余。 |
| 硬件加速 | 针对NVIDIA GPU（如T4/A100）的Tensor Core和CUDA核心优化计算内核。 |
| 多精度支持 | 支持FP32、FP16、INT8精度，平衡速度与精度需求。 |
| 动态形状支持 | 允许输入尺寸动态变化（如可变分辨率图像输入）。 |
| 跨平台部署 | 支持云（如Triton Server）、边缘（Jetson）、车载（Drive）等场景。 |
性能优势
| 场景 | 加速效果（vs 原生框架） | 适用案例 |
|---|---|---|
| FP32推理 | 2~5倍加速 | 高精度任务（如医学影像） |
| FP16推理 | 5~10倍加速 | 大多数视觉/语音模型 |
| INT8量化 | 10~20倍加速 | 边缘设备（如Jetson Nano） |
工作原理
模型导入：支持格式：ONNX、TensorFlow/PyTorch（需转ONNX）。工具链：
torch.onnx.export()或tf2onnx转换模型。优化阶段
解析器（Parser）：将模型转换为TensorRT内部表示（Network Definition）。
优化器（Optimizer）：执行层融合、常量折叠、内存复用等优化。
校准器（Calibrator，仅INT8）：通过校准数据集确定量化参数。
引擎生成：生成序列化引擎（
.engine文件），可保存并跨平台加载。
总结
注意事项
动态形状限制：需预先定义最小/最大/优化形状范围。
算子支持：部分自定义算子需通过Plugin API实现（如NMS）。
量化误差：INT8可能对敏感任务（如小目标检测）引入精度损失。
TensorRT通过硬件感知的极致优化，成为工业界部署AI模型的事实标准。其核心价值在于：
极低延迟：适合实时性要求高的场景。
高吞吐量：批量处理（Batch Inference）优化显著。
能效比：相同任务下功耗降低50%以上。