机器人学习！（二）ROS-模型优化与加速（TensorRT）（4）2026/01/15
TensorRT只适用NVIDIA：TensorRT是NVIDIA开发的闭源SDK，其核心优化技术深度依赖于NVIDIA GPU的专属硬件架构（如Tensor Core、SM单元）和软件生态（如CUDA、cuDNN）。
替换方案：
| 硬件平台 | 推荐技术栈 | 关键说明 |
|---|---|---|
| NVIDIA GPU | TensorRT | 性能最优选。支持从数据中心到边缘（Jetson）的全系列NVIDIA GPU。 |
| Intel CPU/GPU/VPU | OpenVINO™ Toolkit | Intel推出的开源工具套件，专门针对其CPU、集成GPU和VPU等硬件进行优化。 |
| 国产AI芯片 | 厂商专用SDK | 如华为昇腾的CANN、寒武纪的MagicMind等。它们是为自家芯片设计的“原生”推理引擎，功能和TensorRT类似。 |
| 多平台/兼容性优先 | NNAdapter等统一框架 | 像百度飞桨的NNAdapter这类框架，目标是降低不同AI芯片的接入门槛，让开发者用一套接口适配多种硬件。 |
TensorRT工作流程：
训练模型 → 导出模型 → TensorRT优化(.engine) → 部署推理加速(CPU/GPU)
↓ ↓ ↓ ↓
PyTorch训练 → 保存为ONNX → 改装成赛车 → 上路飞驰
在实验室 中间格式 极致优化 真实场景
关键优化技术：
| 优化技术 | 原理 | 加速效果 |
|---|---|---|
| 层融合 | 合并多个层减少内存访问 | 1.5-2x |
| 精度量化 | FP32 → FP16/INT8 | 2-4x |
| 内核自动调优 | 选择最优GPU内核 | 1.2-1.5x |
| 动态张量内存 | 复用内存减少分配 | 1.3x |
| 多流执行 | 并行处理多个请求 | 1.5-2x |