Ubuntu20.04 + CUDA 11.3 环境，保姆级安装TensorRT 8.2.5.1全记录（含PyTorch 1.12.0适配）

Ubuntu 20.04 + CUDA 11.3 环境下TensorRT 8.2.5.1深度适配指南

在深度学习模型部署的实践中，TensorRT作为NVIDIA推出的高性能推理引擎，能够显著提升模型在NVIDIA GPU上的运行效率。本文将针对Ubuntu 20.04 + CUDA 11.3 + PyTorch 1.12.0这一特定环境组合，提供一份详尽的TensorRT 8.2.5.1安装与适配指南。

1. 环境准备与版本验证

在开始安装TensorRT之前，确保基础环境配置正确至关重要。以下是需要验证的关键组件及其版本：

# 验证PyTorch和CUDA版本 python -c "import torch; print(f'PyTorch版本: {torch.__version__}'); print(f'CUDA版本: {torch.version.cuda}')"

理想情况下，您应该看到类似以下输出：

PyTorch版本: 1.12.0+cu113 CUDA版本: 11.3

关键依赖版本对照表：

提示：如果CUDA版本显示为None，说明当前PyTorch未启用CUDA支持，需要重新安装对应版本。

2. TensorRT 8.2.5.1安装全流程

2.1 获取TensorRT安装包

从NVIDIA官方网站下载与您环境匹配的TensorRT版本。对于CUDA 11.3环境，应选择标注为"CUDA 11.4"的版本（向下兼容11.3）：

wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/secure/8.2.5.1/tars/TensorRT-8.2.5.1.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz

2.2 安装依赖项

TensorRT运行需要一些Python依赖包，特别注意版本匹配：

pip install 'pycuda<2021.1' onnxruntime-gpu==1.11.0

为什么选择这些特定版本？

• pycuda 2021.1之后的版本存在与TensorRT 8.2的兼容性问题
• onnxruntime-gpu 1.11.0与CUDA 11.3和PyTorch 1.12.0兼容性最佳

2.3 解压与配置环境变量

解压下载的TensorRT包并设置环境变量：

tar -zxvf TensorRT-8.2.5.1.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:'$(pwd)'/TensorRT-8.2.5.1/lib' >> ~/.bashrc source ~/.bashrc

2.4 安装Python包

进入解压后的目录安装TensorRT Python包：

cd TensorRT-8.2.5.1/python pip install tensorrt-8.2.5.1-cp39-none-linux_x86_64.whl # 安装graphsurgeon工具 cd ../graphsurgeon pip install graphsurgeon-0.4.5-py2.py3-none-any.whl

3. 验证安装与兼容性测试

安装完成后，进行全面的功能验证：

import tensorrt as trt import torch import onnxruntime print(f"TensorRT版本: {trt.__version__}") print(f"PyTorch CUDA可用: {torch.cuda.is_available()}") print(f"ONNXRuntime providers: {onnxruntime.get_available_providers()}")

预期输出应包含：

TensorRT版本: 8.2.5.1 PyTorch CUDA可用: True ONNXRuntime providers: ['CUDAExecutionProvider', 'CPUExecutionProvider']

4. PyTorch模型到TensorRT的完整转换流程

4.1 PyTorch模型导出为ONNX

以ResNet18为例，演示完整转换流程：

import torch import torchvision # 创建示例模型 model = torchvision.models.resnet18(pretrained=True).eval().cuda() # 准备示例输入 dummy_input = torch.randn(1, 3, 224, 224).cuda() # 导出ONNX模型 torch.onnx.export( model, dummy_input, "resnet18.onnx", input_names=["input"], output_names=["output"], dynamic_axes={ "input": {0: "batch_size"}, "output": {0: "batch_size"} } )

4.2 ONNX模型优化与验证

使用TensorRT的trtexec工具进行模型优化：

./TensorRT-8.2.5.1/bin/trtexec \ --onnx=resnet18.onnx \ --saveEngine=resnet18.trt \ --workspace=4096 \ --fp16

关键参数说明：

• --workspace: 设置GPU内存工作区大小(MB)
• --fp16: 启用FP16精度加速
• --best: 自动选择最优策略

4.3 TensorRT推理实现

创建高效的TensorRT推理引擎：

import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit class TRTInference: def __init__(self, engine_path): self.logger = trt.Logger(trt.Logger.WARNING) with open(engine_path, "rb") as f, trt.Runtime(self.logger) as runtime: self.engine = runtime.deserialize_cuda_engine(f.read()) self.context = self.engine.create_execution_context() def infer(self, input_data): # 分配输入输出内存 bindings = [] for binding in self.engine: size = trt.volume(self.engine.get_binding_shape(binding)) dtype = trt.nptype(self.engine.get_binding_dtype(binding)) mem = cuda.mem_alloc(input_data.nbytes) bindings.append(int(mem)) # 数据传输与推理 cuda.memcpy_htod(bindings[0], input_data) self.context.execute_v2(bindings=bindings) output = np.empty(output_shape, dtype=np.float32) cuda.memcpy_dtoh(output, bindings[1]) return output

5. 常见问题与解决方案

5.1 版本冲突排查表

5.2 性能优化技巧

1. 动态形状支持：

profile = builder.create_optimization_profile() profile.set_shape( "input", min=(1, 3, 224, 224), opt=(8, 3, 224, 224), max=(32, 3, 224, 224) ) config.add_optimization_profile(profile)

2. 层融合策略：

./trtexec --onnx=model.onnx --saveEngine=model.trt --enableLayerNormPlugin

3. 多流并行：

# 创建多个执行上下文 contexts = [engine.create_execution_context() for _ in range(4)]

6. 高级应用：与PyTorch的无缝集成

6.1 使用Torch-TensorRT

NVIDIA提供了Torch-TensorRT项目，实现更紧密的PyTorch集成：

import torch_tensorrt # 直接编译PyTorch模型 trt_model = torch_tensorrt.compile( model, inputs=[torch_tensorrt.Input((1, 3, 224, 224), dtype=torch.float32)], enabled_precisions={torch.float32, torch.float16} ) # 使用方式与普通PyTorch模型相同 output = trt_model(input_data)

6.2 自定义算子支持

对于包含自定义算子的模型，需要注册对应的插件：

# 加载插件库 ctypes.CDLL("libmy_plugin.so") # 创建插件注册表 registry = trt.get_plugin_registry() plugin_creator = registry.get_plugin_creator("MyPlugin", "1")

7. 实际部署中的经验分享

在模型部署过程中，有几个关键点值得特别注意：

1. 内存管理：TensorRT引擎会占用显存，长期运行的服务器应用需要考虑显存泄漏问题。建议使用with语句确保资源释放：

with open(engine_path, "rb") as f, trt.Runtime(logger) as runtime: engine = runtime.deserialize_cuda_engine(f.read()) # 使用引擎... # 自动释放资源

2. 批处理优化：合理设置最大批处理尺寸可以显著提高吞吐量。测试表明，在RTX 3060上，ResNet50的吞吐量随批处理大小的变化如下：

3. 多模型加载：当需要同时运行多个模型时，建议使用单独的进程管理每个模型，避免CUDA上下文冲突。