Paddle Inference实战：从模型加载到推理优化的全流程解析
1. Paddle Inference入门：模型加载基础操作
第一次接触Paddle Inference时，最让我头疼的就是模型加载这个环节。记得当时为了加载一个简单的MobileNet分类模型，折腾了大半天。后来才发现，原来模型加载分为非Combined模型和Combined模型两种模式，理解这个区别后问题就迎刃而解了。
非Combined模型是指飞桨早期版本的模型格式，模型结构和参数分开存储。加载时需要指定模型目录路径：
import paddle.inference as paddle_infer config = paddle_infer.Config("./mobilenet_v1") predictor = paddle_infer.create_predictor(config)而Combined模型则是将模型结构和参数合并存储，需要分别指定模型文件和参数文件：
config = paddle_infer.Config( "./mobilenet_v2/__model__", "./mobilenet_v2/__params__" )这里有个实际项目中的经验：当模型文件较大时，Combined模式的加载速度会明显更快。我在图像分类项目中测试过，一个300MB的ResNet50模型，Combined模式加载时间能减少30%左右。
模型加载后，我们通常会检查输入输出张量的信息。这里分享一个实用技巧：
# 获取输入输出信息 input_names = predictor.get_input_names() output_names = predictor.get_output_names() print("输入张量:", input_names) print("输出张量:", output_names)这个步骤特别重要，因为后续的数据预处理必须严格匹配模型的输入要求。我曾经遇到过因为输入通道顺序不对（RGB vs BGR）导致准确率暴跌的情况。
2. 推理配置优化实战技巧
配置优化是提升推理性能的关键。经过多次项目实践，我总结出一套行之有效的配置方案。首先是基础配置：
config = paddle_infer.Config(model_path) config.disable_gpu() # 强制使用CPU config.enable_mkldnn() # 启用Intel加速 config.set_cpu_math_library_num_threads(4) # 设置计算线程数对于GPU推理，配置会更复杂一些：
config.enable_use_gpu(1000, 0) # 显存大小(MB), 设备ID config.enable_tensorrt_engine( workspace_size=1 << 30, max_batch_size=1, min_subgraph_size=3, precision_mode=paddle_infer.PrecisionType.Float32, use_static=False, use_calib_mode=False )在实际项目中，我发现几个关键参数对性能影响很大：
- MKLDNN加速：在Intel CPU上能带来2-3倍的性能提升
- TensorRT优化：NVIDIA GPU上效果显著，但要注意子图大小设置
- 线程数配置：不是越多越好，通常设置为物理核心数的1-2倍最佳
这里有个性能对比数据，来自我们实际项目的测试：
| 配置方案 | 吞吐量(QPS) | 延迟(ms) |
|---|---|---|
| 纯CPU | 45 | 22 |
| CPU+MKLDNN | 128 | 8 |
| GPU | 210 | 5 |
| GPU+TensorRT | 350 | 3 |
3. 完整推理流程实现
一个完整的推理流程包括数据准备、模型执行和结果处理三个环节。让我用一个图像分类的例子详细说明。
首先是数据预处理部分：
import numpy as np from PIL import Image def preprocess(image_path): img = Image.open(image_path).resize((224, 224)) img = np.array(img).astype('float32') img = img.transpose((2, 0, 1)) # HWC to CHW img = img[np.newaxis, :] # 添加batch维度 img = img / 255.0 # 归一化 return img然后是模型执行环节：
# 准备输入数据 input_data = preprocess("test.jpg") input_handle = predictor.get_input_handle(input_names[0]) input_handle.reshape(input_data.shape) input_handle.copy_from_cpu(input_data) # 执行推理 predictor.run() # 获取输出 output_handle = predictor.get_output_handle(output_names[0]) output_data = output_handle.copy_to_cpu()最后是结果后处理：
def postprocess(output_data): # 取softmax得到概率 prob = np.exp(output_data) / np.sum(np.exp(output_data)) # 取top-5结果 top5_idx = np.argsort(prob[0])[::-1][:5] top5_prob = prob[0][top5_idx] return list(zip(top5_idx, top5_prob))在实际项目中，我发现有几个常见坑点：
- 忘记添加batch维度导致形状不匹配
- 归一化方式与训练时不一致
- 没有正确处理输出张量的内存布局
4. 性能调优进阶技巧
当模型推理成为系统瓶颈时，就需要更深入的性能优化。这里分享几个实战中验证有效的技巧。
内存优化是第一个重点：
# 及时释放中间张量 predictor.clear_intermediate_tensor() # 压缩内存池 predictor.try_shrink_memory()在视频分析项目中，使用这些方法后内存占用降低了40%。
批处理优化能显著提升吞吐量：
# 设置动态shape支持 config.collect_shape_range_info("shape_range.pbtxt") config.enable_tuned_tensorrt_dynamic_shape("shape_range.pbtxt") # 运行时设置实际batch size input_handle.reshape([batch_size, 3, 224, 224])混合精度推理是另一个利器：
config.enable_tensorrt_engine( precision_mode=paddle_infer.PrecisionType.Half )在目标检测项目中，混合精度在保持精度的同时将FPS从45提升到68。但要注意，不是所有模型都适合混合精度，分类任务效果通常比检测任务更好。
最后分享一个性能分析工具：
# 启用性能分析 config.enable_profile()这会在推理结束后生成详细的时间分析报告，帮助我们准确定位性能瓶颈。