性能实测：登临Goldwasser V2加速卡跑YOLOv5s，对比CPU看速度提升多少？

登临Goldwasser V2加速卡YOLOv5s实测：从环境配置到性能对比的全流程拆解

当目标检测任务遇上边缘计算场景，算力与能效的平衡往往成为工程落地的关键瓶颈。上周在部署某工业园区安防系统时，我们尝试用登临科技的Goldwasser V2加速卡运行YOLOv5s模型，实测数据显示：处理1080P图片时，GPU加速卡的速度可达传统X86服务器的23倍，而功耗仅为CPU方案的1/5。本文将完整还原测试环境搭建、对比实验设计以及结果分析的全过程，为面临边缘AI部署选型的技术团队提供第一手参考数据。

1. 测试环境搭建与工具链配置

1.1 硬件平台选型与拓扑设计

本次测试采用同主机双计算单元对比方案，主要硬件配置如下：

特别需要注意的是，Goldwasser V2采用PCIe 4.0 x16接口，安装时应优先选择直连CPU的插槽。我们实测发现，通过芯片组转接的插槽会导致带宽下降约15%。

1.2 软件栈部署要点

登临提供的工具链包含三个核心组件：

# 驱动安装验证 sudo apt install ./denglin-driver_2.3.0_amd64.deb dlsmi # 应显示设备信息 # SDK环境配置 tar -xzf denglin-sdk-2.4.1.tar.gz cd denglin-sdk-2.4.1 source env.sh # 设置环境变量 # Python虚拟环境搭建 conda create -n dl_py39 python=3.9 conda activate dl_py39 pip install torch-1.10.0+dl -f https://download.denglin.com/wheels/

提示：若遇到CUDA兼容性问题，建议检查gcc版本是否匹配。我们遇到gcc 9.4导致编译失败的情况，降级到gcc 7.5后解决。

2. YOLOv5s模型优化与部署

2.1 模型转换与量化技巧

原始PyTorch模型需通过登临的转换工具生成适配格式：

from dl import convert convert.yolov5s_to_rlym( input_model="yolov5s.pt", output_model="yolov5s_dl.rlym", input_shape="images:1,3,640,640", # 动态batch需设为-1 opset_version=11 )

量化环节对性能影响显著，我们对比了三种精度模式：

实际部署建议：安防场景可选FP16平衡精度与速度，工业检测推荐INT8最大化吞吐量。

2.2 批处理与流水线优化

通过修改test3.py实现多级流水并行：

# 修改输入数据生成逻辑 def generate_batches(image_paths, batch_size=4): for i in range(0, len(image_paths), batch_size): yield load_images(image_paths[i:i+batch_size]) # 在推理循环中启用异步模式 with nne_util.AsyncInferPipeline(gpu_model_path) as pipeline: for batch in generate_batches(image_paths): pipeline.submit(batch) results = pipeline.gather()

实测显示，batch_size=4时系统吞吐量提升40%，但延迟相应增加15ms。边缘场景建议batch_size≤2。

3. 性能对比测试方法论

3.1 测试数据集设计

为模拟真实场景，我们构建了包含三类典型图片的测试集：

1. 简单场景：单目标静态图像（占比20%）
2. 中等复杂度：多目标交错画面（占比60%）
3. 挑战性场景：低光照/遮挡情况（占比20%）

每类图片分别准备200张，统一resize到640x640分辨率，保存为jpg格式。

3.2 性能指标采集方案

使用改良版监控脚本记录关键指标：

#!/bin/bash # 监控CPU利用率 mpstat -P ALL 1 > cpu_usage.log & # 监控GPU状态 watch -n 0.5 "dlsmi | grep -E 'Util|Mem|Temp'" > gpu_stats.log & # 执行测试脚本 python test3.py | tee inference.log

数据处理阶段特别关注三个核心指标：

• 端到端延迟：从输入图片到输出结果的总时间
• 系统吞吐量：每秒处理的图片数量(FPS)
• 能效比：每瓦特功耗对应的推理性能

4. 实测结果与深度分析

4.1 性能数据对比

在2000张图片的测试集上获得如下结果：

注意：CPU测试使用OpenVINO优化后的模型，GPU为INT8量化版本。环境温度25℃时测得。

4.2 资源占用特征分析

通过监控数据发现两个典型现象：

1. 显存带宽利用率：Goldwasser V2的显存带宽稳定在78-84GB/s，接近理论值的80%，说明其片内异构架构有效减少了数据搬运
2. 功耗曲线：持续推理时GPU功耗稳定在35-40W区间，瞬时峰值不超过45W，符合TDP设计

4.3 实际部署建议

根据测试结果，我们总结出三条部署经验：

• 电源配置：边缘设备需确保12V供电能力≥5A，避免因功率波动导致性能下降
• 散热方案：长期满载运行时建议采用主动散热，将核心温度控制在85℃以下
• 模型优化：使用登临提供的quantize_util进行INT8量化时，建议保留200张校准图片

在智慧园区项目中的实际应用表明，搭载Goldwasser V2的边缘推理盒子可同时处理16路1080P视频流，相比原CPU方案节省了4台服务器的采购成本。