DensePose实战部署：从源码编译到避坑指南

1. 环境准备：从零搭建DensePose开发环境

第一次接触DensePose时，我完全没料到这个看似简单的姿态估计框架会让我在环境配置上栽这么多跟头。记得当时为了赶项目进度，连续熬了三个通宵才把环境跑通。现在回想起来，很多问题其实都有规律可循，只要掌握几个关键点就能避开90%的坑。

操作系统选择方面，实测Ubuntu 18.04 LTS最稳定，虽然16.04和20.04也能用，但会遇到更多依赖冲突。我的主力机配置是NVIDIA RTX 3090显卡，搭配CUDA 11.1和cuDNN 8.0.5。不过根据踩坑经验，建议使用CUDA 9.0 + cuDNN 7.3.1这对黄金组合，兼容性最好。

创建Python环境时有个致命陷阱：千万别用Python 2.7！虽然早期教程都推荐2.7版本，但实际编译时会遇到各种诡异错误。我后来改用Python 3.6.8才顺利通过所有编译步骤。用conda创建环境的命令如下：

conda create -n densepose python=3.6.8 conda activate densepose

安装基础依赖时要注意版本锁定，这个组合经过多次验证最稳定：

conda install -y numpy=1.19.2 setuptools=44.0.0 cffi=1.14.0 typing=3.7.4.3 \ pyyaml=3.13 mkl=2019.1 mkl-include=2019.1 cython=0.29.21 \ matplotlib=3.3.4 pydot=1.4.2 future=0.18.2 networkx=2.5 \ opencv=3.4.2 mock=4.0.3 scipy=1.5.2 h5py=2.10.0 protobuf=3.6.1

2. 编译工具链配置：GCC降级实战

GCC版本问题堪称DensePose部署的头号杀手。现代Linux系统默认安装的GCC 7+版本根本无法通过编译，必须降级到4.9.2。但直接用apt安装会发现官方源早已移除了这个旧版本，必须手动编译安装。

首先下载GCC 4.9.2源码包：

wget http://ftp.gnu.org/gnu/gcc/gcc-4.9.2/gcc-4.9.2.tar.gz tar -zxvf gcc-4.9.2.tar.gz cd gcc-4.9.2

接下来要解决源码兼容性问题。在编译前需要修改7处源代码，这里给出关键修改点：

1. 修改libsanitizer/sanitizer_common/sanitizer_linux.h：

   // 注释掉原struct声明 // struct sigaltstack; // 修改函数声明 uptr internal_sigaltstack(const void* ss, void* oss);

2. 修改libsanitizer/sanitizer_common/sanitizer_linux.cc：

   // 修改函数实现签名 uptr internal_sigaltstack(const void *ss, void *oss) { return internal_syscall(__NR_sigaltstack, (uptr)ss, (uptr)oss); }

编译安装GCC需要约2小时（16核机器），建议使用make -j16加速。安装完成后需要更新系统链接：

sudo rm /usr/bin/gcc /usr/bin/g++ sudo ln -s /usr/local/bin/gcc-4.9 /usr/bin/gcc sudo ln -s /usr/local/bin/g++-4.9 /usr/bin/g++

验证版本时如果看到类似这样的输出就成功了：

gcc (GCC) 4.9.2 Copyright (C) 2014 Free Software Foundation, Inc.

3. 核心组件安装：PyTorch与Caffe2的兼容之道

PyTorch的版本选择直接影响Caffe2的可用性。经过多次测试，发现PyTorch 1.1.0 + Caffe2这个组合最稳定。安装命令如下：

conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=9.0 -c pytorch

关键步骤是配置环境变量，很多教程都漏掉了这点：

export TORCH_PATH=$(python -c "import torch; print(torch.__path__[0])") export CAFFE2_INCLUDE_PATH=$TORCH_PATH/include/caffe2

验证Caffe2是否安装成功时，别只看简单的import测试，还要检查GPU支持：

python -c "from caffe2.python import workspace; print(workspace.NumCudaDevices())"

如果输出显卡数量（如8），说明GPU支持正常。如果返回0，需要检查CUDA环境变量：

export CUDA_HOME=/usr/local/cuda-9.0 export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

4. DensePose源码编译：那些官方没告诉你的细节

克隆源码时建议使用我维护的稳定分支：

git clone -b fix_compilation https://github.com/your_username/DensePose.git cd DensePose

第一个大坑出现在CMakeLists.txt配置。需要修改5处路径指向你的实际环境：

1. 修改CMAKE_CXX_FLAGS添加Python包含路径：

   set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -I/home/yourname/anaconda3/envs/densepose/include/python3.6m")

2. 更新CUDA和cuDNN路径：

   set(CUDA_TOOLKIT_ROOT_DIR "/usr/local/cuda-9.0") set(CUDNN_ROOT "/usr/local/cuda-9.0")

第二个致命陷阱是PyTorch源码兼容性。必须使用2018年的旧版源码中的两个关键文件夹：

1. 从旧版PyTorch源码复制caffe2/utils/threadpool*到$CAFFE2_INCLUDE_PATH/utils/
2. 复制caffe2/utils/math*到相同目录

编译命令看似简单但暗藏玄机：

mkdir build && cd build cmake -DPYTHON_EXECUTABLE=$(which python) .. make -j16

如果看到Built target densepose字样，恭喜你闯关成功！最后用这个命令验证安装：

python detectron/tests/test_zero_even_op.py

5. 模型测试与性能调优

官方提供的测试脚本有很多隐藏问题，这里分享优化后的版本。首先下载预训练模型：

wget https://your_mirror.com/DensePose_ResNet101_FPN_s1x-e2e.pkl -P weights/

创建测试脚本infer_improved.py，主要改进包括：

1. 自动下载缺失的UV数据
2. 支持批量图片处理
3. 添加内存监控功能

import os import subprocess from detectron.utils.logger import setup_logger def check_uv_data(): if not os.path.exists("DensePoseData/UV_data"): logger.info("Downloading UV data...") subprocess.call(["sh", "DensePoseData/get_densepose_uv.sh"]) if __name__ == "__main__": setup_logger() check_uv_data() # 其余测试代码...

运行时添加环境变量可提升性能：

export OMP_NUM_THREADS=4 export MKL_NUM_THREADS=4 python tools/infer_simple.py \ --cfg configs/DensePose_ResNet101_FPN_s1x-e2e.yaml \ --output-dir results/ \ --image-ext jpg \ --wts weights/DensePose_ResNet101_FPN_s1x-e2e.pkl \ input_images/

6. 常见问题排查指南

**Q1: 编译时出现undefined reference topthread_create'错误** 解决方法：修改CMakeLists.txt，在target_link_libraries中添加-pthread`

Q2: 运行时报错ImportError: libcudart.so.9.0: cannot open shared object file解决方法：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-9.0/lib64

Q3: 测试时卡在Loading UV data...不动解决方法：手动下载UV数据包解压到DensePoseData/目录

Q4: GPU利用率低优化方案：

1. 增大测试批次大小
2. 使用torch.backends.cudnn.benchmark = True
3. 禁用调试输出：export GLOG_minloglevel=2

记得定期清理编译中间文件节省空间：

find . -name "*.pyc" -delete find . -name "__pycache__" -delete rm -rf build/ *.egg-info/

7. 进阶技巧：Docker化部署方案

为方便团队使用，我制作了Docker镜像，Dockerfile关键部分如下：

FROM nvidia/cuda:9.0-cudnn7-devel-ubuntu18.04 RUN apt-get update && apt-get install -y \ build-essential \ git \ wget \ python3.6 \ python3-pip # 安装conda RUN wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && \ bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/conda && \ rm Miniconda3-latest-Linux-x86_64.sh # 后续步骤与手动安装类似...

构建命令：

docker build -t densepose:1.0 -f Dockerfile .

运行容器时要注意挂载数据卷：

docker run --gpus all -it \ -v /path/to/data:/data \ -v /path/to/weights:/weights \ densepose:1.0

8. 性能优化实战记录

在Tesla V100上测试时，原始配置处理一张1080p图片需要约500ms。通过以下优化手段降至120ms：

1. 图优化：修改configs/DensePose_ResNet101_FPN_s1x-e2e.yaml

   MODEL: RPN: PRE_NMS_TOP_N: 6000 -> 2000 ROI_HEADS: DETECTIONS_PER_IMG: 100 -> 50

2. 半精度推理：在infer_simple.py中添加

   import torch torch.set_default_tensor_type(torch.cuda.HalfTensor)

3. 自定义OP优化：修改detectron/ops/zero_even_op.cc，使用更高效的CUDA kernel

最终在批量处理时（batch_size=8）可以达到平均80ms/张的推理速度。建议将结果可视化代码移到单独线程，避免阻塞主推理流程。