图像视频开发环境建议

图像视频开发环境建议

总结

为了进行图像视频的深度学习开发。系统层安装有 NVIDIA GPU、CUDA、FFmpeg 硬件编解码、ImageMagick、GStreamer、V4L2、Docker、Node.js 和 Anaconda。

硬件与系统

• OS：Ubuntu 20.04.6 LTS

• Kernel：5.15.0-139-generic

• CPU：Intel Core i7-14700KF，28 线程

• GPU：NVIDIA GeForce RTX 4070 Ti SUPER，16GB 显存

• NVIDIA Driver：560.35.03

• nvidia-smi显示 CUDA：12.6

• nvcc：CUDA 12.6.68

• CUDA 安装情况：

  • ​/usr/local/cuda -> /usr/local/cuda-12.6​
  • 已存在：cuda-11.7、cuda-12.6、cuda-12.8​

系统级图像 / 视频工具

• ​ffmpeg 4.2.7​

  • 支持硬件加速：cuda、cuvid、vdpau、vaapi、drm、opencl​
  • 支持 NVIDIA 硬解：h264_cuvid、hevc_cuvid、mjpeg_cuvid、mpeg*_cuvid、vp8_cuvid、vp9_cuvid​
  • 支持 NVIDIA 编码：h264_nvenc、hevc_nvenc​

• ​ImageMagick 6.9.10​

  • 支持 jpeg、png、tiff、webp、openexr 等常见图像格式

• ​GStreamer​

  • 系统包：1.16.x​
  • 当前 PATH 优先命中的gst-launch-1.0来自 Anaconda：1.14.1​
  • 这里有版本混用风险，调 GStreamer 管线时要先确认使用的是哪个gst-launch-1.0​

• ​v4l-utils已安装

  • 当前检测/dev/video0无法打开，未确认有可用摄像头

• ​Webcamoid 8.6.1​

  • 摄像头拍照、录像、预览工具
  • 命令：webcamoid​

• ​ZED SDK​

  • 安装路径：/usr/local/zed​
  • Python wheel：/usr/local/zed/pyzed-5.0-cp312-cp312-linux_x86_64.whl​
  • 常用工具：ZED_Explorer、ZED_Depth_Viewer、ZED_Sensor_Viewer、ZED_Calibration、ZED_Diagnostic、ZED_SVO_Editor​

开发基础工具

• Anaconda：/home/hh01/anaconda3
• Python：base 环境为 Python 3.11.5
• Docker：28.1.1
• Node.js：22.17.1
• npm：11.10.1
• CMake、GCC、G++、pkg-config 已安装

Conda 环境总览

比较像图像 / 视频 / 视觉 AI 开发用途的环境：

• trans
• zed
• xanylabeling
• vitpose
• rknn

重点环境介绍

trans

trans是三个环境里最全、最像通用视觉开发工作台的环境。

主要组件：

• Python 3.9
• opencv-python 4.10.0.84
• opencv-python-headless 4.10.0.84
• torch 2.5.1+cu124
• torchvision 0.20.1
• ultralytics 8.4.3
• mediapipe 0.10.21
• onnx 1.15.0
• onnxruntime 1.15.0
• onnxruntime-gpu 1.19.2
• tensorrt 10.13.0.35
• cuda-python 12.8.0
• albumentations 1.3.1
• PyQt5 5.15.11
• PySide6 6.9.3

适合用途：

• YOLO / Ultralytics 目标检测、跟踪、姿态类实验
• MediaPipe 视觉处理
• ONNX / ONNX Runtime GPU 推理
• TensorRT 相关部署实验
• PyQt / PySide 桌面视觉工具开发
• 图像增强、预处理、数据变换

zed

面向 ZED 相机或实时视觉项目的轻量环境。

主要组件：

• Python 3.12
• opencv-python 4.12.0.88
• torch 2.7.1+cu126
• torchvision 0.22.1
• ultralytics 8.3.166
• pillow 11.3.0
• numpy 2.2.6
• matplotlib 3.10.3

适合用途：

• ZED / 摄像头相关 Python 项目
• 实时 OpenCV 视频流处理
• YOLO 推理实验
• 轻量视觉 demo

和系统 ZED SDK 的关系：

• 系统已安装 ZED SDK 到/usr/local/zed​
• ​/usr/local/bin里有ZED_Explorer、ZED_Depth_Viewer等 ZED 官方工具
• 这个 conda 环境适合承接 ZED SDK 的 Python 开发；若需要pyzed，优先使用/usr/local/zed/pyzed-5.0-cp312-cp312-linux_x86_64.whl​

xanylabeling

标注 / 辅助标注 / ONNX 推理环境。

主要组件：

• pillow 12.2.0
• numpy 2.4.4
• matplotlib 3.11.0rc1
• onnx 1.21.0
• onnxruntime-gpu 1.25.1

适合用途：

• X-AnyLabeling 或类似标注工具
• ONNX 模型辅助标注
• GPU 版 ONNX Runtime 推理
• 数据集检查、可视化、标注前后处理