背景
本人校内赛中想实现树莓派回传PC，在PC上完成yolo，再实现数据回传。
技术路径
本人发现树莓派中有专门的VPU (Video Processing Unit)，用来做视频硬解。
VPU的处理几乎独立，相较于软解几乎不占用 CPU。
gStream是一个基于插件和pipeline的传输框架。
gStream 在树莓派端通过 V4L2 (Vedio For Linux 2) 获取图像后，调用 v4l2h264enc (VPU) 硬解后，通过h264parse切分为帧，rtph264pay 打包为RTP包，最后由 udpsink 通过 UTP 格式推流给 PC
安装gStream
PC端 Ubuntu 和 raspi os 都是
sudo apt install -y gstreamer1.0-tools gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav
本人使用 Arch 所以是:
yay -S gstreamer
gStream使用
- 推流端(Raspi)，新建shell文件：
# gStreamPush.sh
# @atttention : host=192.168.2.114 要换成自己PC的IP地址 (通过ip或者ipconfig查看)
gst-launch-1.0 v4l2src device=/dev/video0 !\video/x-raw,width=640,height=480,framerate=30/1 !\videoconvert !\v4l2h264enc extra-controls="controls,video_bitrate=2000000" !\"video/x-h264,level=(string)4" !\h264parse !\rtph264pay config-interval=1 pt=96 !\udpsink host=192.168.2.114 port=5000 sync=false
# 使用Vedio For Linux 2 接口采集摄像头画面
# 摄像头画面采集为 640 * 480，30Fps（实测不太满足打符需求，需调整）
# 转换MJPG/YUYV格式色彩空间为v4l2h264enc使用的NV12格式的色彩空间
# 2Mbs 带宽，网络情况好的时候可以选择增加，实测比较差的局域网状况下 2Mbs 没有什么问题
# “video/x-h264,level=(string)4" 保证是PC可识别硬解格式
# h264parse 切分数据为帧
# rtph264pay 打包为RTP包
# config-interval=1 每秒发送一次 SPS/PPS 关键配置信息
# udpsink通过 UDP 协议发往指定 IP 和端口
# sync = false不对齐时钟，异步发送减少延迟
- 接收端 (PC)，新建shell文件：
# gStreamPull.sh
gst-launch-1.0 udpsrc port=5000 caps="application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96" !\rtph264depay !\h264parse !\decodebin !\videoconvert !\autovideosink sync=false
-
把
gStreamPush.sh里面的 ip 地址换成 PC 的 IP 地址 (注意不是树莓派的IP地址) -
先在 PC端
source gStreamPull.sh后，再在树莓派端source gStreamPu.sh(有人说不这样做会出问题，但是我反过来试过没啥区别)