RK3576 音视频网络传输总结（RTP / RTSP / UDP / H265）
📺B站 嵌入式孙老师：博主个人介绍
📘博主书籍-京东购买链接*：Yocto项目实战教程
📘加博主微信，进技术交流群：jerrydev
RK3576 音视频网络传输总结（RTP / RTSP / UDP / H265）
RK3576 做 Camera、IPC、AI 视频项目时，整个系统真正核心其实只有一条链路：
Sensor ↓ ISP ↓ NV12/YUV ↓ H264/H265 编码 ↓ RTP/RTSP ↓ PC / 平板 / NVR只要把这条链路理解清楚：
ISP 编码 网络协议 实时传输这些东西基本就都通了。
一、RK3576 Camera 的真实数据流
以：
RK3576 + IMX585为例。
IMX585 输出的是：
RAW12 Bayer例如：
RG12 BG12 GB12这种数据本质是：
Sensor 原始感光数据并不是正常视频。
所以：
/dev/video0通常就是：
RAW 节点这种数据：
不能直接 H265 编码 不能直接 RTSP 推流因为编码器不认识 RAW Bayer。
二、ISP 在整个链路中的作用
RK3576 ISP39 的作用：
RAW → 正常视频图像ISP 会完成：
Debayer 白平衡 自动曝光 降噪 Gamma 锐化 色彩校正 DRC 镜头校正最终输出：
NV12/YUV这时候才是真正“视频”。
因此：
/dev/video11通常才是：
ISP 输出节点可以直接：
H265 编码 RTSP 推流 录像三、MPP 硬件编码器
RK3576：
mpph265enc属于：
Rockchip MPP 硬件编码器作用：
NV12 → H265例如：
1920x1080 NV12经过：
mpph265enc后变成：
H265 码流压缩后网络带宽会小很多。
四、UDP 与 TCP
整个音视频网络传输，本质只有：
UDP TCP两种底层方式。
TCP
特点：
可靠 有重传 顺序正确优点：
稳定 不丢数据缺点：
延迟高因为：
丢包会等待重传典型：
网页 下载 RTMP HLSUDP
特点：
不重传 低延迟 允许丢包优点：
实时 速度快适合：
IPC 监控 AI Camera 实时视频因为实时视频最怕：
等待 卡顿不太怕：
偶尔丢一帧所以：
RTP 基本都跑 UDP五、RTP 是真正的视频传输协议
RTP：
Real-time Transport Protocol真正负责：
传输音视频数据例如：
H264 H265 AAC会被：
RTP Packet切包后发送。
RTP 通常：
基于 UDP因此：
延迟很低非常适合：
IPC AI 视频 实时监控六、RTSP 本质是控制协议
RTSP：
Real Time Streaming Protocol很多人以为：
RTSP 在传视频实际上：
RTSP 本身不真正传视频RTSP 的作用：
PLAY PAUSE SETUP TEARDOWN也就是：
控制播放真正视频通常还是：
RTP在传。
因此：
RTSP = 控制 RTP = 真正视频数据 UDP = 底层网络 H265 = 视频压缩这是整个 IPC 领域最核心的理解。
七、RK3576 RTP UDP 推流实战
RK3576 推流：
gst-launch-1.0-v\v4l2srcdevice=/dev/video11!\video/x-raw,format=NV12,width=1920,height=1080,framerate=30/1!\mpph265enc!\h265parse config-interval=-1!\rtph265paypt=96config-interval=1!\udpsinkhost=192.168.50.131port=5000这里：
| 模块 | 作用 |
|---|---|
| v4l2src | 从 ISP 输出节点取图 |
| mpph265enc | RK3576 硬件 H265 编码 |
| h265parse | 整理 H265 码流 |
| rtph265pay | H265 → RTP |
| udpsink | UDP 网络发送 |
八、PC 主机接收 RTP 视频
PC：
gst-launch-1.0-v\udpsrcport=5000\caps="application/x-rtp,media=video,clock-rate=90000,encoding-name=H265,payload=96"!\rtph265depay!\h265parse!\avdec_h265!\videoconvert!\autovideosinksync=false接收流程：
UDP ↓ RTP ↓ H265 ↓ 解码 ↓ 显示九、为什么 IPC 更喜欢 RTSP
因为：
低延迟 局域网稳定 播放器兼容广典型：
IPC Camera ↓ RTSP ↓ VLC / NVR / Tablet例如：
rtsp://192.168.50.34/live十、RTMP 与 WebRTC 的定位
RTMP
特点：
基于 TCP 稳定 延迟较高适合：
直播平台 OBS 抖音 B站WebRTC
特点：
超低延迟适合：
视频会议 远程控制 机器人但：
复杂度高因此 RK3576 IPC 项目里最常见的还是：
RTSP + RTP + H265十一、RK3576 Camera 最核心的理解
整个系统本质：
RAW ↓ ISP ↓ NV12 ↓ H265 ↓ RTP/RTSP ↓ 网络其中：
ISP 负责图像质量 MPP 负责视频压缩 RTP 负责实时传输 RTSP 负责播放控制 UDP 负责低延迟网络真正理解这条链路：
RK3576 音视频网络系统基本就完全通了。
📺B站 嵌入式孙老师：博主个人介绍
📘博主书籍-京东购买链接*：Yocto项目实战教程
📘加博主微信，进技术交流群：jerrydev