瑞芯微RV1126/RV1109实战：用RKMEDIA搞定多路H.264编码与OSD叠加（附完整代码）

瑞芯微RV1126/RV1109实战：用RKMEDIA搞定多路H.264编码与OSD叠加（附完整代码）

在智能视觉设备开发中，多路视频编码与信息叠加是核心需求。RV1126/RV1109凭借其强大的媒体处理能力，配合RKMEDIA框架，为开发者提供了高效的硬件编码解决方案。本文将深入探讨如何利用VENC模块实现多路H.264编码，并解决OSD叠加中的实际问题。

1. 环境准备与基础配置

RV1126/RV1109平台搭载了专用的视频处理单元（VPU），支持H.264/H.265硬件编码。在开始编码前，需确保：

• 系统已加载MPP（Media Process Platform）驱动模块
• 开发环境配置了RK提供的交叉编译工具链
• 获取最新版本的RKMEDIA开发包（建议v1.3.0以上）

基础依赖安装示例：

# 安装基础开发工具 sudo apt-get install build-essential cmake git # 获取RKMEDIA开发包 git clone https://github.com/rockchip-linux/rkmedia.git

硬件编解码能力对比如下：

2. 多路H.264编码实战

2.1 编码通道初始化

多路编码的核心是正确配置各通道属性。以下示例展示双路H.264编码初始化：

// 通道0配置：主码流 1920x1080 VENC_CHN_ATTR_S chn0_attr = { .stVencAttr = { .enType = RK_CODEC_TYPE_H264, .imageType = IMAGE_TYPE_NV12, .u32PicWidth = 1920, .u32PicHeight = 1080, .u32VirWidth = 1920, .u32VirHeight = 1080 }, .stRcAttr = { .enRcMode = VENC_RC_MODE_H264CBR, .stH264Cbr = { .u32Gop = 30, .u32BitRate = 4000000, // 4Mbps .fr32DstFrameRateDen = 1, .fr32DstFrameRateNum = 25, .u32SrcFrameRateDen = 1, .u32SrcFrameRateNum = 25 } } }; // 通道1配置：子码流 640x360 VENC_CHN_ATTR_S chn1_attr = { .stVencAttr = { .enType = RK_CODEC_TYPE_H264, .imageType = IMAGE_TYPE_NV12, .u32PicWidth = 640, .u32PicHeight = 360, .u32VirWidth = 640, .u32VirHeight = 360 }, .stRcAttr = { .enRcMode = VENC_RC_MODE_H264CBR, .stH264Cbr = { .u32Gop = 30, .u32BitRate = 512000, // 512Kbps .fr32DstFrameRateDen = 1, .fr32DstFrameNum = 15, .u32SrcFrameRateDen = 1, .u32SrcFrameRateNum = 15 } } }; // 创建编码通道 RK_MPI_VENC_CreateChn(0, &chn0_attr); RK_MPI_VENC_CreateChn(1, &chn1_attr);

关键注意事项：

1. 各通道分辨率必须与VI模块输出严格匹配
2. 多路编码时需合理分配比特率，避免超过芯片处理能力
3. GOP值设置影响关键帧间隔，监控场景建议30-60

2.2 帧率与码率控制

实际项目中常需要动态调整编码参数。以下是帧率与QP值调整示例：

// 获取当前编码参数 VENC_RC_PARAM_S rc_param; RK_MPI_VENC_GetRcParam(0, &rc_param); // 调整QP值控制画质 rc_param.stParamH264.u32MinQp = 20; // 下限QP rc_param.stParamH264.u32MaxQp = 40; // 上限QP rc_param.stParamH264.u32MinIQp = 18; // I帧下限QP rc_param.stParamH264.u32MaxIQp = 38; // I帧上限QP RK_MPI_VENC_SetRcParam(0, &rc_param); // 动态调整帧率 VENC_CHN_ATTR_S new_attr; RK_MPI_VENC_GetChnAttr(0, &new_attr); new_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 15; // 降为15fps RK_MPI_VENC_SetChnAttr(0, &new_attr);

提示：夜间场景可适当提高QP上限降低码率，白天则降低QP提升画质

3. OSD叠加实战技巧

3.1 位图叠加基础实现

RKMEDIA支持通过VENC模块直接叠加ARGB8888格式位图：

// 创建160x160的透明背景位图 BITMAP_S bitmap = { .enPixelFormat = PIXEL_FORMAT_ARGB_8888, .u32Width = 160, .u32Height = 160, .pData = malloc(160 * 160 * 4) }; // 填充位图数据（左上角红色矩形） memset(bitmap.pData, 0, 160*160*4); // 透明背景 for (int y = 0; y < 40; y++) { for (int x = 0; x < 120; x++) { ((uint32_t*)bitmap.pData)[y*160 + x] = 0xFFFF0000; // ARGB红色 } } // 配置叠加区域 OSD_REGION_INFO_S rgn_info = { .enRegionId = REGION_ID_0, .u32PosX = 20, // X坐标 .u32PosY = 20, // Y坐标 .u32Width = 160, .u32Height = 160, .u8Enable = 1 }; // 应用位图到编码通道 RK_MPI_VENC_RGN_Init(0, NULL); RK_MPI_VENC_RGN_SetBitMap(0, &rgn_info, &bitmap);

常见问题解决方案：

1. 色彩偏差：确保源图为ARGB8888格式，避免使用复杂渐变
2. 闪烁问题：固定内存区域，避免频繁malloc/free
3. 位置偏移：考虑编码器可能存在的边界对齐要求（通常16像素对齐）

3.2 动态文本叠加方案

对于需要频繁更新的文本OSD，推荐以下优化方案：

// 文本转位图函数 void text_to_bitmap(const char* text, BITMAP_S* bmp, uint32_t color) { // 使用FreeType等库渲染文本到bmp->pData // 简化的ASCII字符渲染示例： for (int y = 0; y < bmp->u32Height; y++) { for (int x = 0; x < bmp->u32Width; x++) { if (is_pixel_in_text(x, y, text)) { ((uint32_t*)bmp->pData)[y*bmp->u32Width + x] = color; } else { ((uint32_t*)bmp->pData)[y*bmp->u32Width + x] = 0x00000000; } } } } // 时间戳更新线程 void* osd_update_thread(void* arg) { BITMAP_S time_bmp = { ... }; OSD_REGION_INFO_S rgn_info = { ... }; char time_str[32]; while (!quit) { time_t now = time(NULL); strftime(time_str, sizeof(time_str), "%Y-%m-%d %H:%M:%S", localtime(&now)); // 渲染文本到位图 memset(time_bmp.pData, 0, time_bmp.u32Width*time_bmp.u32Height*4); text_to_bitmap(time_str, &time_bmp, 0xFFFFFFFF); // 更新OSD RK_MPI_VENC_RGN_SetBitMap(0, &rgn_info, &time_bmp); usleep(100000); // 100ms更新一次 } return NULL; }

性能优化建议：

• 使用双缓冲技术避免渲染过程中的闪烁
• 对静态OSD部分进行预渲染
• 限制更新频率（通常1-10fps足够）

4. 高级调试与性能优化

4.1 编码性能监控

通过系统调试接口获取实时编码状态：

# 查看编码会话摘要 cat /proc/mpp_service/session_summary # 监控编码频率 watch -n 1 "cat /sys/kernel/debug/clk/clk_summary | grep enc" # 调整编码器频率（单位Hz） echo 600000000 > /proc/mpp_service/rkvenc/clk_core

常见性能问题处理流程：

1. 帧率不足：

   • 检查输入源帧率cat /proc/mpp_service/session_summary
   • 提升编码器频率echo 600000000 > /proc/mpp_service/rkvenc/clk_core
   • 降低分辨率或帧率

2. 码率波动大：

   • 调整QP值范围
   • 检查场景复杂度变化
   • 考虑使用VBR模式替代CBR

4.2 内存与资源管理

多路编码时的内存配置建议：

关键配置命令：

# DDR定频 echo userspace > /sys/class/devfreq/dmc/governor echo 1056000000 > /sys/class/devfreq/dmc/userspace/set_freq # CPU性能模式 echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor

5. 完整项目示例

以下是一个智能摄像头项目的核心代码框架：

// 系统初始化 void system_init() { // 1. VI初始化 VI_CHN_ATTR_S vi_attr = { ... }; RK_MPI_VI_SetChnAttr(0, &vi_attr); RK_MPI_VI_EnableChn(0); // 2. VENC初始化（主+子码流） VENC_CHN_ATTR_S ven_attr_main = { ... }; VENC_CHN_ATTR_S ven_attr_sub = { ... }; RK_MPI_VENC_CreateChn(0, &ven_attr_main); RK_MPI_VENC_CreateChn(1, &ven_attr_sub); // 3. 绑定VI到VENC MPP_CHN_S src = { .enModId = RK_ID_VI, .s32ChnId = 0 }; MPP_CHN_S dst_main = { .enModId = RK_ID_VENC, .s32ChnId = 0 }; MPP_CHN_S dst_sub = { .enModId = RK_ID_VENC, .s32ChnId = 1 }; RK_MPI_SYS_Bind(&src, &dst_main); RK_MPI_SYS_Bind(&src, &dst_sub); // 4. OSD初始化 init_osd(); } // OSD管理 void init_osd() { // 静态Logo BITMAP_S logo = load_bmp("/data/logo.argb"); OSD_REGION_INFO_S logo_rgn = { .enRegionId = REGION_ID_0, ... }; RK_MPI_VENC_RGN_SetBitMap(0, &logo_rgn, &logo); // 动态时间戳 pthread_create(&osd_thread, NULL, osd_update_thread, NULL); } // 码流获取线程 void* stream_thread(void* arg) { MEDIA_BUFFER mb; while (!quit) { // 获取主码流 mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, 0, -1); if (mb) { void* data = RK_MPI_MB_GetPtr(mb); size_t size = RK_MPI_MB_GetSize(mb); network_send(data, size); // 发送到网络 RK_MPI_MB_ReleaseBuffer(mb); } } return NULL; }

项目部署建议：

1. 使用systemd管理应用程序进程
2. 开机自动设置性能模式
3. 日志记录编码状态和异常