深入荣品RV1126 SDK：从rkmedia示例到自定义应用开发的完整流程
深入荣品RV1126 SDK：从rkmedia示例到自定义应用开发的完整流程
在嵌入式多媒体应用开发领域，Rockchip RV1126凭借其强大的视频处理能力和AI加速特性，已成为智能摄像头、边缘计算设备的首选平台之一。作为开发者，掌握如何基于官方SDK进行二次开发，尤其是多媒体组件的集成与扩展，是释放硬件潜力的关键。本文将系统性地介绍如何从rkmedia示例程序出发，逐步构建自定义多媒体应用的全套工作流。
1. RV1126多媒体开发生态解析
RV1126芯片集成了丰富的多媒体处理单元，其SDK中的关键组件构成了完整的处理流水线：
| 组件名称 | 功能描述 | 典型应用场景 |
|---|---|---|
| rkmedia | 多媒体框架抽象层 | 提供统一的API接口，简化音视频采集、处理、编码流程 |
| MPP(Media Process Platform) | 硬件编解码核心 | H.264/H.265视频编解码、JPEG图像处理 |
| RGA(Raster Graphic Acceleration) | 2D图像加速器 | 格式转换、缩放、旋转、混合操作 |
| RKNN | NPU运行时环境 | 运行优化后的神经网络模型，实现AI推理 |
| ISP | 图像信号处理器 | 原始图像降噪、HDR、3A算法处理 |
这些组件通过rkmedia框架形成协同工作流：摄像头采集的原始数据经ISP处理后，可通过RGA进行格式转换，再由MPP实现编码压缩，同时RKNN并行执行AI分析。开发者只需关注业务逻辑，无需深入底层硬件细节。
提示：在
external/目录下可以找到各组件源码，建议先阅读docs/中的开发指南了解架构设计
2. 开发环境准备与SDK结构剖析
荣品官方SDK采用Buildroot构建系统，目录结构设计遵循嵌入式Linux开发惯例：
rv1126_sdk/ ├── buildroot/ # 根文件系统构建配置 ├── external/ # 多媒体组件库 │ ├── rkmedia/ # 多媒体框架 │ ├── mpp/ # 编解码库 │ └── rknn/ # NPU支持库 ├── kernel/ # Linux内核源码 ├── device/ # 设备特定配置 └── rockdev/ # 固件输出目录配置开发环境的典型步骤：
初始化编译环境：
./build.sh lunch 32 # 选择pro-rv1126配置 source envsetup.sh 93 # 加载facial_gate预设关键编译命令对比：
命令 作用 输出位置 ./build.sh all全量编译 rockdev/ ./build.sh kernel仅编译内核 kernel/arch/arm/boot/zImage ./build.sh external/rkmedia编译多媒体组件 buildroot/output/.../rkmedia/ 常见问题排查：
- 文件系统过大：修改
device/rockchip/rv1126_rv1109/parameter-*.txt中的分区大小 - 组件依赖缺失：检查
buildroot/configs/下的功能开关配置
- 文件系统过大：修改
3. rkmedia示例深度定制实践
以扩展视频分析功能为例，演示如何集成自定义模块：
3.1 添加新示例程序
在external/rkmedia/examples/目录下创建video_analyzer.c：
#include <rkmedia/rkmedia.h> int main() { // 初始化视频采集通道 VI_CHN_ATTR_S vi_attr = { .pcVideoNode = "video0", .u32Width = 1920, .u32Height = 1080 }; RK_MPI_VI_SetChnAttr(0, &vi_attr); RK_MPI_VI_EnableChn(0); // 创建AI分析管道 AI_CHN_ATTR_S ai_attr = { .pModelPath = "models/face_det.rknn" }; RK_MPI_AI_CreateChn(0, &ai_attr); // 主处理循环 while(1) { MEDIA_BUFFER mb = RK_MPI_SYS_GetMediaBuffer(...); // 自定义分析逻辑 process_frame(mb); RK_MPI_MB_ReleaseBuffer(mb); } }3.2 修改构建配置
更新CMakeLists.txt添加编译目标：
add_executable(video_analyzer video_analyzer.c ${COMMON_SRC}) target_link_libraries(video_analyzer easymedia rknnrt) install(TARGETS video_analyzer RUNTIME DESTINATION "bin")3.3 增量编译技巧
- 快速测试编译：在
buildroot/output/.../rkmedia/examples/直接执行make可加速迭代 - 保留修改：全局编译前需将改动同步回源码目录，避免被覆盖
- 调试建议：
adb push video_analyzer /userdata adb shell "export LD_LIBRARY_PATH=/usr/lib; /userdata/video_analyzer"
4. 高级集成：多组件协同工作流
实现视频分析+编码存储的完整流水线：
管道连接原理图：
[Camera] -> [VI] -> [RGA] -> [VENC] -> [RKNN]关键API调用序列：
// 创建组件实例 VI_CHN vi_chn = 0; VENC_CHN ven_chn = 1; RKNN_CHN nn_chn = 0; // 绑定数据流 RK_MPI_SYS_Bind(VI_PIPE, vi_chn, VENC_CHN, ven_chn); RK_MPI_SYS_Bind(VI_PIPE, vi_chn, AI_CHN, nn_chn); // 配置编码参数 VENC_CHN_ATTR_S ven_attr = { .stVencAttr = { .enType = RK_CODEC_TYPE_H264, .u32Bitrate = 4000000 } }; RK_MPI_VENC_SetChnAttr(ven_chn, &ven_attr);性能优化要点：
- 使用
RGA预处理降低RKNN输入分辨率 - 为每个组件分配独立内存池避免竞争
- 设置合适的MPP缓冲区数量（通常4-6个）
- 使用
5. 实战：智能摄像头应用开发
结合上述技术构建完整应用：
功能架构设计：
graph TD A[Camera Sensor] --> B(ISP处理) B --> C{RGA缩放} C --> D[RTMP推流] C --> E[RKNN分析] E --> F[事件触发录像]关键实现片段：
# 使用rknn-toolkit部署模型 from rknn.api import RKNN rknn = RKNN() rknn.config(target_platform='rv1126') rknn.load_onnx(model='model.onnx') rknn.build(do_quantization=True) rknn.export_rknn('face_det.rknn')系统调优记录：
参数 默认值 优化值 效果提升 VI缓冲区数量 4 6 减少丢帧 RGA输出格式 NV12 RGB565 降低带宽 RKNN输入尺寸 640x640 320x320 功耗降低40%
在完成功能开发后，通过./build.sh firmware生成固件时，建议检查以下文件是否包含新组件：
buildroot/output/.../target/usr/bin/- 可执行文件buildroot/output/.../target/usr/lib/- 动态库文件rockdev/rootfs.img- 最终文件系统镜像