Linux49：rockx读取单张图片并检测图片内人脸的矩形

rockx人脸检画框测大体流程

本次代码主要实现如何通过rockx的框架进行人脸的检测，并把人脸画出来。具体的流程如下：

总共分成四步，第一步是初始化rockx人脸检测框架、第二步是读取人脸图片、第三步是调用rockx的人脸检测API对其进行人脸检测、第四步循环人脸数量并使用Opencv进行画框、第五步保存图像.

1.初始化rockx人脸检测框架

上图是初始化步骤，首先要使用rockx_create_config分配rockx_config_t结构体，并使用rockx_add_config把对应的rockx路径配置进去，在我们的板子里面在/userdata/rockx_data里面，并使用rockx_create创建rockx_handle_t句柄。

2.读取人脸图片

读取对应的人脸图片，在rockx里面用rockx_image_read来读取对应的人脸图片。并把人脸的特征数据传入到rockx_image_t结构体里面。

3.调用rockx的人脸检测API对其进行人脸检测

调用rockx_face_detect对图片进行人脸检测，这里的输入的是input_image，这个是由rockx_image_read读取的图片数据，输出的数据是rockx_object_array_t，后面的数据则都是通过rockx_object_array_t来处理。

4.循环人脸数量并使用Opencv进行画框

循环人脸数量，人脸数量是face_array.count。然后获取人脸的坐标属性，这里的坐标属性就是left、top、w、h，并用OPENCV把input_image转换成Mat矩阵(Mat tmp_img = Mat(input_image.height, input_image.width, CV_8UC3, input_image.data))，转换完成之后再使用rectangle把坐标转换成矩形。

5.保存人脸检测的图片

最后用imwrite保存人脸检测后的图片，并使用rockx_destroy销毁rockx_handle_t。

最后的效果：

可以看到周董的脸上就已经出现矩形检测的框框。

/**************************************************************************** * * Copyright (c) 2017 - 2019 by Rockchip Corp. All rights reserved. * * The material in this file is confidential and contains trade secrets * of Rockchip Corporation. This is proprietary information owned by * Rockchip Corporation. No part of this work may be disclosed, * reproduced, copied, transmitted, or used in any way for any purpose, * without the express written permission of Rockchip Corporation. * *****************************************************************************/ #include <stdio.h> #include <memory.h> #include <sys/time.h> #include "rknn_rockx_include/rockx_type.h" #include "rknn_rockx_include/utils/rockx_config_util.h" #include "rknn_rockx_include/utils/rockx_image_util.h" #include "rockx.h" #include <opencv2/opencv.hpp> #include <opencv2/imgcodecs.hpp> using namespace cv; int main(int argc, char **argv) { const char * img_path = argv[1]; rockx_config_t * face_detect_config = rockx_create_config(); rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data/"); rockx_handle_t face_detect_handle; rockx_ret_t rockx_ret; rockx_module_t face_rockx_module = ROCKX_MODULE_FACE_DETECTION_V2; rockx_ret = rockx_create(&face_detect_handle, face_rockx_module, face_detect_config, 0); if(rockx_ret != ROCKX_RET_SUCCESS) { printf("rockx_create failed...\n"); return -1; } rockx_image_t face_rockx_image; rockx_image_read(img_path, &face_rockx_image, 1); rockx_object_array_t face_array; rockx_ret = rockx_face_detect(face_detect_handle, &face_rockx_image, &face_array, nullptr); if(rockx_ret != ROCKX_RET_SUCCESS) { printf("rockx_face_detect failed...\n"); return -1; } Mat rockx_face_mat = Mat(face_rockx_image.height, face_rockx_image.width, CV_8UC3, face_rockx_image.data); for (int i = 0; i < face_array.count; i++) { int left = face_array.object[i].box.left; int top = face_array.object[i].box.top; int w = face_array.object[i].box.right - face_array.object[i].box.left; int h = face_array.object[i].box.bottom - face_array.object[i].box.top; Rect boudingRect(left, top, w, h); rectangle(rockx_face_mat, boudingRect, Scalar(255,255,0),1); } imwrite("output_face_det.jpg", rockx_face_mat); rockx_destroy(face_detect_handle); return 0; }

代码详解

1.rockx_create_config()

rockx_config_t* rockx_create_config(void);

• 参数：无
• 返回值：指向新创建的rockx_config_t配置对象的指针。
• 作用：创建一个空的配置对象，用于后续设置RockX模块的运行参数。
• 代码示例：rockx_config_t * face_detect_config = rockx_create_config();这行代码创建了一个名为face_detect_config的配置对象，用来保存人脸检测模块的配置。

2.rockx_add_config()

rockx_ret_t rockx_add_config(rockx_config_t *config, const char *key, const char *value);

• 参数：
  • config：指向已创建的配置对象的指针。
  • key：配置项的键名，是一个字符串。常用键为ROCKX_CONFIG_DATA_PATH，用于指定模型数据文件的存放路径。
  • value：与key对应的配置项的值。
• 返回值：rockx_ret_t枚举值，ROCKX_RET_SUCCESS表示成功，其他值表示失败。
• 作用：向配置对象中添加具体的配置键值对。
• 代码示例：rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data/");这行代码设置了模型文件的查找路径为/userdata/rockx_data/。

3.rockx_create()

rockx_ret_t rockx_create(rockx_handle_t *handle, rockx_module_t m, void *config, size_t config_size);

• 参数：
  • handle：rockx_handle_t类型的指针，用于接收创建成功的模块句柄。
  • m：rockx_module_t枚举类型，指定要创建的模块功能。例如：
    • ROCKX_MODULE_FACE_DETECTION_V2：V2版本的人脸检测模块。
    • ROCKX_MODULE_OBJECT_DETECTION：目标检测模块。
  • config：指向配置对象rockx_config_t的指针。
  • config_size：配置对象的大小，通常传入0即可。
• 返回值：rockx_ret_t枚举值，ROCKX_RET_SUCCESS表示成功，其他值表示失败。
• 作用：根据指定的模块类型和配置，初始化RockX模块并创建操作句柄。这是使用任何RockX功能前必须先完成的初始化步骤。
• 这行代码创建了一个V2版本的人脸检测模块，并将操作句柄保存在face_detect_handle中，后续所有检测操作都通过此句柄进行。

4.rockx_image_read

函数原型：rockx_ret_t rockx_image_read(const char *img_path, rockx_image_t *image, int flag);

• 参数：
  • img_path：图像文件的路径字符串。
  • image：指向rockx_image_t结构体的指针，用于存储读取到的图像数据。
  • flag：读取图像的标志（Flag），通常1表示以彩色模式读取。
• 返回值：rockx_ret_t枚举值，ROCKX_RET_SUCCESS表示成功，其他值表示失败。
• 作用：从文件路径读取图像，并将其数据填充到rockx_image_t结构体中。
• 代码示例：rockx_image_read(img_path, &face_rockx_image, 1);这行代码读取argv[1]路径下的图像，并将数据存入face_rockx_image结构体。

5.rockx_image_t结构体

定义：这不是一个函数，而是一个用于存储图像信息的关键结构体。

• 成员：
  • width：图像的宽度（像素）。
  • height：图像的高度（像素）。
  • data：uint8_t*类型的指针，指向存储实际图像像素数据的连续内存块。
  • pixel_format：图像的像素格式（如RGB、BGR等）。
• 作用：作为RockX SDK内部传递图像数据的标准容器。
• 代码示例：Mat rockx_face_mat = Mat(face_rockx_image.height, face_rockx_image.width, CV_8UC3, face_rockx_image.data);这行代码巧妙地利用了rockx_image_t的成员，将其中的数据指针data、width和height共享给OpenCV的Mat对象，避免了数据拷贝，实现了零开销的格式转换。

6.rockx_face_detect

函数原型：rockx_ret_t rockx_face_detect(rockx_handle_t handle, rockx_image_t *in_image, rockx_object_array_t *out_objects, void *extra);

• 参数：
  • handle：由rockx_create创建的人脸检测模块句柄。
  • in_image：指向rockx_image_t的指针，为输入图像。
  • out_objects：指向rockx_object_array_t结构体的指针，用于接收检测到的人脸数组。每个对象（object[i]）都包含一个box矩形框（left,top,right,bottom）。
  • extra：扩展参数，通常设置为nullptr。
• 返回值：rockx_ret_t枚举值，ROCKX_RET_SUCCESS表示成功，其他值表示失败。
• 作用：对输入图像执行人脸检测，并将检测结果（如人脸位置框）返回到out_objects中。
• 代码示例：这行代码对之前读取的图像face_rockx_image进行人脸检测，检测到的人脸信息（如位置、大小）会被保存至face_array中。

7.rockx_destroy

函数原型：rockx_ret_t rockx_destroy(rockx_handle_t handle);

• 参数：
  • handle：要销毁的RockX模块句柄。
• 返回值：rockx_ret_t枚举值，ROCKX_RET_SUCCESS表示成功。
• 作用：销毁由rockx_create创建的RockX模块句柄，并释放其占用的所有资源。这是一个必须调用的清理函数，以防止内存泄漏。
• 代码示例：rockx_destroy(face_detect_handle);这行代码释放了face_detect_handle所关联的人脸检测模块资源。