ROCKX+RV1126视频流检测人脸

发布于:2025-06-19 ⋅ 阅读:(18) ⋅ 点赞:(0)

一.功能实现的整体框图

上图是rockx+rv1126的大体流程,首先要初始化模块包括VI模块、VENC模块、并启动VI模块采集视频流、rockx模块的初始化。初始化模块后,就要分两个线程处理了。

主线程是负责rockx对VI视频流的处理,并用OPENCV对人脸进行画框,最后把处理后的VI数据传输到VENC模块里面。

第二个线程rockx_face_detect_venc_thread,从VENC模块获取到H264的编码码流数据,并把VENC码流数据保存。

二.Rockx+Rv1126视频流检测人脸的代码截图

2.1. RV1126模块初始化并启动VI工作

上图是RV1126模块的初始化,包括VI模块、VENC模块的初始化,初始化上述模块后,则调用RK_MPI_VI_StartStream启动VI开始采集摄像头的视频流。关于VI模块、VENC模块的初始化参数这里就不阐述了,因为之前已经讲了很多次。

2.2. rockx人脸检测模块的初始化

这段代码是初始化rockx的模块,

首先要使用rockx_create_config分配rockx_config_t结构体,并使用rockx_add_config把对应的rockx路径配置进去,在我们的板子里面在/userdata/rockx_data里面,

之后使用rockx_create创建rockx_handle_t句柄,rockx_create的传参第一个参数rockx_handle_t结构体指针、 第二个参数rockx_module_t是ROCKX_MODULE_FACE_DETECTION_V2ROCKX_MODULE_FACE_DETECTION_V2是人脸检测的Version2模块、第三个参数是rockx_config_t结构体指针、第四个参数默认是0。

 2.3. 创建rockx_face_detect_venc _thread线程 

                                           (图2.3.1)

2.3. 使用rockxVI模块的数据进行人脸检测处理

                                         (图2.3.2)

                                         (图2.3.3)

这部分代码是整个DEMO的核心,也是ROCKX检测VI视频数据的核心。图2.3.1是初始化rockx_image_t结构体,初始化需要传三个值分别是width = WIDTH(1920)、height = HEIGHT(1080)、pixel_format=ROCKX_PIXEL_FORMAT_YUV420SP_NV12。这三个值都需要和VI模块的配置是一样的。

初始化rockx_image_t后,则需要通过RK_MPI_SYS_GetMediaBuffer获取每一帧VI模块的数据,并把每一帧VI模块的缓冲区和长度传输给rockx_image_t。

具体的代码是

rv1126_rockx_image.data = (uint8_t *)RK_MPI_MB_GetPtr(mb)(把每一帧VI缓冲区数据赋值到rockx_image_t的data)

rv1126_rockx_image.size = RK_MPI_MB_GetSize(mb)(把每一帧VI大小赋值到rockx_image_t的size)

赋值到rockx_image_t则调用rockx_face_detect对每一帧的rockx_image_t图像进行人脸检测,并把人脸检测的结果输出到rockx_object_array_tr

ockx_object_array_t的内容主要存储的是人脸检测数量和人脸检测区域信息(如:left、top、right、bottom的坐标信息)

2.4. 使用opencv对人脸检测的结果进行画框

检测完每一帧人脸数据后就需要对每个人脸区域进行画框了,这里画框是用opencv进行处理。

首先要先创建OPENCV的Mat矩阵,Mat rv1126_image_mat = Mat(HEIGHT, WIDTH, CV_8UC1, rv1126_rockx_image.data)

创建完Mat之后,则需要根据rockx_object_array_t的坐标信息进行画框,先循环遍历人脸的数量(rockx_object_array_t.count),

然后获取每一帧人脸的坐标信息,主要是left、top、right、bottom, 最后使用OPENCV的rectangle函数把坐标信息描绘出一个矩形表现出来。

2.5. 把处理后的数据发送到VENC模块

把上述的数据处理完成之后则把每一帧数据传输给VENC模块,这里使用的API是RK_MPI_SYS_SendMediaBuffer此时此刻VENC模块就有VENC码流数据了

2.6线程获取处理后数据并保存

 

                                         (图2.6.2)

通过pthread_create创建venc码流线程,这个线程的名字是rockx_face_detect_venc thread如图(2.6.1)

在这个线程里面,通过RK_MPI_SYS_GetMediaBuffer获取每一帧通过rockx人脸检测处理后的VENC码流数据,并用fwrite保存起来(fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, face_detect_h264)),如图2.6.2。

最终输出的结果:

三.遇到的错误

板子运行代码出现了段错误:Segmentation fault (core dumped)

段错误(Segmentation fault)通常由空指针引用内存访问越界无效参数引起


网站公告

今日签到

点亮在社区的每一天
去签到