【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】
linux平台上面,有很多场景是需要处理图像。图像本身自带了很多信息,不仅仅是拿来拍照、录视频。我们可以从图像里面,提取很多的有用信息,比如说人脸识别、二维码识别、ocr识别。今天,我们可以从图像显示开始,然后转到视频、以及信息提取上面。
1、opencv库
当前opencv基本是图像处理的标配动作。很多的算法,库都帮我们写好了。不需要自己去造轮子。这里使用opencv的时候,也不要用python,因为很多嵌入式板子没有python环境。所以,我们直接用cpp写代码就好了。
2、该硬件加速就用硬件加速
虽然opencv可以帮我们做很多事情,但是上面很多的功能都是通过软件实现的。这个时候,如果soc帮我们做了硬件加速,比如说硬件编码、硬件解码、dma、图像显示加速,这个时候就需要转成硬件加速的方式来实现,而不是用软件来实现。虽然软件也可以相同的功能,但是在处理效率上,和硬件相比较要差很多。
3、先图像,再视频
所谓的视频,其实就是一张、一张的图像构成。我们会处理单张图片,其实就可以处理视频数据,这两者没有本质的区别。就嵌入式设备而言,是不会处理单张图片的,一般都是为了处理视频而存在的。
4、usb相机更方便我们使用
嵌入式开发板上面如果需要处理视频,一般有两种方式,一种是usb camera,还有一种是mipi camera。两者的区别就是,前者本身包含了isp处理,后者需要自己isp处理。所以,对于一般的场景,其实usb camera就够了。我们把精力放在图像处理本身上面,最多做一些光源控制,就可以了。
另外目前处理camera之外,其他类似lidar数据也可以一起处理。但是camera和lidar之间一般都需要标定,这个可能稍微复杂一些。但是lidar本身有深度信息,这是camera比拟不了的。
5、opencv和qt的结合
简单来说,我们一般通过opencv或者是v4l2拿到图像之后,直接用qlabel来显示图像。至于如何从图像中获取信息,放在后台来做就好了。而图像的更新,也可以通过定时器来进行处理。这些都是opencv和qt处理的一般套路。对于图像中的信息,可以借助于qt本身自带的控件来显示和反馈。
6、最简单的qt图像显示
这里,我们介绍一种最简单的图像处理方法。不使用QWidgetApplication.cpp来处理,而是直接用main.cpp来处理,借助于QImage和QPixmap处理之后,只用QLabel显示即可。
#include <QtWidgets/QApplication>
#include <opencv2/opencv.hpp>
#include <QImage>
#include <QPixmap>
#include <QLabel>
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
// read image
cv::Mat originalImage = cv::imread("lena.png");
// transfer image to gray
cv::Mat grayImage;
cv::cvtColor(originalImage, grayImage, cv::COLOR_BGR2GRAY);
// do threshold to gray image
cv::Mat binaryImage;
cv::threshold(grayImage, binaryImage, 128, 255, cv::THRESH_BINARY);
// transfer image to qimage and qpixmap
QImage qImage(binaryImage.data, binaryImage.cols, binaryImage.rows, binaryImage.step, QImage::Format_Grayscale8);
QPixmap pixmap = QPixmap::fromImage(qImage);
// show image in qlabel
QLabel label;
label.setPixmap(pixmap);
label.show();
return a.exec();
}