​

活动地址：CSDN21天学习挑战赛

前言

经过前段时间研究，从LeNet-5手写数字入门到最近研究的一篇天气识别。我想干一票大的，因为我本身从事的就是C++/Qt开发，对Qt还是比较熟悉，所以我想实现一个基于Qt的界面化的一个人脸识别。

对卷积神经网络的概念比较陌生的可以看一看这篇文章：卷积实际上是干了什么
想了解神经网络的训练流程、或者环境搭建的可以看这篇文章：环境搭建与训练流程

ps：由于前段时间有小伙伴反应虽然跟着能正常训练但是好多函数都不明白，所以我这里就对所用到的函数都做一个介绍，不要嫌啰嗦哦。

基本思路

具体步骤如下：

1. 首先需要收集数据，我的想法是通过OpenCV调用摄像头进行收集人脸照片。
2. 然后进行预处理，主要是对对数据集分类，训练集、验证集、测试集。选取合适的参数，例如损失函数。图像灰度化、归一化等等操作。
3. 开始训练模型，提前创建好标签键值对。
4. 测试人脸识别效果，通过OpenCV捕获人脸照片然后对图片进行预处理最后传入模型中，然后将识别的结果通过文字的形式打印在屏幕上，以此循环，直到输入q退出。

关于环境

OpenCV

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效–由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV用C++语言编写，它的主要接口也是C++语言，但是依然保留了大量的C语言接口。该库也有大量的Python, Java and MATLAB/OCTAVE (版本2.5)的接口。这些语言的API接口函数可以通过在线文档获得。如今也提供对于C#,Ch, Ruby的支持。

OpenCV具有的特征

1. 开源计算机视觉库采用C/C++编写；
2. 使用目的是开发实时应用程序；
3. 独立于操作系统、硬件和图形管理器；
4. 具有通用的图像/视频载入、保存和获取模块；
5. 具有底层和高层的应用开发包。

OpenCV具有的功能

1. 对图像数据的操作，包括分配、释放、复制、设置和转换数据；
2. 对图像和视频的输入输出；
3. 具有对矩阵和向量的操作以及线性代数的算法程序；
4. 可对各种动态数据结构进行操作；
5. 具有基本的数字图像处理能力；
6. 可对各种结构进行分析；
7. 对摄像头的定标；
8. 对运动的分析；
9. 对目标的识别；
10. 具有基本的GUI功能。

安装OpenCV

建议采用Anaconda方式安装更加容易。

关键API

导入方式：import cv2

imread

功能：读取图片文件
函数原型：imread(filename, flags)
参数介绍：

这里对flags的参数进行详细介绍：

注：alpha通道，又称A通道，是一个8位的灰度通道，该通道用256级灰度来记录图像中的透明度复信息，定义透明、不透明和半透明区域，其中黑表示全透明，白表示不透明，灰表示半透明

namedWindow

功能·：新建一个显示窗口。可以指定窗口的类型。
函数原型：void nameWindow(const string& winname,int flags = WINDOW_AUTOSIZE) ;
参数介绍：

这里对第二个参数进行了详细说明：

示例

使用cv2.imshow()的时候，如果图片太大，会显示不全并且无法调整。因此在cv2.imshow()的前面加上这样的一个语句：cv2.namedWindow('image', 0)，得到的图像框就可以自行调整大小，可以拉伸进行自由调整。
这里需要注意的是namedWindow和imshow中的窗口名称需要一致不然会创建多个窗口出来。
waitKey：表示等待时间，单位毫秒。0表示一直等待。

import cv2
import sys

img = cv2.imread("C:\\Users\\Administrator\\Desktop\\9.jpg", 1)  # 参数1：图片路径。参数2:显示原图
cv2.namedWindow("aa", 0)
cv2.imshow("aa", img)
cv2.waitKey(0) # 0表示不自动退出  如5000表示等待5秒

运行结果：

cv2.VideoCapture(0)

参数0表示默认为使用电脑的内第一个摄像头，如果需要读取已有的视频则参数改为视频所在路径路径
如

cap=cv2.VideoCapture('video.mp4')

CascadeClassifier

OpenCV下的data\haarcascades中有4个haar特征训练的级联分类器：

1. haarcascade_frontalface_alt.xml
2. haarcascade_frontalface_alt_tree.xml
3. haarcascade_frontalface_alt2.xml
4. haarcascade_frontalface_default.xml
   这里不对级联分类器展开讨论，有兴趣的小伙伴自己去深入了解一下啦。

在本次项目中采用的是haarcascade_frontalface_alt2.分类器。通过CascadeClassifier函数进行添加分类器。

classfier = cv2.CascadeClassifier("./model/haarcascade_frontalface_alt2.xml")

cap.isOpened()

判断视频对象是否成功读取，成功读取视频对象返回True，失败返回False。

ok, frame = cap.read()

读取一帧数据，返回值ok是布尔类型，正确读取则返回True，读取失败或读取视频结尾则会返回False。frame为每一帧的图像，这里图像是三维矩阵，即frame.shape = (640,480,3)，读取的图像为BGR格式。

cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

功能：颜色空间转换函数，参数一是需要转换的图片，参数二是转换成何种格式

格式介绍：

classfier.detectMultiScale

功能：检测出图片中所有的人脸，并将人脸用vector保存各个人脸的坐标、大小（用矩形表示）
函数原型：void detectMultiScale(const Mat& image,CV_OUT vector & objects,double scaleFactor = 1.1,int minNeighbors = 3, int flags = 0,Size minSize = Size(),Size maxSize = Size());

参数介绍：

cv2.rectangle

功能：通过对角线上的两个顶点绘制简单、指定粗细或者带填充的矩形。
在这里主要用于框出人脸区域。
函数原型：void rectangle(Mat& img, Point pt1,Point pt2,const Scalar& color, int thickness=1, int lineType=8, int shift=0)

参数介绍：

框出人脸区域
通过 OpenCV 的 Harr 分类器检测人脸，并输出识别结果(x,y,w,h)。
图片坐标以左上角为原点；
(x,y)代表人脸区域左上角坐标；
w代表人脸区域的宽度(width)；
h代表人脸区域的高度(height)。

x, y, w, h = faceRect  # 原图上框出需要保存的图
color = (0, 0, 255)  # 识别出人脸后要画的边框的颜色，RGB格式

# frame 是原图，(x - 10, y - 10) 是图片的左上角的那个点，(x + w + 10, y + h + 10)是图片右下角的点 color, 2 颜色和线的宽度
cv2.rectangle(frame, (x - 10, y - 10), (x + w + 10, y + h + 10), color, 2)

imwrite

功能：用于将图像保存到指定的文件，可以为各种格式的图像。
函数原型：imwrite(const String & filename,InputArray img,const std::vector & params = std::vector<int>() )
参数介绍：

编码参数：

rectangle

功能：是在图像上绘制一个简单的矩形
函数原型：cv2.rectangle(img, pt1, pt2, color[, thickness[, lineType[, shift]]])

参数介绍：

cv2.FONT_HERSHEY_SIMPLEX

哈哈，这个主要是显示当前捕捉到了多少人脸图片了，这样站在那里被拍摄时心里有个数，不用两眼一抹黑傻等着。

cv2.putText

功能：在图片上添加文字
函数原型：cputText(img, text, org, fontFace, fontScale, color, thickness=None, lineType=None, bottomLeftOrigin=None):

参数介绍：

ord()

功能：返回一个字符的ascii值。在这里用于输入q主动结束。

代码

# coding: utf-8

import cv2
import sys

def catch_usb_video(window_name, camera_idx):
    '''使用cv2.imshow()的时候，如果图片太大，会显示不全并且无法调整。
    因此在cv2.imshow()的前面加上这样的一个语句：cv2.namedWindow('image', 0)，
    得到的图像框就可以自行调整大小，可以拉伸进行自由调整。'''
    cv2.namedWindow(window_name, 0)

    # 视频来源，可以来自一段已存好的视频，也可以直接来自USB摄像头
    cap = cv2.VideoCapture(camera_idx)

    # 告诉OpenCV使用人脸识别分类器  级联分类器
    '''
    Haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征。它分为三类：边缘特征、线性特征、中心特征和对角线特征。
    '''
    classfier = cv2.CascadeClassifier("./model/haarcascade_frontalface_alt2.xml")
    # 识别出人脸后要画的边框的颜色，RGB格式
    color = (0, 0, 255)
    num = 0
    while cap.isOpened():
        ok, frame = cap.read()  # 读取一帧数据
        if not ok:
            break
            # 将当前帧转换成灰度图像
        grey = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # 人脸检测，1.2和2分别为图片缩放比例和需要检测的有效点数
        faceRects = classfier.detectMultiScale(grey, scaleFactor=1.2, minNeighbors=3, minSize=(32, 32))
        #  faceRects = [405 237 222 222]
        if len(faceRects) > 0:  # 大于0则检测到人脸
            for faceRect in faceRects:  # 单独框出每一张人脸
                # 在原图上框出需要保存的图
                x, y, w, h = faceRect
                cv2.rectangle(frame, (x - 10, y - 10), (x + w + 10, y + h + 10), color, 2)
                # 将当前帧保存为图片
                # frame 是原图，(x - 10, y - 10) 是图片的左上角的那个点，(x + w + 10, y + h + 10)是图片右下角的点
                # color, 2 颜色和线的宽度
                img_name = '%s/%d.jpg' % ('./deep_learning/zhangmeng', num)
                image = frame[y - 10: y + h + 10, x - 10: x + w + 10]
                cv2.imwrite(img_name, image)
                num += 1
                if num > (500):  # 如果超过指定最大保存数量退出循环
                    break
            # 画出矩形框
            cv2.rectangle(frame, (x - 10, y - 10), (x + w + 10, y + h + 10), color, 2)
            # 显示当前捕捉到了多少人脸图片了，这样站在那里被拍摄时心里有个数，不用两眼一抹黑傻等着
            font = cv2.FONT_HERSHEY_SIMPLEX
            cv2.putText(frame, 'num:%d' % (num), (x + 30, y + 30), font, 1, (255, 0, 255), 4)
            # 超过指定最大保存数量结束程序
        if num > (500):
            break
        # 显示图像
        cv2.imshow(window_name, frame)
        c = cv2.waitKey(1)
        if c & 0xFF == ord('q'):
            break
    # 释放摄像头并销毁所有窗口
    cap.release()
    cv2.destroyAllWindows()


if __name__ == '__main__':
    catch_usb_video("face", 0)

运行结果

我一伙计友情出演 进行识别测试

这里也可以看到图片都正常保存了。

总结

那么第一步到这里就完成了，目前来说我感觉最大的难度就是了解OpenCV相关的部分API函数。并没有设计其他过多的技术。