一、检测的思想
- 在代码中我们将基于dlib库中的方法，调用别人已经训练好的人脸关键点定位模型，实现对人脸关键点的定位，这里我们将调用使用68个关键点来对人脸进行关键点定位的模型。
- 68个关键点定位后的效果如下图：
- 显示出的这68个关键点旁边的数字，对应的是它们的索引号，其中脸部的几个关键部位都是由固定的关键点所定位，如下所述：
- [0~16]：这17个关键点用于脸颊的关键点定位
- [17~21]：这5个关键点用于左眉毛的关键点定位
- [22~26]：这5个关键点用于右眉毛的关键点定位
- [27~35]：这9个关键点用于鼻子的关键点定位
- [36~41]：这6个关键点用于左眼睛的关键点定位
- [42~47]：这6个关键点用于右眼睛的关键点定位
- [48~59]：这12个关键点用于嘴外部的关键点定位
- [60~67]：这8个关键点用于嘴内部的关键点定位
- 人脸关键点定位的实现可以通过以下链接内容了解：
- 根据每个人脸关键部位的关键点画出各部位的轮廓，效果如下：
二、代码实现
眼睛和嘴的绘制方式与其他部位有所不同，嘴和眼睛用凸包的形式画出轮廓
- 凸包：在二维欧几里得空间中，凸包可以想象为一条刚好包着所有点的橡皮圈。换句话说，给定二维平面上的点集，凸包就是将最外层的点连接起来构成的凸多边形，它能包含点集中所有的点。
在检测轮廓之前需要对人脸进行检测，以下链接是基于dlib库的人脸检测
眼睛和嘴的绘制函数如下：
def drawConvexHull(start, end): # 将指定的点构成一个凸包，绘制成轮廓，一般眼睛、嘴使用凸包来绘制 Facial = shape[start: end + 1] # shape --> 包含了68个关键点坐标 mouthHull = cv2.convexHull(Facial) # 凸包函数 --> 返回凸包的顶点 # 绘制出轮廓 cv2.drawContours(image, [mouthHull], -1, (0, 255, 0), 2)其他部位的绘制函数如下：
def drawLine(start, end): # 将指定的点连接起来 pts = shape[start: end] # 获取点集 shape --> 包含了68个关键点坐标 for l in range(1, len(pts)): # 将每个点坐标转换为元组的形式，再用线连起来 ptA = tuple(pts[l - 1]) ptB = tuple(pts[l]) # 用连线的函数画出轮廓 cv2.line(image, ptA, ptB, (0, 255, 0), 2)完整代码如下：
import numpy as np import dlib import cv2 """ 绘制眉毛、鼻子、脸颊的轮廓 """ def drawLine(start, end): # 将指定的点连接起来 pts = shape[start: end] # 获取点集 shape --> 包含了68个关键点坐标 for l in range(1, len(pts)): # 将每个点坐标转换为元组的形式，再用线连起来 ptA = tuple(pts[l - 1]) ptB = tuple(pts[l]) # 用连线的函数画出轮廓 cv2.line(image, ptA, ptB, (0, 255, 0), 2) """ 绘制眼睛和嘴巴的轮廓 """ def drawConvexHull(start, end): # 将指定的点构成一个凸包，绘制成轮廓，一般眼睛、嘴使用凸包来绘制 Facial = shape[start: end + 1] # shape --> 包含了68个关键点坐标 mouthHull = cv2.convexHull(Facial) # 凸包函数 --> 返回凸包的顶点 # 绘制出轮廓 cv2.drawContours(image, [mouthHull], -1, (0, 255, 0), 2) image = cv2.imread('kobe_2.jpg') # 读取图片 detector = dlib.get_frontal_face_detector() # 构造脸部位置检测器 faces = detector(image, 0) # 检测人脸方框位置 # 获取人脸关键点定位模型 predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") for face in faces: # 对获取到得到 faces ，逐个遍历 shape = predictor(image, face) # 获取68个关键点 # 将关键点转换为坐标(x, y)的形式 shape = np.array([[p.x, p.y] for p in shape.parts()]) drawConvexHull(36, 41) # 绘制右眼凸包 drawConvexHull(42, 47) # 绘制左眼凸包 drawConvexHull(48, 59) # 绘制嘴外部凸包 drawConvexHull(60, 67) # 绘制嘴内部凸包 drawLine(0, 17) # 绘制脸颊点线 drawLine(17, 22) # 绘制左眉毛点线 drawLine(22, 27) # 绘制右眉毛点线 drawLine(27, 36) # 绘制鼻子点线 # 显示结果 cv2.imshow("Frame", image) cv2.waitKey() # 关闭窗口 cv2.destroyAllWindows()结果如下：
以下是通过打开电脑的摄像头，对画面中出现的人脸进行关键部位的轮廓检测，完整代码如下:
def drawLine(start, end): pts = shape[start: end] for l in range(1, len(pts)): ptA = tuple(pts[l - 1]) ptB = tuple(pts[l]) cv2.line(image, ptA, ptB, (0, 255, 0), 2) def drawConvexHull(start, end): Facial = shape[start: end + 1] mouthHull = cv2.convexHull(Facial) cv2.drawContours(image, [mouthHull], -1, (0, 255, 0), 2) cap = cv2.VideoCapture(0) # 0-->打开电脑自带的摄像头, 1-->打开电脑外接的摄像头 detector = dlib.get_frontal_face_detector() # 构造脸部位置检测器 # 获取人脸关键点定位模型 predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") if not cap.isOpened(): # 判断摄像头是否正常打开 print("Cannot open camera") exit() while True: # 若正常打开摄像头则对摄像头拍摄的每一帧画面进行循环处理 ret, image = cap.read() # 如果正确读取一帧图像，ret为True, image-->读取的画面 image = cv2.flip(image, 1) # 图片翻转，水平翻转(镜像) # 如果没有正确读取到图像，则退出循环 if not ret: print("不能读取摄像头") break faces = detector(image, 0) # 检测人脸方框位置 for face in faces: # 对获取到得到 faces ，逐个遍历 shape = predictor(image, face) # 获取关键点 # 将关键点转换为坐标(x, y)的形式 shape = np.array([[p.x, p.y] for p in shape.parts()]) drawConvexHull(36, 41) # 绘制右眼凸包 drawConvexHull(42, 47) # 绘制左眼凸包 drawConvexHull(48, 59) # 绘制最外部凸包 drawConvexHull(60, 67) # 绘制嘴内部凸包 drawLine(0, 17) # 绘制脸颊点线 drawLine(17, 22) # 绘制左眉毛点线 drawLine(22, 27) # 绘制右眉毛点线 drawLine(27, 36) # 绘制鼻子点线 cv2.imshow("Frame", image) # 检查是否按下ESC键(ASCII码27)，如果按下则退出循环 if cv2.waitKey(10) == 27: break # 释放摄像头资源 cap.release() # 关闭所有OpenCV创建的窗口 cv2.destroyAllWindows()