OpenCv高阶(十六)——Fisherface人脸识别

发布于:2025-05-22 ⋅ 阅读:(14) ⋅ 点赞:(0)


前言

人脸识别作为计算机视觉领域的核心课题之一,在安全监控、身份认证、人机交互等领域具有广泛的应用前景。早期的经典方法如Eigenface(基于主成分分析,PCA)通过无监督降维提取人脸的主要特征,但其忽略了类别标签信息,对光照、表情等类内变化敏感,导致分类性能受限。为解决这一问题,Belhumeur等人于1997年提出了Fisherface方法,将线性判别分析(Linear Discriminant Analysis, LDA)引入人脸识别领域。该方法通过有监督学习,最大化不同人脸间的差异,同时压缩同一人脸在不同条件下的类内差异,从而显著提升了识别鲁棒性。

一、Fisherface人脸识别原理

Fisherface是一种基于线性判别分析(Linear Discriminant Analysis, LDA)的人脸识别方法,由Belhumeur等人在1997年提出。其核心思想是通过最大化类间差异(不同人脸之间的差异)并最小化类内差异(同一人脸在不同条件下的差异),找到最优的投影方向,从而实现高效的人脸分类。以下是其原理的详细解释:

1. 核心思想:LDA与Fisher准则

LDA目标:在降维过程中,找到一个投影矩阵,使得投影后的数据满足:

类间散布(Between-class scatter)最大化:不同类别(不同人)的数据尽可能分开。

类内散布(Within-class scatter)最小化:同一类别(同一人)的数据尽可能聚集。

Fisher准则:通过最大化类间散布与类内散布的比值,找到最优投影方向:

在这里插入图片描述

2. 实现步骤

(1) 数据预处理

将人脸图像转换为灰度图,并归一化为相同尺寸(如100×100像素)。

将每张图像展平为一个列向量(维度为D×1,如10000维)。

(2) 计算类内散布矩阵 SW对每个类别(每个人)计算均值向量 μi:

在这里插入图片描述
在这里插入图片描述

(3) 计算类间散布矩阵 SB

计算全局均值向量 μ:
在这里插入图片描述

(4) 求解投影矩阵 W

通过广义特征值分解求解:
在这里插入图片描述

(5) 降维与分类

将原始数据投影到低维空间:
在这里插入图片描述
在低维空间中使用分类器(如KNN、SVM)进行分类。

3. Fisherface vs. Eigenface

Eigenface(PCA):基于主成分分析(PCA),最大化全局方差,无监督方法。对光照、姿态变化敏感。

Fisherface(LDA):结合类别信息,最大化类间差异、最小化类内差异,有监督方法。对光照、表情等变化更具鲁棒性。

4. 优缺点

优点:
利用类别信息,分类性能优于PCA。
对类内变化(如光照、表情)有更好的鲁棒性。

缺点:
需要类别标签,属于有监督方法。
当样本数远小于特征维度时(如小样本问题),SW 可能奇异(不可逆),需先通过PCA降维(称为Fisherfaces的常见实现方式)。

二、Fisherface人脸识别代码

1、导入依赖库

import cv2               # OpenCV库,用于图像处理和计算机视觉任务
import numpy as np       # 数值计算库
from PIL import Image, ImageFont, ImageDraw  # 图像处理库(用于添加中文文本)

2、定义在OpenCV图像上添加中文文本的函数

def cv2AddChineseText(img, text, position, textColor=(0,255,0), textSize=30):
    """功能:在OpenCV图像上添加中文文本
    参数:
        img: 输入图像(OpenCV格式的numpy数组)
        text: 要添加的中文文本
        position: 文本位置坐标 (x,y)
        textColor: 文本颜色 (B,G,R)
        textSize: 字体大小
    返回:
        添加文本后的图像(OpenCV格式)
    """
    # 将OpenCV的BGR图像转换为PIL的RGB格式
    if(isinstance(img, np.ndarray)):
        img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
    
    # 创建PIL绘图对象
    draw = ImageDraw.Draw(img)
    
    # 加载中文字体(注意字体文件路径需要存在)
    fontStyle = ImageFont.truetype('../data/simhei.ttf', textSize, encoding='utf-8')
    
    # 在指定位置绘制文本
    draw.text(position, text, textColor, font=fontStyle)
    
    # 将PIL图像转回OpenCV格式(BGR)
    return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)

3、定义图像预处理函数

def image_re(img):
    """功能:读取图像并进行预处理
    处理步骤:
        1. 以灰度模式读取图像
        2. 调整尺寸为120x180像素
        3. 将图像添加到全局列表images中
    """
    a = cv2.imread(img, 0)  # 参数0表示灰度模式读取
    a = cv2.resize(a, (120, 180))  # 统一图像尺寸
    images.append(a)          # 添加到训练集列表

4、主程序

---------- 数据准备阶段 ----------

if __name__ == "__main__":

    images = []  # 存储训练图像的列
    
    # 加载训练图像(注意路径需要存在)
    image_re('../data/face-detect/lyf1.png')  # 刘亦菲样本1
    image_re('../data/face-detect/lyf2.png')  # 刘亦菲样本2
    image_re('../data/face-detect/pyc1.png')  # 彭逸畅样本1
    image_re('../data/face-detect/pyc2.png')  # 彭逸畅样本2
    
    # 创建对应标签(0=刘亦菲,1=彭逸畅)
    labels = [0, 0, 1, 1]  # 每个样本对应的类别标签

    # 加载待识别的测试图像
    pre_image = cv2.imread('../data/face-detect/pyc.png', 0)  # 灰度读取
    pre_image = cv2.resize(pre_image, (120, 180))            # 调整尺寸

---------- 模型训练阶段 ----------

 # 创建FisherFace识别器(需要安装opencv-contrib-python)
    recognizer = cv2.face.FisherFaceRecognizer_create(threshold=5000)
    # 训练模型
    recognizer.train(images, np.array(labels))  # 输入图像列表和标签数组

------------ 预测阶段 ---------------

 # 进行预测,返回预测标签和置信度
    label, confidence = recognizer.predict(pre_image)
    
    # 创建标签到姓名的映射字典
    dic = {0: '刘亦菲', 1: '彭逸畅', -1: '无法识别'}  # -1为默认未知类别
    

---------- 结果可视化 ----------

   # 读取原始彩色图像并添加识别结果文本
    result_img = cv2AddChineseText(
        cv2.imread('../data/face-detect/pyc.png').copy(),  # 原始彩色图像
        dic[label],                                         # 识别结果文本
        (30, 10),                                           # 文本位置
        textColor=(0, 255, 0)                               # 绿色文本
    )
    
    # 显示结果图像
    cv2.imshow('Face Recognition Result', result_img)
    cv2.waitKey(0)  # 等待按键后关闭窗口

最终效果:

在这里插入图片描述

与之前的人脸识别项目相同,此处依然可以调用摄像头,具体实现方法和LBPH实现方法相同。

总结

Fisherface作为基于线性判别分析(LDA)的经典人脸识别方法,通过有监督的投影方向优化,在特征空间中实现了类间差异的最大化与类内差异的最小化。相较于无监督的Eigenface方法,Fisherface充分挖掘了类别标签信息,显著提升了人脸在复杂光照、表情等变化下的识别精度。然而,该方法在小样本场景下面临类内散布矩阵奇异性的问题,常需结合PCA进行预处理以缓解维度灾难。

尽管深度学习方法已在人脸识别中取得突破性进展,Fisherface的理论框架仍具有重要价值。其在低维特征提取与可解释性方面的优势,使其在嵌入式设备、轻量级系统中保有应用潜力。未来,结合传统方法与深度学习的特点,或可进一步推动人脸识别技术在鲁棒性、效率与泛化能力上的均衡发展。