使用 C/C++ 和 OpenCV DNN 进行人体姿态估计-EW帮帮网

使用 C++ 和 OpenCV DNN 进行人体姿态估计

本文将介绍如何使用 C++ 和 OpenCV 的深度神经网络（DNN）模块来识别人类肢体，即进行人体姿态估计 (Human Pose Estimation)。我们的目标是读取一张包含人物的图片，并检测出人体的关键点（如头部、肩膀、手腕等），然后将这些关键点连接起来，形成一个“骨架”。

📝 核心概念

姿态估计: 这个任务的目标是识别人体图像中的关键关节（Keypoints）。这些关节的集合可以勾勒出人体的姿态和骨架。
OpenCV DNN 模块: OpenCV 提供了一个功能强大的 cv::dnn 模块，它能够加载预先训练好的深度学习模型并进行推理（Inference）。我们不需要自己训练模型，而是使用社区已经训练好的模型文件。
预训练模型: 我们将使用一个基于 OpenPose 并且适用于 MPII (Max Planck Institute for Informatics) 数据集的模型。这个模型由两个文件组成：
- pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt: 模型的网络结构定义文件。
- pose/mpi/pose_iter_160000.caffemodel: 模型的预训练权重文件。
热力图 (Heatmaps): 模型在进行推理后，不会直接返回关节点坐标。它会为每个关节点（如左肩、右膝）生成一张热力图。热力图上每个像素的亮度代表该位置是对应关节点的置信度。我们只需要在每张热力图上找到最亮的点，就能确定关节点的位置。

🛠️ 环境准备

在开始编码之前，请确保你已经准备好以下环境：

C++ 编译器: 如 G++, Clang, 或 MSVC。
OpenCV 库: 确保你安装的 OpenCV 版本包含了 dnn 和 highgui 模块。你可以从 OpenCV 官网下载。
预训练模型文件:
1. 创建一个名为 models 的文件夹。
2. 下载模型文件并将它们放入 models 文件夹。你可以从 OpenCV 的 GitHub 仓库获取：
  - pose_deploy_linevec_faster_4_stages.prototxt (下载后可重命名)
  - pose_iter_160000.caffemodel

💻 代码实现

我们将整个过程分解为加载模型、图像预处理、模型推理、解析结果和绘制骨架几个步骤。

1. 包含头文件和定义常量

首先，我们需要包含必要的 OpenCV 头文件，并定义一些常量，比如模型的输入尺寸和关节点的配对关系。

#include <iostream>
#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>

// 使用 MPII 数据集训练的模型，它定义了15个关节点
const int nPoints = 15;

// 定义关节点之间的连接关系
// 例如 {0, 1} 表示连接第0个关节点（头）和第1个关节点（颈）
const int POSE_PAIRS[14][2] = {
    {0, 1}, {1, 2}, {2, 3}, {3, 4},   // 右臂
    {1, 5}, {5, 6}, {6, 7},   // 左臂
    {1, 14}, {14, 8}, {8, 9}, {9, 10},  // 右腿
    {14, 11}, {11, 12}, {12, 13} // 左腿
};

2. 主函数和模型加载

在 main 函数中，我们首先加载 Caffe 模型，然后读取待处理的图像。

int main(int argc, char **argv) {
    // ---- 模型和图像路径 ----
    std::string protoFile = "models/pose_deploy_linevec_faster_4_stages.prototxt";
    std::string weightsFile = "models/pose_iter_160000.caffemodel";
    std::string imageFile = "person.jpg"; // 替换成你自己的图片路径

    if (argc > 1) {
        imageFile = argv[1];
    }

    // ---- 加载网络 ----
    cv::dnn::Net net = cv::dnn::readNetFromCaffe(protoFile, weightsFile);
    if (net.empty()) {
        std::cerr << "Error: Could not load the network." << std::endl;
        return -1;
    }

    // ---- 读取并处理图像 ----
    cv::Mat frame = cv::imread(imageFile);
    if (frame.empty()) {
        std::cerr << "Error: Could not read the image." << std::endl;
        return -1;
    }
    cv::Mat frameCopy = frame.clone();

3. 图像预处理与模型推理

神经网络需要特定格式的输入。我们使用 cv::dnn::blobFromImage 函数来创建一个 “blob”，它将图像转换成适合网络输入的格式。然后，执行 net.forward() 进行推理。

    // ---- 准备输入 ----
    int inWidth = 368;
    int inHeight = 368;
    double thresh = 0.1; // 置信度阈值

    // 将图像转换为 blob
    cv::Mat inpBlob = cv::dnn::blobFromImage(frame, 1.0 / 255, cv::Size(inWidth, inHeight), cv::Scalar(0, 0, 0), false, false);

    // 设置网络输入
    net.setInput(inpBlob);

    // ---- 进行推理 ----
    // net.forward() 返回一个 4D Mat，维度是 (1, num_parts, height, width)
    cv::Mat output = net.forward();

    int H = output.size[2];
    int W = output.size[3];

4. 解析输出并定位关键点

推理的输出是包含了所有关节点热力图的 Mat 对象。我们需要遍历每一张热力图，使用 cv::minMaxLoc 找到置信度最高的点，并将其坐标记录下来。

    // ---- 寻找关键点 ----
    std::vector<cv::Point> points(nPoints);
    for (int n = 0; n < nPoints; n++) {
        // 获取第 n 个关节点的热力图
        cv::Mat heatMap(H, W, CV_32F, output.ptr(0, n));
        
        // 寻找热力图中的最大值及其位置
        double conf;
        cv::Point point;
        cv::minMaxLoc(heatMap, 0, &conf, 0, &point);

        // 如果置信度大于阈值，则记录该点
        if (conf > thresh) {
            // 将坐标从热力图尺寸映射回原图尺寸
            int x = (int)((float)frame.cols * point.x / W);
            int y = (int)((float)frame.rows * point.y / H);
            points[n] = cv::Point(x, y);
        } else {
            points[n] = cv::Point(-1, -1); // 标记为未检测到
        }
    }

5. 绘制骨架和显示结果

最后一步是根据我们之前定义的 POSE_PAIRS 数组，将检测到的关节点用线连接起来，形成骨架。我们也在每个关节点的位置画一个圆圈来使其更显眼。

    // ---- 绘制骨架 ----
    for (int i = 0; i < 14; i++) {
        cv::Point2i partA = points[POSE_PAIRS[i][0]];
        cv::Point2i partB = points[POSE_PAIRS[i][1]];

        // 只绘制检测到的关节点之间的连线
        if (partA.x > 0 && partA.y > 0 && partB.x > 0 && partB.y > 0) {
            cv::line(frame, partA, partB, cv::Scalar(0, 255, 0), 2);
            cv::circle(frame, partA, 5, cv::Scalar(0, 0, 255), -1);
            cv::circle(frame, partB, 5, cv::Scalar(0, 0, 255), -1);
        }
    }

    // ---- 显示结果 ----
    cv::imshow("Pose Estimation", frame);
    cv::waitKey(0);

    return 0;
}

🚀 编译与运行

保存代码: 将上述所有代码片段整合到一个 C++ 文件中，例如 pose_estimation.cpp。
准备图片: 在项目目录下放一张名为 person.jpg 的图片。
编译: 打开终端，使用以下命令进行编译（假设你使用 pkg-config 来链接 OpenCV）：
```
g++ -o pose_app pose_estimation.cpp $(pkg-config --cflags --libs opencv4)
```
注意：如果你的 OpenCV 版本不是 4，请将 opencv4 替换为你的版本，例如 opencv。
运行:
```
./pose_app
```
或者指定一张不同的图片：
```
./pose_app path/to/your/image.jpg
```
程序运行后，会弹出一个窗口，显示带有骨架覆盖的图像。

总结

通过利用 OpenCV 的 DNN 模块和预训练的 Caffe 模型，我们可以相对轻松地在 C++ 中实现复杂的人体姿态估计功能。这个基础可以进一步扩展，例如应用在视频流上以实现实时的姿态跟踪，或者分析特定姿态以用于人机交互等应用。

使用 C/C++ 和 OpenCV DNN 进行人体姿态估计