视频层和叠加层

1. 视频层（Video Layer）

定义与作用
视频层是承载原始视频数据的基础层，通常来自摄像头、文件或网络流。其核心任务是采集、解码并准备原始帧数据供后续处理。

C++实现关键代码

// 使用OpenCV捕获摄像头视频流（视频层数据源）
cv::VideoCapture cap(0);  // 0表示默认摄像头
if (!cap.isOpened()) {
    std::cerr << "Error opening video capture" << std::endl;
    return -1;
}

// 解码视频文件（FFmpeg示例）
AVFormatContext* pFormatCtx = nullptr;
avformat_open_input(&pFormatCtx, "input.mp4", nullptr, nullptr);
avformat_find_stream_info(pFormatCtx, nullptr);
// 获取视频流索引并初始化解码器...

技术要点：

• 采集：通过OpenCV、DirectShow或FFmpeg获取原始帧
• 解码：CPU解码（FFmpeg软解）或GPU解码（如NVDEC）
• 格式转换：YUV→RGB（OpenCV默认处理格式）

2. 叠加层（Overlay Layer）

定义与作用
叠加层是覆盖在视频层之上的附加信息层，用于显示文本、图形、检测框等。分为硬件叠加（低延迟）和软件叠加（高灵活性）。

2.1 软件叠加（OpenCV实现）

cv::Mat frame;
cap.read(frame);  // 读取视频层帧

// 叠加文本
cv::putText(frame, "Timestamp: 10:08:15", cv::Point(50, 50), 
            cv::FONT_HERSHEY_SIMPLEX, 1.0, cv::Scalar(0, 255, 0), 2);

// 叠加矩形框（如人脸检测框）
cv::Rect roi(100, 100, 200, 200);
cv::rectangle(frame, roi, cv::Scalar(255, 0, 0), 2);

// 叠加透明LOGO（Alpha混合）
cv::Mat logo = cv::imread("logo.png", cv::IMREAD_UNCHANGED);
cv::addWeighted(frame(roi), 0.7, logo, 0.3, 0, frame(roi));

技术要点：

• 绘图API：cv::putText、cv::rectangle 直接修改像素
• Alpha混合：addWeighted() 实现透明度叠加
• 动态数据：可结合检测结果实时更新ROI

2.2 硬件叠加（DirectShow示例）

// 创建Filter Graph（DirectShow）
IGraphBuilder* pGraph = nullptr;
CoCreateInstance(CLSID_FilterGraph, NULL, CLSCTX_INPROC, IID_IGraphBuilder, (void**)&pGraph);

// 添加视频源Filter和Overlay Mixer Filter
pGraph->AddFilter(pSourceFilter, L"Video Source");
pGraph->AddFilter(pOverlayFilter, L"Overlay Mixer");

// 设置叠加位图（伪代码）
IOverlay* pOverlay;
pOverlayFilter->QueryInterface(IID_IOverlay, (void**)&pOverlay);
pOverlay->SetBitmap(/* 位图句柄 & 位置参数 */);

技术要点：

• 独立图层：叠加层由显卡直接合成，不占用CPU
• 低延迟：适用于实时监控场景
• 平台限制：依赖显卡驱动（如海思芯片OSD）

3. 音视频同步与混合

3.1 视频同步技术

// 基于时间戳的同步逻辑（伪代码）
if (audioFrame.pts > videoFrame.pts) {
    videoPlayer.delay(audioFrame.pts - videoFrame.pts);  // 延迟视频
} else {
    audioPlayer.delay(videoFrame.pts - audioFrame.pts);  // 延迟音频
}

关键点：以音频为基准同步，避免唇音不同步

3.2 音频混合（逐帧叠加）

// 两路PCM音频混合（int16_t格式）
void mixAudio(int16_t* dst, const int16_t* src1, const int16_t* src2, size_t len) {
    for (size_t i = 0; i < len; ++i) {
        int32_t mixed = src1[i] + src2[i];
        dst[i] = static_cast<int16_t>(std::clamp(mixed, -32768, 32767)); // 防溢出裁剪
    }
}

技术要点：

• 防溢出：std::clamp限制值域（C++17）
• 浮点混合：专业音频处理建议用float格式（-1.0~1.0）

4. 完整流程示例（OpenCV+FFmpeg）

// 视频层处理
AVPacket packet;
av_read_frame(pFormatCtx, &packet);  // FFmpeg读包
avcodec_send_packet(pCodecCtx, &packet);
avcodec_receive_frame(pCodecCtx, pFrame);  // 解码帧

// YUV→RGB转换
cv::Mat yuvFrame(pFrame->height, pFrame->width, CV_8UC1, pFrame->data[0]);
cv::Mat rgbFrame;
cv::cvtColor(yuvFrame, rgbFrame, cv::COLOR_YUV2RGB_NV21);

// 叠加层处理
cv::putText(rgbFrame, "Live Streaming", cv::Point(20, 40), 
            cv::FONT_HERSHEY_SIMPLEX, 1.2, cv::Scalar(0, 0, 255), 2);

// 显示结果
cv::imshow("Video+Overlay", rgbFrame);

5. 性能优化策略

6. 工程实践建议

1. 跨平台方案

   • 优先选择OpenCV+FFmpeg组合（Windows/Linux/Android/iOS兼容）
   • 避免直接调用平台API（如DirectShow），除非需特定硬件加速

2. 内存管理

   // FFmpeg帧复用避免重复分配
   AVFrame* pFrame = av_frame_alloc();
   while (/* 循环处理 */) {
       av_frame_unref(pFrame);  // 重用内存
       avcodec_receive_frame(pCodecCtx, pFrame);
   }
   av_frame_free(&pFrame);      // 最终释放
   

3. 实时性保障

   • 视频：使用环形缓冲区+生产者消费者模型
   • 音频：PortAudio回调机制（<10ms延迟）

通过合理设计视频层与叠加层的协作机制（如上方流程图），开发者能构建从基础播放到AR特效的全场景应用。完整代码示例可参考：https://gitee.com/liudegui/video_decode_detect_bbox_example。