文章目录
引言
在视频处理、图像编码和计算机视觉领域，像素格式（Pixel Format） 是一个看似基础却至关重要的概念。它决定了图像数据在内存中的存储方式，直接影响视频的压缩效率、处理性能和跨平台兼容性。无论是开发视频编解码器、优化摄像头采集，还是实现高效的图像渲染，理解像素格式都是必不可少的技能。
1. 像素格式基础
1.1 定义
- 像素格式 = 颜色空间 + 位深度 + 存储布局。
- 像素格式（Pixel Format）定义了数字图像中每个像素的数据存储方式，包括以下3个维度：
| 维度 | 取值 |
|---|---|
| 颜色空间（Color Space） | RGB、YUV、BGR |
| 位深度（Bit Depth） | 8bit、10bit、16bit |
| 存储布局（Memory Layout） | 平面Planar、打包Packed、半平面Semi-Planar |
1.2 核心要素
(1) 颜色空间（Color Space）
- RGB：红绿蓝三原色组合（如sRGB、Adobe RGB）
- YUV：亮度+色度分离（如YUV420、YUV422）
- 灰度：仅亮度（如Y8）
- 特殊格式：Bayer RAW（传感器原始数据）
(2) 位深度（Bit Depth）
- 8bit/通道：最常见（如RGB24，每个通道0~255）
- 10bit/通道：专业摄影（如YUV420 10-bit）
- 16bit/通道：医疗/科学成像（如RGB48）
(3) 存储布局
| 类型 | 特点 | 示例格式 |
|---|---|---|
| Packed（打包） | 所有分量交错存储 | RGB24, YUYV, UYVY |
| Planar（平面） | 每个分量独立存储 | I420, YV12 |
| Semi-Planar | Y单独存储，UV交错 | NV12, NV21 |
1.3 为什么需要多种像素格式？
- 效率优化：YUV通过色度下采样减少数据量（如YUV420比RGB节省50%带宽）。
- 硬件适配：不同设备（摄像头、GPU）对格式的支持差异显著。
- 适配多种应用场景：实时通信需要低延迟，而影视后期追求高保真。
2. RGB家族：直观但低效
2.1 常见RGB格式
| 格式 | 存储方式 | 应用场景 |
|---|---|---|
| RGB24 | [R,G,B][R,G,B]… | 通用图像处理 |
| BGR24 | [B,G,R][B,G,R]… | OpenCV默认格式 |
| RGBA32 | [R,G,B,A][R,G,B,A]… | 带透明通道的图片 |
| RGB565 | 16bit/pixel（5R+6G+5B） | 嵌入式显示屏 |
2.2 局限性
- 数据冗余：RGB无法分离亮度与色度，压缩效率低。
- 硬件不友好：多数视频编码器直接处理YUV，需额外转换。
3. YUV家族：视频编码的基石
YUV将图像分离为 亮度（Y） 和 色度（U/V），通过色度下采样大幅节省带宽。
3.1 色度下采样对比
| 格式 | 采样方式 | 色度分辨率 | 压缩率 | 典型应用 |
|---|---|---|---|---|
| 4:4:4 | 无下采样，YUV全分辨率 | 与Y相同（100%） | 1:1 | 电影制作、专业调色 |
| 4:2:2 | 水平方向色度减半，垂直方向全保留 | 水平50%，垂直100% | 2:1 | 广播级视频、ProRes |
| 4:2:0 | 水平+垂直方向色度均减半 | 水平50%，垂直50% | 4:1 | H.264/H.265、流媒体 |
| 4:1:1 | 水平方向色度降为1/4，垂直全保留 | 水平25%，垂直100% | 3:1 | 部分DV摄像机 |
YUV 4:4:4（无色度下采样）：
- 色度无下采样，每个像素保留完整的 Y、U、V 值（质量最高，数据量最大）。
- 文件大小 ≈ RGB24（但更易压缩）。
- 采样方式：
- 亮度（Y）和色度（U/V）分辨率 完全相同。
- 每个像素有独立的 Y、U、V 值。
- 数据量：
- 与 RGB 相同（每个像素 3 分量）。
- 应用场景：
- 电影母版、专业调色、绿幕抠像（需完整色度信息）。
- 存储排列示例（每像素 3 字节）：
[Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3] [Y4 U4 V4] [Y5 U5 V5] [Y6 U6 V6] [Y7 U7 V7] [Y8 U8 V8]
YUV 4:2:2（水平色度减半）：
- 采样方式：
- 亮度（Y）全分辨率，色度（U/V）水平方向减半（每 2 个 Y 像素共享 1 组 UV）。
- 垂直方向无下采样。
- 采样方式：