【音视频学习】五、深入解析视频技术中的像素格式：颜色空间、位深度、存储布局

引言

在视频处理、图像编码和计算机视觉领域，像素格式（Pixel Format） 是一个看似基础却至关重要的概念。它决定了图像数据在内存中的存储方式，直接影响视频的压缩效率、处理性能和跨平台兼容性。无论是开发视频编解码器、优化摄像头采集，还是实现高效的图像渲染，理解像素格式都是必不可少的技能。

1. 像素格式基础

1.1 定义

• 像素格式 = 颜色空间 + 位深度 + 存储布局。
• 像素格式（Pixel Format）定义了数字图像中每个像素的数据存储方式，包括以下3个维度：

维度	取值
颜色空间（Color Space）	RGB、YUV、BGR
位深度（Bit Depth）	8bit、10bit、16bit
存储布局（Memory Layout）	平面Planar、打包Packed、半平面Semi-Planar

1.2 核心要素

• (1) 颜色空间（Color Space）

  • RGB：红绿蓝三原色组合（如sRGB、Adobe RGB）
  • YUV：亮度+色度分离（如YUV420、YUV422）
  • 灰度：仅亮度（如Y8）
  • 特殊格式：Bayer RAW（传感器原始数据）

• (2) 位深度（Bit Depth）

  • 8bit/通道：最常见（如RGB24，每个通道0~255）
  • 10bit/通道：专业摄影（如YUV420 10-bit）
  • 16bit/通道：医疗/科学成像（如RGB48）

• (3) 存储布局

类型	特点	示例格式
Packed（打包）	所有分量交错存储	RGB24, YUYV, UYVY
Planar（平面）	每个分量独立存储	I420, YV12
Semi-Planar	Y单独存储，UV交错	NV12, NV21

1.3 为什么需要多种像素格式？

• 效率优化：YUV通过色度下采样减少数据量（如YUV420比RGB节省50%带宽）。
• 硬件适配：不同设备（摄像头、GPU）对格式的支持差异显著。
• 适配多种应用场景：实时通信需要低延迟，而影视后期追求高保真。

2. RGB家族：直观但低效

2.1 常见RGB格式

格式	存储方式	应用场景
RGB24	[R,G,B][R,G,B]…	通用图像处理
BGR24	[B,G,R][B,G,R]…	OpenCV默认格式
RGBA32	[R,G,B,A][R,G,B,A]…	带透明通道的图片
RGB565	16bit/pixel（5R+6G+5B）	嵌入式显示屏

2.2 局限性

• 数据冗余：RGB无法分离亮度与色度，压缩效率低。
• 硬件不友好：多数视频编码器直接处理YUV，需额外转换。

3. YUV家族：视频编码的基石

YUV将图像分离为 亮度（Y） 和 色度（U/V），通过色度下采样大幅节省带宽。

3.1 色度下采样对比

格式	采样方式	色度分辨率	压缩率	典型应用
4:4:4	无下采样，YUV全分辨率	与Y相同（100%）	1:1	电影制作、专业调色
4:2:2	水平方向色度减半，垂直方向全保留	水平50%，垂直100%	2:1	广播级视频、ProRes
4:2:0	水平+垂直方向色度均减半	水平50%，垂直50%	4:1	H.264/H.265、流媒体
4:1:1	水平方向色度降为1/4，垂直全保留	水平25%，垂直100%	3:1	部分DV摄像机

• YUV 4:4:4（无色度下采样）：

  • 色度无下采样，每个像素保留完整的 Y、U、V 值（质量最高，数据量最大）。
  • 文件大小 ≈ RGB24（但更易压缩）。
  • 采样方式：
    • 亮度（Y）和色度（U/V）分辨率 完全相同。
    • 每个像素有独立的 Y、U、V 值。
  • 数据量：
    • 与 RGB 相同（每个像素 3 分量）。
  • 应用场景：
    • 电影母版、专业调色、绿幕抠像（需完整色度信息）。
  • 存储排列示例（每像素 3 字节）：

    [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3] [Y4 U4 V4]
    [Y5 U5 V5] [Y6 U6 V6] [Y7 U7 V7] [Y8 U8 V8]
    

• YUV 4:2:2（水平色度减半）：

  • 采样方式：
    • 亮度（Y）全分辨率，色度（U/V）水平方向减半（每 2 个 Y 像素共享 1 组 UV）。
    • 垂直方向无下采样。