1、前言

相针对纯音频，音视频能传递更直观、更丰富的信息，非常多时候，视频的加入赋予了音频血肉，亦给予了咱们更加多的选取。所有基于纯音频的场景，都能够经过加入视频元素而演变出新的玩法，例如音频语聊升级为视频通话、电台直播转变为秀场直播、语音课堂升级为视频课堂等等。当然，视频元素亦并不局限于 “摄像头”，屏幕采集、版权影视资源都能够做为视频数据源，满足了游戏直播、一块看电影等场景。

既然 “视频” 有这么多价值，做为一个音视频应用研发者，咱们自然要来好好地认识一下它。

2、视频的本质 —— 图像

咱们认识到声音的本质是物体振动产生的波，咱们针对声音的感知，其实是经过耳膜感知了声波的振动，因此针对声音的学习是从声波的采集以及数字化起始的。此刻，咱们起始和视频打交道，自然要从视频的本质、以及咱们对视频的感知方式聊起。

那样，视频是怎样产生的呢？

大众必定有接触过 “翻页连环画”，这种连环画的每一页都是静态的照片，常态下平平无奇，但倘若咱们快速地拨动翻页，让每一页照片快速、连贯地进行展示，本来 “静态” 的照片，在视觉上居然变成为了 “动态” 的画面（如下图）。

C++音视频研发学习资料：点击莬费领取→音视频研发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

这儿 “静态照片” 之因此会转变为 “动态画面” ，是基于人眼的 “视觉暂留 “特性：咱们观看物体时，物体首要影像于视网膜、并由视神经传入大脑，大脑才感知到物体的像。而当物体从视线中移去时，视神经对物体的印象不会立即消失，会延续几百毫秒。当旧图像消失、新图像替换显现的频率足够快时，前后图像在视觉上就产生了 “连贯”，形成为了 “动态画面”。而 “动态画面” 亦便是咱们所说的 “视频”。

从 “翻页连环画” 的现象看，视频的本质其实是一帧帧连续展示的图像。而咱们对视频内容的感知方式，便是通过眼睛捕捉到一帧帧图像上的 “色彩” 。无论是最简单的黑白默剧，还是最丰富的炫彩影视，都需要由色彩构成血肉和骨骼。

因此，咱们针对视频知识的学习，还需要从认识 “色彩” 起始。

3、图像的血肉和骨骼 —— 色彩

大众都晓得，眼睛之因此能看到物体，是由于接收了物体反射的光波。而色彩，则是大脑对光的一种 “感觉”。相较于声音的 “只可言传，不可意会”，色彩针对咱们来讲，是 “只可眼观，不可言传” 的。为了方便对色彩进行统一描述，亦为了让数字电路能识别、处理色彩数据，咱们需要利用数字化的手段对色彩进行定义。

说到色彩的定义方式，最为大众所熟知的是 “光的三原色模型”。光进入人眼后，视觉细胞会产生多个信号，其中有三种单色光信号：红（Red）、绿（Green）、蓝（Blue） ，这三种单色光按区别比例组合，形成为了区别的色彩，咱们亦叫作其为RGB 模型。参考 RGB 模型，咱们选定了三种色彩分量，再对每种单色分量进行量化，亦就完成了对色彩的数字化处理。

这种处理方式所运用的 “色彩模型” 的概念，很容易和 “多维空间、多维坐标系” 联系起来。例如 RGB 模型的三个分量，能够分别视为三维空间的 X、Y、Z 坐标，确定了详细的 RGB 分量值，相当于确定了一个（X，Y，Z）坐标点，每一个区别的点即表率区别的色彩。倘若咱们计算出每一个分量的取值范围（坐标范围），那样该范围内的所有分量的取值组合，就确定了一个色彩空间（Color Space），该空间中包括了该色彩模型可暗示的所有颜色。

针对人眼来讲，能识别的色彩数量有限，兼顾思虑技术瓶颈，实质应用中需要展示、能够展示的色彩亦是有限的，咱们常常不需要一个色彩模型的所有颜色，区别场景下通常只需要选择某个色彩 “子空间”，做为其标准的色彩空间（亦叫作为 “色域”） 。而区别软硬件平台，只要约定好支持相同的色彩空间，只运用该色彩空间内的颜色，就能实现兼容互通，否则，它们对同一种色彩的展示就可能会显现差异。

C++音视频研发学习资料：点击莬费领取→音视频研发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

在区别行业制定的众多色彩空间中，有一个比较特殊的空间：CIE 色彩空间，它包括了人眼所能感知的所有色彩。CIE 色彩空间常常被当作标准的参考系，用于区别色彩空间之间的比较。倘若咱们将 CIE 色彩空间中的所有色彩，经过数学模型映射到一个二维平面中，将得到一个如下的色域马蹄图，封闭区域即为 CIE 色彩空间所能暗示的所有颜色。

CIE 色彩空间：人眼的可视色彩范围

当然，除了基于光的三原色的 RGB 模型，色彩模型 / 色彩空间还有非常多种，平常的例如 YUV、CMYK、HSV、HSI 等等。而在 RTC 应用中，重点运用的是 RGB 和 YUV ，咱们后面会重点认识这两种色彩空间。

而在认识详细的色彩空间之前，咱们还有一个疑问需要解答：色彩，是怎样构成图像的呢？

虽然说视频的本质是图像，但图像并非不可分割，它仍然有更小的构成单位 – “像素”（Pixel）。关于图像和像素的关系，大众能够先观察如下两张照片：

在上面的照片中，左图为正常尺寸的照片全貌，右图为放大必定倍数之后的局部截图（企鹅的头部）。

咱们能够看到，本来细腻的照片，在放大之后显现了一个个小方块，这些或色彩各异、或色彩相近的小方块按必定规则摆列组合，最后呈现了 “企鹅” 的形象。这儿的小方块，便是所说的 “像素”。

一个像素，是图像的一个最基本单元，是形成图像的一个色点，咱们亦能够叫作其为像素点。每一个像素点上记录了某种色彩空间的每一个分量值（例如 R、G、B），区别的分量值组合决定了这个像素点所暗示的颜色，多个暗示特定颜色的像素点，按某种规则摆列组合，就形成为了完整的图像。能够说，“像素们” 承担了照片色彩形成的重任。

好了，关于像素、以及像素与图像色彩的形成关系，大众就先认识到这，后面咱们还会和它们有进一步接触。此刻，让咱们回到色彩空间的专题上，来详细认识一下，RTC 应用中最常运用的色彩空间：RGB 和 YUV 。

1、 RGB

首要，咱们来认识一下 RGB 色彩空间。

咱们前面已初步认识，RGB 色彩模型基于光的三原色原理创立，其三个分量为：红（Red）、绿（Green）、蓝（Blue）。在 RGB 模型下，图像的每一个像素点都会存储 R、G、B 三个分量（如下图），每一个分量取区别的数值（ 0 ~ 255 ），该像素点就能综合呈现出区别的色彩。基于此，倘若按（R，G，B）的方式记录，那样（255,0,0）、（0,255,0）、（0,0,255）分别暗示的便是最纯粹的 红、绿、蓝 。而比较特殊的，若 RGB 三个分量值均为 0，综合得到黑色；反之，若三个分量取最大值 255，综合得到白色。

RGB 可暗示的色彩数量达到 1677 万，这远远超过了人眼的感知范围（约 1000 万种），正因如此，RGB 被广泛应用于各样表示行业。而区别行业、区别应用场景，按照其所需的颜色范围，又创立了基于 RGB 模型的、区别的色彩子空间，最平常的有 sRGB 和 Adobe RGB。

C++音视频研发学习资料：点击莬费领取→音视频研发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

sRGB 和 Adobe RGB

sRGB 色彩空间由 Microsoft 在 1997 年主导制定，被广泛应用于表示器、数码相机、扫描仪、投影仪等设备。大众选购表示器时，肯定有在制品特性介绍中看到过诸如 “99% sRGB、100% sRGB” 之类的指标，其含义即为该表示器对 sRGB 色彩空间的覆盖程度，数值越高，寓意着该表示设备所支持的色彩越丰富。而 Adobe RGB 比 sRGB 晚面世一年，由 Adobe 在 1998 年提出，它在 sRGB 的基本上增多了 CMYK 色彩空间（一种专用于印刷业的色彩空间，模型分量为青（Cyan），洋红（Magenta），黄（Yellow），黑（Black）），Adobe RGB 跟随着 Adobe 设计软件整家桶被广泛应用于平面设计行业。

sRGB 和 Adobe RGB 的对比

关于 sRGB 和 Adobe RGB 的比较，咱们能够借助 CIE 色彩空间马蹄图做为参考。

如下图，咱们将 CIE、sRGB 和 Adobe RGB 的色彩范围换算到同一个平面上。最外围的色彩区域为 CIE 色彩空间，三角形部分为 sRGB 和 Adobe RGB。能够看到，sRGB 和 Adobe RGB 的色彩范围均小余 CIE，然则 Adobe RGB 的覆盖范围比 sRGB 更广，尤其是在绿色区域覆盖得更加多（sRGB 大约能覆盖 35％ 的 CIE，Adobe RGB 则为 50%），这使得 Adobe RGB 在摄像、图像处理、保真方面更游刃有余。

sRGB 和 Adobe RGB 的比较

不外，即便 Adobe RGB 相较 sRGB 更出色，在应用范围上依旧是 sRGB 更广。做为 “先辈”，抱着 Windows 的大腿，sRGB 凭借 Windows 浑厚的用户基本得到了广泛的普及。如今，互联网上绝大都数内容，例如视频网站的影视剧、例如这篇文案中的照片，基本都是以 100% sRGB 的色彩标准进行表示的。一张 Adobe RGB 标准的照片倘若放在网页上观看，其颜色可能会变淡（相针对原始色彩），这是由于 Adobe RGB 照片的色彩超过了网页的显色标准，部分色彩信息显现了丢失。但即便如此，针对大部分用户来讲，平常场景运用 sRGB 已然足够，当需要更广的色域以达到更优秀的色彩效果时（例如专业平面设计 / 摄影场景），才有必要思虑 Adobe RGB。

从 RGB 两种子色彩空间的应用场景看，不得不承认 RGB 和大众的平常生活已经是息息关联。然则，即便在采集、表示等用途上 RGB “一家独大”，当聚焦到视频处理行业时，它却有些施展不开手脚。

RGB 在暗示颜色时有一个特点，那便是其三个通道分量是关联的，缺一不可。亦即每一个像素点必须同期存储 R、G、B 三个分量值才可正确暗示颜色，这引起它不方便于做编码压缩，倘若用于存储或传输，会占用海量的空间和带宽（关于空间和带宽的重要性，咱们在 音频必知必会 - 音频编解码中已有过讨论）。空间和带宽问题，在一帧图像上或许能够勉强忍受，但在视频资源上，就非常严峻了（时长 1s 的视频资源，通常包括数十帧的图像，空间和带宽占用将呈数十倍增长）。

因此呢，咱们还需要其他的色彩空间，来替代 RGB 用于视频处理行业，而这便是接下来要和大众介绍的，YUV 色彩空间。

2、YUV

既然 RGB 三个分量的关联性，制约了其在视频行业的应用，做为其上位选取的 YUV 自然不可重蹈覆辙。YUV 色彩空间亦有三个分量 Y、U、V，但和 RGB 区别的是，其三个分量并非都参与颜色的暗示。

YUV 的三个分量中， Y 分量用于暗示明亮度（Luminance），决定一个像素是明、或暗（能够理解为是黑、或白）以及其明暗的程度。咱们仅记录明暗区别的 Y 分量，就能暗示出图像的总体轮廓（ 如下图中的 【Y】）。而 U、V 分量暗示色度（Chrominance），用于定义色彩和饱和度（ 如下图中的 【U】【V】）。一个记录了 Y 分量的像素，再添加上 U、V 分量，图像轮廓中就填充了 “黑白、明暗” 之外的其他色彩。

C++音视频研发学习资料：点击莬费领取→音视频研发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

YUV 和 其三个分量

不难发掘，即使无 U、V 分量，仅凭 Y 分量咱们亦能 “识别” 出一幅图像的基本内容，只不外此时呈现的是一张黑白图像。而 U、V 分量为这些基本内容赋予了色彩，黑白图像演变为了彩色图像。这听起来是不是有些似曾相识呢？这其实亦是黑白电视和彩色电视之间的关系。

YUV 是在黑白、彩色电视的过渡时期应运而生的，它这种既能够完整记录彩色信号，又能经过仅记录 Y 通道信号来暗示黑白画面的特性，很好地处理了黑白电视与彩色电视的兼容互通问题。并且，因为人眼针对亮度（Y）相较于色度（U、V）更高、更敏锐，咱们针对区别明亮度的识别能力，远远超过对区别色度的识别能力。这寓意着，咱们能够在保存 Y 分量信息的状况下，尽可能地减少 U、V 两个分量的采样，以实现最大限度地减少许据量，同期还能保准人眼视觉失真度最小，这针对视频数据的存储和传输是有极重裨益的。这亦是为何，YUV 相较于 RGB 更适合于视频处理行业。

3、YUV 和 RGB 的转换

在认识了 RGB 和 YUV 的基本知识和应用场景后，你可能会有有些疑惑。既然在图像采集、表示方面，咱们重点运用 RGB，然则在图像存储、处理、传输方面，咱们又要选取 YUV。而在一个完整的应用场景中，视频的采集、存储、处理、 传输、表示等环节，却是相互相关、缺一不可的，这儿是不是会存在冲突呢？

是的，这儿的确存在两种色彩空间的运用冲突，咱们处理冲突的方式是 “色彩空间转换”。

RGB 与 YUV 的相互转换，存在于视频处理链路的各个必要环节。

视频采集设备通常输出的是 RGB 数据，咱们需要将其转换为 YUV 数据再进行后续的处理、编码和传输；一样的，表示设备经过传输、解码环节获取到 YUV 数据后，亦需要将其转换为 RGB 数据，再进行消费展示。

关于这两种色彩空间转换的细节，大众暂不需要深究，但需要认识到：色彩空间转换是一个基于 “标准” 来执行的过程，仅有在知道标准的基本上，才可经过必定的数学运算完成二者的相互转换。而 “标准” 有非常多种，例如 BT.601、BT.709 等等，区别的标准会有区别的转换公式，有兴趣的朋友能够去查阅关联的资料做进一步认识。

关于 YUV 和 RGB ，除了要认识它们的基本原理，咱们还需要关注它们的 “采样方式” 和 “存储格式”。“采样方式” 和 “存储格式” 关联的内容，非常重要却亦比较繁杂，咱们将在下一篇文案中，再仔细地和大众探讨。

4、总结

本篇文案咱们重点讲述图像与色彩基本知识的第1部分，在今天的学习过程中，大众能够认识到视频、图像、像素和色彩之间的关系，亦初步认识了两种重要的色彩空间：RGB 和 YUV，以及它们的基本原理、差异和联系。

接下来，咱们还是经过一个思维导图，整理一下所有的内容：

倘若你对音视频研发感兴趣，或对本文的有些阐述有自己的看法，能够在下方的留言框，一块探讨。