自动驾驶中的传感器技术15——Camera（6）
1、CMOS Image Sensor 基础
CMOS图像传感器的基本结构包括：
像素阵列（Pixel Array） ：由数百万甚至上亿个感光单元（像素）组成，每个像素包含光电探测器（如pn结光电二极管）和读出电路。
行/列驱动电路：用于控制像素的读取和扫描。
信号处理电路（ISP, Image Signal Processor） ：进行降噪、色彩校正、自动曝光等处理。
输出接口：如MIPI、LVDS等，用于传输图像数据。
在工作过程中，光线通过透镜进入像素阵列，光电二极管（Photo Diode）吸收光子并产生电子-空穴对（电荷）。曝光结束后，传输电极门打开，信号电荷被传送到浮动式扩散层，由MOSFET拾取，电荷信号转换为电压信号。
CMOS图像传感器采用CMOS开关来切换各个光电二极管的信号，如图1所示，每一个像元由一个光电二极管和一个CMOS开关构成。当行驱动电路选中某一行时，此行像元输出信号的CMOS开关导通，其余行的CMOS开关不导通，此行像元的光电信号传输到列选多路器。列选多路器也是由一系列的CMOS开关构成，依次将此行的信号顺序联接到输出端，完成一列信号的顺序读出。
为了提高图像质量，CMOS图像传感器采用了多种信号处理技术：
相关双采样（CDS）电路：通过重置和采样两个步骤，利用时间相关性减少固定模式噪声。具体来说，重置阶段将噪声存储在电容中，采样阶段则将信号存储在另一个电容中，最后通过差分放大器输出信号。
电子快门：CMOS传感器使用电子快门控制曝光，分为滚动快门和全局快门。滚动快门逐行曝光，适用于静态场景；而全局快门同时曝光所有像素，适用于捕捉快速移动物体。
并行读出：通过同时读取多个列来提高读出速度，例如6列并行读出技术。
CMOS图像传感器的一个主要挑战是噪声控制。由于每个像素中集成了多个元件（如放大器、开关等），可能会引入固定模式噪声和读出噪声。为了降低噪声，通常采用以下方法：
增加采样电容值：提高采样电容的容量可以增强噪声抑制效果。
优化MOS开关特性：通过减小MOS开关的导通电阻，减少噪声干扰。
缩短采样间隔：减少采样时间可以降低噪声积累。
CMOS图像传感器基于成熟的CMOS工艺制造，这意味着它可以与其他数字电路（如逻辑电路、存储器、ADC等）集成在同一芯片上。这种集成不仅提高了系统的集成度，还降低了功耗和成本。此外，CMOS工艺的不断进步（如晶体管尺寸缩小）也为CMOS图像传感器的性能提升提供了支持。
2、工艺相关
前照式工艺（FSI）
传统FSI工艺的一个主要不足之处在于光敏PN结与滤光膜和微透镜之间需要制造若干层电路结构，由于电路高度问题会限制PN结可收集光线的面积和角度，同时光线在前进过程中会与电路结构发生吸收、散射，所以会增加光能的损耗，如下图所示。
背照式工艺（BSI）
随着半导体工艺的进步，人们发现其实可以将wafer打磨得非常薄，让光线穿透wafer，从背面入射到感光PN结，这个想法无论在技术上还是成本上都已经变得可行，于是就产生了背照式工艺（BackSide Illumination, BSI）。
堆栈式（Stacked）工艺
随着制造技术的进一步演进，在背照式工艺的基础上又发展出了堆栈式（Stacked）工艺。顾名思义，堆栈式工艺把两片或者更多片硅片上下堆叠在一起，最上层硅片全部用于制造像素的感光区，而sensor 控制所需的模拟、数字逻辑全部移到下层硅片，所以感光区占Sensor靶面尺寸的比例可以接近100%，终于达到了Sensor效率的巅峰。
3、Global Shutter VS Rolling Shutter
两者效果区别如下
Rolling shutter 原理，逐行曝光
自动驾驶摄像头选用Rolling Shutter，原因如下
自驾摄像头选用滚动快门主要是出于成本、性能、能源效率和灵活性等多方面的考虑。尽管全局快门在高速运动场景中表现更佳，但滚动快门在大多数实际应用中已经足够，并且可以通过技术手段进行优化。
1. 成本与性价比
滚动快门的实现方式更为简单，通常基于CMOS传感器，而全局快门则需要更复杂的电路设计和制造工艺。因此，滚动快门的生产成本更低，价格也更为亲民。对于自驾摄像头这类需要大规模部署的设备来说，成本控制是关键因素之一。许多厂商选择滚动快门正是因为它能够以较低的成本提供良好的图像质量，尤其是在不需要高速运动捕捉的情况下。
2. 低噪声与高动态范围
滚动快门在高分辨率下可以实现较低的噪声水平和较好的动态范围。这意味着在光线条件复杂或变化较大的环境中，滚动快门能够提供更清晰、更稳定的图像。这对于自动驾驶系统来说非常重要，因为它们需要在各种光照条件下都能准确识别周围环境。
3. 能量效率
滚动快门的简化设计也带来了更高的能源效率。相比全局快门，滚动快门在功耗上更低，这对于需要长时间运行的自驾摄像头系统来说是一个显著优势。特别是在电动汽车或移动设备中，低功耗意味着更长的续航时间或更小的电池容量需求。
4. 灵活性与可调性
滚动快门的曝光时间可以通过软件进行调整，从而在一定程度上减少失真。例如，通过缩短曝光时间或使用外置闪光灯，可以在一定程度上避免滚动快门效应。此外，一些先进的算法还可以对滚动快门产生的图像进行后处理，以消除失真。
5. 适用场景的广泛性
虽然滚动快门在高速运动物体面前可能会出现失真，但在大多数实际驾驶场景中，车辆和行人并不总是处于极高的运动速度下。因此，滚动快门在这些场景中仍然能够提供足够的图像质量。此外，通过合理设置曝光时间、帧率和照明条件，可以有效减少失真现象。
6. 技术成熟度与市场普及
滚动快门技术已经非常成熟，并且在消费级和工业级摄像头中广泛使用。这意味着厂商可以更容易地获取和集成这些传感器，同时也有大量的技术支持和解决方案可供参考。相比之下，全局快门虽然性能优越，但其高昂的成本和复杂的实现方式限制了其在某些领域的应用。
7. 实际应用中的权衡
尽管滚动快门在某些情况下会引入失真，但许多自动驾驶系统通过多传感器融合的方式，将来自不同传感器的数据进行互补，从而提高整体系统的鲁棒性。例如，除了摄像头之外，还可以使用激光雷达（LiDAR）和雷达来补充视觉信息，从而在摄像头出现失真时仍能保持对环境的准确感知。
DMS选用Global Shutter，原因如下
与AI算法兼容：全局快门传感器能够提供无畸变的图像数据，这对于需要精确识别和分析驾驶员面部表情、眼部活动和头部姿态的AI算法至关重要。
4、CIS与Pixel
Sensor 控制Reset开关打开，PD释放电子，复位电路；
PD开始接受光照曝光，并转化成电子输出到源级跟随器上；
行列扫描器选中当前的Pixel，select门电打开，将存储的电子输出给外部运放；
4T架构在3T架构上多加了一个tranfer gate，用于控制PD数据是否输出到源级跟随器，电路噪声会更小。
5、CFA（Color Filter Array）
CFA通常由两个主要部分组成：
彩色滤光片（CF） ：用于过滤入射光，将其分解为红、绿、蓝三种基本颜色。例如，最常见的Bayer滤镜排列方式是每个像素单元包含一个B、一个R和两个G的滤光片。
微透镜（ML） ：用于提高光的聚光效率，确保光线能够更有效地进入光电二极管，从而提升图像质量。
CFA是CIS能够实现色彩分离和图像捕捉的关键组件。如果没有CFA，CIS将无法感知颜色，只能像黑白传感器（MONO）一样工作。因此，CFA的设计和优化对于CIS的性能至关重要。为了获得稳定的图像质量，需要开发和评估R/G/B彩色材料，并研究如何优化滤光片的形状、厚度等参数。
CFA通过滤光片和微透镜的组合，将入射光分解为红、绿、蓝三种颜色，并提高光的聚光效率，从而确保CIS能够生成高质量的彩色图像。CFA的工艺发展和优化是CIS技术进步的重要推动力之一。
为了能够区分颜色，人们在硅感光区上面设计了一层滤光膜，每个像素上方的滤光膜可以透过红、绿、蓝三种波长中的一种，而过滤掉另外两种，如下图所示。
其中感光膜的布局叫做Bayer Mosaic Color Filter Arrary，通常简写为Bayer CFA或CFA。 索尼的Power HAD CCD 技术在Hyper HAD 技术基础上缩小了微透镜间距，进一步提升了像素感光能力。
不同的sensor可能设计成不同的布局方式，下面是几种常见的布局
1. Bayer CFA
Bayer CFA是最常见的CFA类型，其滤光片排列为交替的红、绿、蓝（RGB），其中绿色滤光片数量最多，以适应人眼对绿色光的高敏感性。在低光条件下，Bayer CFA的SNR优势为0 dB，而在亮光条件下为0 dB。然而，Bayer CFA在颜色准确性方面表现良好，但容易受到摩尔纹（moiré）的影响。此外，Bayer CFA的去马赛克算法（如Adaptive Laplacian）在图像重建中表现出色。
2. RGBW CFA
RGBW CFA在传统RGB基础上增加了白色滤光片，以提高亮度和信噪比。例如，RGBW-Kodak和RGBW-IA在全分辨率模式下，低光条件下的SNR优势分别为6 dB和6 dB，亮光条件下的SNR优势分别为3 dB和3 dB。当进行一次分组时，低光条件下的SNR优势提升至15 dB，亮光条件下的SNR优势提升至9 dB。RGBW CFA在亮度和信噪比方面优于Bayer CFA，但可能会牺牲一定的颜色准确性。
3. Hexadeca Bayer 和 Quad-IA RGBW
Hexadeca Bayer和Quad-IA RGBW是较新的CFA设计，旨在提高图像质量。例如，Quad Bayer在全分辨率模式下，低光条件下的SNR优势为0 dB，亮光条件下的SNR优势为0 dB，但当进行一次分组时，低光条件下的SNR优势提升至12 dB，亮光条件下的SNR优势提升至6 dB。Hexadeca Bayer和Quad-IA RGBW在低光条件下表现出更高的SNR优势，但可能在颜色准确性方面略逊于Bayer CFA。
4. CMY CFA
CMY CFA使用青、品红、黄滤光片，适用于特殊应用，如印刷技术。CMY CFA在颜色差异和色度方面表现良好，但可能在颜色再现误差方面不如RGB CFA。此外，CMY CFA在抗摩尔纹方面表现较差。
5. 随机排列的CFA
随机排列的CFA在颜色分布上更加均匀，能够减少颜色伪影和摩尔纹。研究表明，随机排列的CFA在图像重建性能上优于传统规则排列的CFA。然而，随机排列的CFA可能需要更复杂的去马赛克算法来处理其非规则的结构。
6. LMS CFA
LMS CFA是一种基于长波长、中波长和短波长滤光片的CFA，适用于高动态范围成像。LMS CFA在低光条件下的SNR优势为4.2 dB，亮光条件下的SNR优势为2.1 dB。当进行一次分组时，低光条件下的SNR优势提升至13.2 dB，亮光条件下的SNR优势提升至8.1 dB。LMS CFA在亮度和信噪比方面表现良好，但可能在颜色准确性方面略逊于其他CFA。
7. 其他CFA类型
RGBC模式：RGBC模式在SNR增益方面约为1 dB，颜色准确性方面表现良好。
RCCC模式：RCCC模式在SNR增益方面为4.5 - 5.5 dB，但颜色准确性较差。
Clarity+模式：Clarity+模式在SNR增益方面为3-4 dB，颜色准确性方面表现最佳。
总结
不同类型的CFA在性能上各有优劣。Bayer CFA是最常见的类型，具有良好的颜色准确性和抗伪影能力，但可能在亮度和信噪比方面略逊于其他类型。RGBW CFA和LMS CFA在亮度和信噪比方面表现更好，但可能牺牲一定的颜色准确性。随机排列的CFA在图像重建性能上优于传统规则排列的CFA，但需要更复杂的算法支持。选择合适的CFA类型需要根据具体应用场景和需求进行权衡。
6、CIS会影响camera以下参数
