ISP 色彩调试基本原理
ISP 色彩调试基本原理
ISP（图像信号处理器）中的色彩调试是确保图像质量的关键环节。本文将详细介绍ISP中的主要色彩调试技术，包括BLC（黑电平校正）、LSC（镜头阴影抑制）、AWB（自动白平衡）、CCM（色彩矩阵校正）、3DLUT（查找表）以及色差和紫边的产生原因和校正方法。
BLC（黑电平校正）
1. 产生原因
传感器电路本身存在暗电流，导致在没有光线照射时像素单位也会有一定的输出电压。BLC易受到增益（Again）和温度的影响，电路的增益增大时，暗电流也会增强。
2. 校正原理
在Sensor上预留一些没有曝光的像素，通过读取其像素值的大小得到OB（Optical Black Level）。此时sensor输出的RAW=input-ob，考虑到信噪比一般还会进行基底矫正（pedestal），此时sensor输出的RAW=input-ob-pedestal。
3. 校正步骤
（1）全黑采集RAW图，分为R、Gr、Gb、B 四个通道；
（2）对四个通道求平均值（或中值）作为校正值；
（3）对图像的每个通道都减去这个校正值。
4. 影响范围
色彩：偏色，RGB分量、对比度、破坏噪声明态降低信噪比。
注：当Blc扣除过多时，会导致整体画面亮度过低，动态范围变低，细节损失多，黑色部分偏色无法通过白平衡纠正，画面偏绿。当BLC扣除过少时，扣除的黑电平值不足以抵消红色通道的信号，导致红色部分的亮度过高，从而使整个图像偏红。
LSC（镜头阴影抑制）
1. 产生原因
由于镜头的光学特性会导致sensor的影像边缘区域接收到的光强比中心小，造成中心和四角亮度不一致的现象。镜头本身是一个凸透镜，由于凸透镜的原理，中心的感光必然比周周边多。需要根据像素的位置做增益补偿。
Luma shading：会造成图像边角偏暗
color shading：中心和四周颜色不一致，偏色
2. 校正方法
网格法：把整幅图像分成m*n个网格，然后针对网格顶点求出校正的增益，然后把这些顶点的增益储存到内存中，其它点的增益通过插值的方式求出。
AWB（自动白平衡）
1. 基本原理
白平衡就是：不管在任何光源下，都能将拍摄的白色物体的图像还原为白色，人眼在早晨、中午、晚上不同色温下都能准确看到白色。CMOS 要获得这种能力，必须对每种光源做相应的色彩校准，才能完成人眼一样的功能。这个功能叫做白平衡。
2. 校准原理
人眼中的白色总是R=G=B，那么白平衡所做的事情就是在不同色温条件下将图像做归一化，也就是如下将Sensor响应的RGB分别乘上一个系数，使得物体在不同光源条件下所呈现出来的颜色，恢复到物体的固有色。
R'=R×R_Gain，
G'=G×G_Gain，
B'=B×B_Gain，
使得R'=G'=B'。
3. 算法原理
（1）灰世界算法
原理：灰度世界算法以灰度世界假设为基础，该假设认为：对于一幅有着大量色彩变化的图像,其R,G,B 三个色彩分量的平均值趋于同一灰度值 K。从物理意义上讲，灰色世界法假定自然界景物对于光线的平均反射的均值在总体上是一个定值，这个定值近似地为“灰色”。颜色平衡算法将这一假设强制应用于待处理图像，可以消除环境光的影响，获得原始图像。
步骤：
- 确定K值.一般有两种方法确定K值，
1). K取固定值，如最亮灰度值的一般，针对0-255图像，可以取128
2). 计算图像R,G,B三个通道的平均值 R ˉ , G ˉ , B ˉ ，K=(Rˉ+Gˉ+Bˉ)/3 - 计算R,G,B三个通道的增益系数:
- 对于图像中的每个像素的像素值R,G,B,计算其调整后的值:
注：这种算法简单快速，但是当图像场景颜色并不丰富时，尤其出现大块单色物体时，该算法常会失效。当图片中没有足够丰富的色彩来近似理想情况时，灰度世界算法的白平衡效果就差强人意。
（2）白点统计法
1）将原图转换为YCrCb空间：转换关系如下：
在YCrCb空间定义一个三维结构，落于此区域内的像素统计为白点，计算色差时只需计算白色像素的平均色差来取代整个图像的色差，从而提高色温计算的准确性，限定YCrCb的约束条件来判断是否为白点：
Ymin:CbCr较小的像素表现为接近白色的灰度值；Ymax:CbCr较大的像素可以认为是白色物体收到光源干扰得到的，当图像中出现灯光时灯光周围区域会出
现过曝的现象色彩成分被抑制。
2) 统计白点（有效像素点）数量、累加对应的R、G、B、分量值，得到R、G、B的平均值：
3）得到平均亮度、确定各分量的增益系数：
4）最后进行白平衡校正：
（3）白点统计法的实现
1）标定参考点：提取Sensor在不同标准光源下的白点特征（R/G、B/G）；
2）计算色温拟合曲线；
3）根据色温曲线确定灰区；
4）调整各通道增益实现收白或者喜好色调整。
（4）色温计算原理
1）取的图像数据,并划分MxN块,如果是25x25,并统计每一块的基本信息(,白色像素的数量及R/G/B通道的分量的均值)。
2）根据第1步中的统计值, 找出图像中所有的白色块,并根据色温曲线判断色温。
比如25x25=625 个块中,一共找出了100个有效白色块, 里面又有80个白色块代表了色温4500左右, 那当前色温基本就是4500.根据4500色温得出的Rgain,Bgain来调整当前图像的白平衡。
CCM（色彩矩阵校正）
1. 基本原理
sensor 的 RGB 分量对光谱的响应与人眼的不同，为了使图像显示的颜
色与人眼接近，则需要色彩校正模块对各种颜色进行还原，将颜色从sensor RGB空间变换到人眼的RGB空间，使图像的效果符合人的主观感受。
2. 校正原理
使用 sensor 抓拍到的 24 色卡场景下前 18 个色块的实际情况信息和其期望值，计算 3x3 的 CCM 矩阵。输入颜色经 CCM 矩阵处理得到的颜色与其期望值差距越小，则 CCM 矩阵就越理想。
3. 调试方法
（1）调试CCM矩阵时，先将矩阵配置成单位阵（rr=gg=bb=1），再将饱和度提高到适当值；
（2）对着24色卡对颜色进行调整至用户喜好颜色。
以纵轴为基色，横轴为分量，找到对应的色彩在色相环上的位置，再根据色彩偏向调整CCM数值。
备注：此图参考此博文所总结整理：Hisi平台CCM调试-细调_Camera Man的博客-CSDN博客
3DLUT（查找表）
基本原理
颜色查找表，用于颜色校正的技术，它可以将输入的颜色值映射到输出的颜色值。它的原理是将输入颜色空间中的每个颜色值映射到输出颜色空间中一个对应颜色值，这个映射关系可以通过一个三维数组来表示，这个数
组就是3D LUT。
3D LUT的作用是图像进行颜色校正，使得图像在不同设备上显示时颜色表现一致。它可以校正图像的亮度、对比度、饱和度等参数，从而达到更加真实、自然的效果
色差（chromatic aberration）
1. 产生原因
透镜对不同波长的色光有不同的折射率，波长越长折射率越高。
2. 分类
（1）横向色差
不同波长的光按照一定的角度进入透镜，并且聚焦到沿相同的平面上不同的位置时产生的色差。一般出现于图像边缘高对比度的地方。 图像的放大倍数随波长的不同而产生的颜色条纹。
（2）纵向色差
不同波长的光沿水平光轴进入透镜后不能聚焦同一平面的同一点而产生的色差。一般出现于物体边缘呈现红绿蓝或者这些颜色的结合。 可以通过缩小镜头光圈来大幅度减少色差。
紫边（purple boundary）
产生原因：
通常认为紫边的成因是镜头色差，即镜头对不同光谱光线的折射程度不同，导致不同光谱的光线不能成像到一点上。成像系统一般将绿
色通道准确对焦，然而由于镜头色差，蓝色和红色通道不能完全准确对焦，从而使物体边缘出现紫红色的色边。实际就是色差导致了R≠G≠B，所以才会有
了颜色；紫色就是R、B通道的分量 > G通道的分量。
步骤：
现象：