图像传感器坏点检测与去除算法详解

创作时间:

作者:

@小白创作中心

图像传感器坏点检测与去除算法详解

引用

CSDN

https://blog.csdn.net/OdellSwan/article/details/141823729

在图像传感器中，坏点是一种常见的缺陷，它会影响图像的质量。本文将详细介绍坏点的产生原因、特征，并设计一个有效的去坏点算法。

坏点的产生原因

坏点在图像传感器中产生的原因多种多样，主要分为静态坏点和动态坏点两种。静态坏点的产生主要包括以下几个方面：

传感器制造缺陷：图像传感器由成千上万的像素组成，每个像素都是一个微小的光电二极管。在制造过程中，可能会因为材料缺陷、制造工艺等问题导致某些像素损坏或性能不达标，从而形成坏点。
物理损伤：传感器可能因为跌落、撞击或其他物理因素导致损坏，产生坏点。
长时间使用：随着使用时间的增加，传感器上的某些像素可能会因为过度使用而退化，表现为坏点。
高温影响：高温环境可能会影响传感器的性能，导致像素损坏或性能下降。

而动态坏点的产生原因则包括：

软件问题：在某些情况下，软件错误或固件缺陷也可能导致图像中出现异常像素点，表现为坏点。
图像传输错误：在图像从传感器传输到处理单元的过程中，可能会因为传输错误导致某些像素数据不正确。
电磁干扰：传感器可能受到外部电磁场的干扰，影响像素的正常工作。
像素老化：像素元件随着时间的推移可能会自然老化，导致响应度下降或失效。

坏点的特征

坏点被认为是噪声的一种，其噪声模型为椒盐噪声。椒盐噪声的特点是，噪点要么是最大像素值（白色），要么是最小像素值（黑色）。在图像上，坏点通常表现为孤立的点。

为了更好地理解坏点的影响，我们可以在RAW图上添加坏点进行测试。图1展示了添加坏点后的RAW图及其经过Demosaic处理后的RGB图像。

图1 直接做Demosaic的结果

如果将图像放大观察（如图2所示），可以发现一个有趣的现象：在Demosaic前，坏点是独立的；但在Demosaic后，部分坏点居然连在了一起。这是因为Demosaic本质上是一个插值算法，它会将一个坏点插值成多个坏点。因此，在ISP的pipeline中，去坏点的步骤应该在Demosaic之前。

图2 把图1局部放大的效果

为了符合ISP的pipeline并方便对比效果，接下来的测试都将在RAW图上去坏点，然后再将去坏点后的图像用Demosaic插值显示出来。

设计一个去坏点算法

算法的改进通常是一个逐步迭代的过程。接下来，我们将通过一个去坏点算法的示例，展示如何暴露问题并逐步改进算法，最终获得满意的结果。

中值滤波

最常用的去坏点算法是中值滤波。让我们尝试直接对添加了坏点的RAW图使用3x3的中值滤波，效果如图3所示。

图3 直接对RAW图做中值滤波的效果图

乍一看效果似乎还不错，坏点似乎都被去掉了。但实际上，效果并不理想。这是因为RAW图的每个最小单位包含两个G分量、一个R分量和一个B分量，三分量的亮度差异很大。经过中值滤波后，R、G、B三分量的差异被抹平了，导致RAW图失效。对RAW进行Demosaic得到的结果如图3（b）所示，除了帽子的边缘部分能勉强看出一点儿蓝色，其他部分和（a）没太大差异，这说明Demosaic对非RAW图没起作用，这种三通道一起去坏点的方法直接让RAW图失效了。

以上说明直接对RAW做中值滤波去坏点是不可行的，R、G、B三通道不能混在一起用中值滤波，那就试试三通道分别使用中值滤波。