ISP管道中的8种关键图像处理算法详解

ISP管道中的8种关键图像处理算法详解

引用

CSDN

1.

https://blog.csdn.net/qq_31638535/article/details/146191641

ISP（图像信号处理器）管道中涉及多种关键算法，包括降噪、HDR合成、色调映射、去马赛克、锐化和去雾等。这些算法在图像处理流程中发挥着重要作用，从RAW数据处理到最终图像输出，每一步都关系到图像质量的优劣。本文将详细介绍这些算法的原理、用途及其在图像处理流程中的作用。

1. RawNR（RAW Noise Reduction，RAW 降噪）

用途：对RAW图像进行噪声抑制，减少感光元件（CMOS/CCD）带来的噪声，提高信噪比（SNR）。

原理：

• RAW图像是图像传感器采集的未处理数据，包含大量的噪声，包括读出噪声、暗电流噪声、光子噪声（泊松噪声）等。
• 由于RAW数据没有经过去马赛克（Demosaic）处理，因此RawNR可以在Bayer格式下进行降噪，而不会引入颜色污染。
• 典型的RAW降噪方法：
  1. 时域降噪（Temporal Filtering）：对多帧图像进行融合，如TNR（见下文）。
  2. 空域降噪（Spatial Filtering）：如高斯滤波、双边滤波、非局部均值（NLM）、BM3D。
  3. 深度学习方法：基于CNN、DNN、Transformers的去噪网络，如DnCNN。

优点：

• 在RAW处理阶段降噪可减少后续ISP处理过程中的噪声传播。
• 在Bayer格式下工作，可以避免去马赛克后的颜色污染。

2. YUVNR（YUV Noise Reduction，YUV 降噪）

用途：对YUV格式图像进行噪声抑制，通常用于ISP（图像信号处理器）管线中的后处理阶段。

原理：

• YUV是常见的视频和图像格式，其中：
• Y（Luma）：亮度分量，对人眼视觉最敏感。
• U、V（Chroma）：色度分量，对颜色信息的编码。
• YUV降噪一般分为：
  1. 亮度降噪（Y通道）：
• 使用双边滤波、引导滤波、非局部均值（NLM）、BM3D进行平滑处理。
• 亮度信息是人眼最敏感的部分，因此Y通道的降噪需要特别谨慎，避免细节丢失。
  2. 色度降噪（U、V通道）：
• 由于人眼对色度分辨率较低，U/V通道可以使用较强的平滑滤波，如均值滤波、高斯滤波等。
  3. 自适应噪声抑制：
• 通过分析噪声模型（如高ISO噪声特性）调整降噪强度。

与RawNR的区别：

• RawNR在Bayer格式下进行，YUVNR在YUV颜色空间中进行。
• RawNR主要针对传感器噪声，而YUVNR主要用于压缩噪声、后期处理降噪。

3. TNR（Temporal Noise Reduction，时域降噪）

用途：在视频或多帧图像处理中，通过时间维度上的信息融合进行降噪。

原理：

• 基本思想：利用相邻帧的相似性，去除随机噪声，同时保留运动物体。
• 主要方法：
  1. 帧间融合（Frame Blending）：对当前帧与前后帧进行加权平均（适用于静态场景）。
  2. 运动补偿（Motion Compensation）：
• 计算光流或使用块匹配方法估计运动矢量。
• 只融合无运动区域，避免运动模糊。
  3. AI去噪（Deep Learning）：
• 通过RNN、CNN、Transformers训练时序降噪模型。

典型应用：

• 监控摄像头（低光场景）、视频编码（减少压缩噪声）、高帧率摄影。

4. HDR Merge（高动态范围合成）

用途：通过合成不同曝光的图像，提升动态范围，避免过曝和欠曝。

原理：

• 多帧曝光合成：
  1. 采集多张不同曝光的照片（如短曝光、中曝光、长曝光）。
  2. 进行对齐（光流、特征点匹配）。
  3. 使用加权融合或AI方法合成最终HDR图像。
• 单帧HDR（Deep HDR）：
• 通过深度学习（如HDRNet）直接从单张LDR图像推测HDR结果。

5. Tone Mapping（色调映射）

用途：将HDR图像（高动态范围）映射到LDR（低动态范围）以适应显示设备。

原理：

• 局部色调映射（Local Tone Mapping）：
• 例如Retinex算法，通过计算局部对比度进行亮度调整。
• 全局色调映射（Global Tone Mapping）：
• 深度学习色调映射：
• 训练CNN/Transformers学习最佳色调映射策略。

6. Demosaic（去马赛克）

用途：将RAW图像中的Bayer格式数据转换为RGB图像。

原理：

• Bayer插值：
  1. 双线性插值（Bilinear Interpolation）。
  2. 方向感知插值（Edge-aware Demosaicing）。
  3. AI去马赛克（深度学习）。

7. Sharpen（锐化）

用途：增强图像边缘，提高清晰度。

原理：

• 高通滤波（Laplacian、Sobel）。
• USM（Unsharp Masking）。
• 深度学习锐化（GAN-based、CNN-based）。

8. Dehaze（去雾）

用途：去除图像中的雾霾，提高对比度。

原理：

应用：

总结