深度学习在图像去噪中的应用综述

创作时间:

作者:

@小白创作中心

深度学习在图像去噪中的应用综述

引用

来源

https://tvm-book.readthedocs.io/zh-cn/stable/chaos/paper/overview/denoising/DeepLearningImageDenoisingOverview.html

深度学习在图像去噪领域取得了显著进展，通过判别学习和优化模型等方法，能够有效处理高斯噪声、真实噪声等多种类型的噪声问题。本文将详细介绍深度学习在图像去噪中的应用，包括不同方法的原理、技术框架以及面临的挑战和发展方向。

不同类型的深度学习方法在处理图像去噪方面存在着实质性的差异：

基于深度学习的判别学习（discriminative learning）可以很好地解决高斯噪声问题。
基于深度学习的优化模型（optimization models）可以有效地估计真实噪声。

去噪声 CNN：

加性白噪声（additive white noisy）图像 CNN；
真实噪声图像的深度 CNN；
用于盲去噪（blind denoising）的深度 CNN；
用于混合噪声图像的深度 CNN（表示噪声、模糊和低分辨率图像的组合）。

引言

捕获的图像是来自潜在观测的退化图像（degraded image），其中退化处理受到光照和噪声破坏等因素的影响。具体来说，噪声是由未知的潜在观测（unknown latent observation）在传输和压缩过程中产生的。利用图像去噪技术去除噪声，从给定的退化图像中恢复潜在的观测是必要的。

备注
图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，导致图像质量的下降，这种现象叫做图像退化。

通过模型处理多个低级任务：去噪 CNN（DnCNN）、batch normalization（BN[Ioffe and Szegedy, 2015]）、线性整流函数（ReLU）和深度残差学习。

考虑到去噪性能和速度之间的权衡，颜色非局部网络（color non-local network，CNLNet[Lefkimmiatis, 2016]）结合了非局部自相似度（non-local self-similarity，简称 NLSS）有效去除彩色图像噪声。

在盲去噪方面，快速灵活的 FFDNet（）提出了不同的噪声水平，并将有噪声的图像贴片作为去噪网络的输入，以提高去噪速度并处理盲去噪。对于处理非成对噪声图像（unpaired noisy images），生成对抗网络（GAN）CNN 盲降噪器（GCBD）首先生成 ground truth，然后将获得的 ground truth 输入 GAN 进行降噪训练，解决了这一问题。或者，卷积盲去噪网络（CBDNet）通过两个子网络从给定的真实噪声图像中去除噪声，一个负责估计真实噪声图像的噪声，另一个负责获得潜在的干净图像。对于更复杂的损坏图像，开发了一种深度即插即用超分辨率（DPSR）方法来估计模糊核（blur kernel）和噪声，并恢复高分辨率图像。

备注
DnCNN、FFDnet、CBDnet 是联系十分紧密的系列，是逐步泛化，逐步考虑增加噪声复杂的过程，DnCNN 主要针对高斯噪声进行去噪，强调残差学习和 BN 的作用，FFDnet 考虑将高斯噪声泛化为更加复杂的真实噪声，将噪声水平图作为网络输入的一部分，CBDnet 主要是针对 FFDnet 的噪声水平图部分入手，通过 5 层 FCN 来自适应的得到噪声水平图，实现一定程度上的盲去噪。

论文主要贡献：

概述了深度学习方法在图像去噪领域的作用。
概述了深度学习技术对不同类型噪声（即加性白噪声、盲噪声（指未知类型的噪声）、真实噪声和混合噪声）的解决方案，分析了这些方法在图像去噪中的动机和原理。最后，从定量和定性两方面对这些方法的去噪性能进行了评价。
概述了深度学习在图像去噪中的一些潜在挑战和发展方向。

图像去噪深度学习方法的基本框架

本节提供了深度学习的讨论，包括它背后的思想，主要的网络框架（技术），以及硬件和软件，这是本文所涵盖的用于图像去噪的深度学习技术的基础。

图像去噪的机器学习方法

机器学习方法包括有监督、半监督和无监督学习方法。监督学习方法使用给定的标签使获得的特征更接近目标，用于学习参数和训练去噪模型。例如，取给定的去噪模型(y = x + \mu)，其中(x)、(y)和(\mu)分别代表给定的干净图像、噪声图像和标准差(\sigma)的加性高斯噪声（additive Gaussian noise，简称 AWGN）。由上式和贝叶斯知识可知，去噪模型参数的学习依赖于({x_k, y_k}_{k=1}^N)，其中(x_k)和(y_k)分别表示第(k)个干净图像和第(k)个噪声图像。(N)是噪声图像的个数。这个处理可以表示为(x_k = f(y_k, \theta, m))，其中(\theta)为参数，(m)为给定的噪声水平。

无监督学习方法使用给定的训练样本来寻找模式，而不是标签匹配，并完成特定的任务，如对真实的低分辨率图像进行分离（unpairing）。Cycle-in-Cycle GAN（CinCGAN）方法首先估计高分辨率图像作为标签，然后利用获得的标签和损失函数训练超分辨率模型。

半监督学习方法从给定的数据分布中建立模型来为未标记的样本进行标记。这种机制在小样本任务（如医疗诊断）中很受欢迎。半监督学习正弦图（sinogram）恢复网络（SLSR-Net）可以通过监督网络从成对的正弦图中学习特征分布，然后通过无监督网络将获得的特征分布从未标记的 low-dose 正弦图转换为高保真（high-fidelity）正弦图。

图像去噪中的深度学习技术

加性白噪声图像去噪

由于真实噪声图像的不足，加性白噪声图像（additive white noisy images，简称 AWNIs）被广泛用于训练去噪模型。AWNIs 包括 Gaussian, Poisson, Salt, Pepper 和 multiplicative 噪声图像。AWNI 去噪有几种深度学习技术，包括 CNN/NN；CNN/NN 与通用特征提取方法相结合；优化方法与 CNN/NN 相结合。