卫星图像超分辨率全面介绍
卫星图像超分辨率全面介绍
超分辨率技术是卫星图像处理领域的一项重要技术，它能够有效提升图像的分辨率和清晰度，为环境监测、城市规划、国防和灾难响应等领域提供更高质量的数据支持。本文将从基本概念、技术原理、不同类型的方法、评估指标以及实际应用中的优缺点等多个维度，全面介绍超分辨率技术在卫星图像中的应用。
什么是超分辨率？
超分辨率是一种先进的图像处理技术，用于增强图像的分辨率，使其更清晰、更详细。它的工作原理是重建或预测原始低分辨率图像中可能不明确存在的更精细的细节。
Sentinel-2 原始卫星图像细节图（顶部）与超分辨率输出（2 倍）的对比图（底部）。
超分辨率为何如此重要？
超分辨率对于卫星图像尤其重要，因为它可以提高从太空捕获的数据的质量和实用性。卫星在环境监测、城市规划、国防和灾难响应等领域发挥着至关重要的作用，但由于物理、技术和财务方面的限制，它们在分辨率方面可能面临固有的限制。超分辨率解决了这些限制，使卫星图像在广泛的应用中更有价值。
关于细节、分辨率、采样和混叠的提醒
光学衍射、采样理论和混叠是理解卫星图像超分辨率的基础。每个概念都可以单独写一篇文章来介绍。对于已经熟悉这些概念的读者，本节可以作为简要提醒。对于不熟悉这些概念的读者，我们提供了基本介绍和优质资源的链接，以防他们想要更详细地了解。
为了形成卫星图像，来自场景的光线会穿过光学系统。该系统可以包括望远镜、镜头、干涉仪、滤光片和/或其他元件。穿过光学系统的光线到达具有一定数量像素的传感器，这些像素的大小是确定的。此时，对每个像素的光强度进行采样，将表示场景的信号离散化并形成数字图像。
卫星的光学系统已经确定了到达传感器的最精细细节。一种常用的指定方法是使用调制传递函数 (MTF)。MTF 是对比度与频率的函数。通俗地说，它显示了在通过光学系统后，您是否可以区分精细细节，或者它们是否会模糊在一起（更精细的细节由更高的频率表示，并通过它们之间有足够的对比度来区分它们）。任何比 MTF 截止更精细的细节都会模糊在一起，无法恢复，只能推断。Edmund Optics 有一篇很好且易懂的文章，其中包含更多详细信息。
上图展示了成像系统 的调制传递函数 (MTF)（此图并非卫星，但所有概念都可直接转换为卫星系统）。图中绘制了物镜环形孔径的 MTF (MTFap)、CCD 采样的 MTF (MTFCCD) 和成像系统的总 MTF (MTFtotal = MTFap × MTFCCD)。奈奎斯特频率之后高于零的 MTF 值将转换为混叠光谱内容。MTF 达到零后，除了外推或归纳偏置之外，没有任何其他方法可以恢复更多的光谱内容。
MTF 决定了到达传感器的信号的最大频率，而这正是采样理论发挥作用的地方。如果以至少 2 倍最大信号频率进行采样，则可以从离散样本中完全恢复连续信号。然而，这并不常见，因为它会产生非常模糊的图像，并且需要较小的像素。常见的做法是以截止于 MTF 对比度 ~15% 或以上的速率进行采样。这会产生更清晰的图像，并且噪音更少（因为使用了更大的像素），但也会引入混叠。混叠在图像中可以看作是由于采样不足而产生的虚假不良效果。在频域中，它可以解释为高于采样截止频率的频率被折回到信号中并添加到低于截止频率的其他频率中。
空间域中混叠的图示；绿点表示采样数据；虚线是混叠信号。频域混叠的图示。真实频谱（上图）在频域中周期性地出现混叠，频率偏移为 nf0（中图）。这导致原始频谱（下图）失真，即使在奈奎斯特频率 fN 内也是如此（阴影区域）。
卫星图像上的混叠效应图示：边缘的阶梯效应和周期性条纹方向的变化是由混叠引起的。下图中可以看到明显的混叠效应。
因此，图像出现混叠效果是一件很糟糕的事情，但对于超分辨率而言，混叠却至关重要。混叠是来自输入信号的信息，在采样过程中混杂在一起，超分辨率技术可以从中恢复实际细节。简而言之，超分辨率技术既可以从输入信号中恢复实际细节而无需进行推断，也可以对图像形成过程中丢失的高分辨率细节做出有根据的猜测，但不能保证这些细节确实正确。当恢复真正的、可验证的细节时，这是由于使用了信号中的混叠信息。
单幅图像超分辨率
这些方法无需使用多张图像作为输入即可增强图像的分辨率。它们使用分析图像中的图案、纹理和结构的算法来预测和生成更高分辨率的版本。
基于深度学习的方法是当今最引人注目的单图像超分辨率技术，但我们将在本文的后面专门用一个部分来讨论这些技术。
插值
双线性、双三次或样条插值（以及其他方法）通过平均周围像素来估计新像素值。这些经典方法简单快捷，但会导致图像模糊，无法恢复细节，也不会大大提高图像的可解释性。插值后可以进行锐化操作，以减轻结果中的模糊。您可以在中找到有关图像插值的出色参考资料。
经典的基于模型的方法和回归方法
一些超分辨率技术不依赖于对可用样本进行插值，而是估计与观察到的样本一致的底层函数。这些方法包括基于优化的技术、核回归和凸集投影 (POCS) 方法。通过对底层信号进行建模而不是仅仅填充像素，这些方法旨在更准确地重建高频细节。这些技术也适用于多图像超分辨率。这些方法快速且易于解释，但它们的结果已被数据驱动方法的结果所超越。
全色锐化
卫星以不同的空间和光谱分辨率和波段捕捉图像。多光谱卫星通常会捕捉全色波段 (PAN)，该波段具有广泛的光谱支持（例如从红色到蓝色），并且比其他光谱波段（例如红色、绿色、蓝色、近红外等）具有更高的空间分辨率。正是这种更广泛的光谱支持实现了更高的分辨率：由于每个像素整合了更多的光子，因此可以减小像素大小（从而提高分辨率），而不会增加低于其他较低分辨率的较窄波段的采样噪声。
全色锐化是一种通过将低分辨率图像与高分辨率全色图像相结合来提高多光谱图像分辨率的技术。此过程会生成一张高分辨率图像，该图像既保留了多光谱图像的光谱信息，又保留了全色图像的空间细节。
常见的全色锐化方法包括：
- Brovey 变换：通过将每个插值光谱带标准化为所有光谱带的总和，然后乘以高分辨率全色图像来增强色彩。
- 主成分分析（PCA）：将多光谱数据转换为不相关的成分，然后与全色图像结合。
- 强度-色调-饱和度 (IHS) 转换：将 RGB 图像转换为 IHS，用全色图像替换强度，然后将其转换回 RGB。
- 基于小波的方法：使用小波变换分解图像，组合高频细节并重建全色锐化图像。
多图像超分辨率
在这些方法中，将同一场景的多幅图像组合起来以增强分辨率。当图像之间存在细微差异（例如由于运动或角度）时，这种方法非常有用，可以提供更多数据样本来重建更好的单个高分辨率图像。这些方法的一个重要优势是它们可以从场景中恢复实际的高分辨率细节，而不会产生幻觉内容。
多图像方法利用了这样一个事实，即从单个场景中拍摄的多幅图像都是随着传感器位置的变化而变化的，因此从多幅图像组合中获得的采样网格比原始网格更精细，并且可以从该网格恢复出更高分辨率的图像。
在上面的例子中，来自，作者将输入图像分解为粗细节和细细节成分，对对齐的输入执行核回归以重建超分辨率细节成分，最后将其与插值粗图像相结合以产生输出。
亚像素精确的图像校正通常是这些方法的必要组成部分，用于将样本放置在底层更高分辨率网格中，尽管在某些情况下校正是隐式的而不是显式的，对于深度学习方法尤其如此。
多图像方法的一个常见缺陷是，当物体被遮挡或以与场景（或局部场景区域）之间的全局运动不一致的方式移动时，它们会产生伪影。
深度学习方法
与许多应用一样，深度学习提供了强大的工具集，当应用于超分辨率问题时，无论是针对单个图像还是多图像变体，都可以产生出色的结果。
这些方法学习如何重建低分辨率样本的高分辨率版本，主要可分为两类：基于回归的方法（它们学习产生所有可能输出的加权平均值）和基于条件生成模型的方法，如生成对抗网络（GAN）、规范化流（例如 SRFlow）或（潜在）扩散模型。
SRCNN 是第一个应用于超分辨率问题的 CNN 回归器示例。该网络具有简单而有效的架构，由 3 个主要层组成。第一层从输入的低分辨率图像中提取特征，第二层将特征非线性映射到高分辨率特征空间，最后从高分辨率特征重建高分辨率输出（见下图）。由于其简单性和有效性，SRCNN 成为更先进的基于深度学习的超分辨率方法的基础。
SRCNN 架构图。
生成式对抗网络是生成式模型的先驱，它首先应用于超分辨率，即 SRGAN。采用 GAN 的主要动机之一是，与最小化 MSE 的 CNN 相比，它们可以提供更清晰、更自然的图像。这是因为后者生成的重建代表了低分辨率输入的许多可能的高分辨率解决方案的像素平均值，从而将这些可能的解决方案模糊在一起。另一方面，SRGAN 可以从可能的解决方案中重建单个样本，从而最大限度地减少感知损失。
SRGAN 的架构，其中每个卷积层的内核大小（k）、特征图数量（n）和步幅（s）均有标明。
SRCNN 和 SRGAN（分别于 2016 年和 2017 年提出）都是开创性的作品，自那时起带来了许多改进和进步，但它们仍然代表了之前的那一类方法。
GAN 训练起来非常困难，而且容易出现模式崩溃（网络收敛到非常有限的结果集）。最近，人们提出了正则化流（例如 SRFlow）和扩散模型方法（例如 SR3），以解决这些问题。它们还能提供更高质量的输出。
我们将在即将发表的深度学习超分辨率方法文章中更全面地介绍，并展示更多最新的研究和成果。
大多数深度学习超分辨率方法都是为通用图像增强而设计的。然而，卫星图像具有与典型摄影图像不同的独特挑战和特征。通用方法可以开箱即用地应用于卫星图像，但通过对目标数据进行训练并根据卫星的具体特征调整技术将获得最佳结果。
L1BSR 就是一个利用目标卫星特定特征的深度学习超分辨率方法的例子。这是一种自监督方法，直接在真实的 Sentinel-2 L1B 10m 数据上进行训练，不需要高分辨率地面实况。为了产生超分辨率结果，L1BSR 利用了卫星传感器的特殊设计。该方法利用了这样一个事实：不同波段的数据是在不同时刻捕获的，彼此之间存在亚像素位移，以重建高分辨率图像。训练（如下图所示）强制高分辨率重建与相邻重叠 CMOS 探测器捕获的共配准低分辨率波段保持一致，这些探测器是自监督训练的目标。
上文描述的 L1BSR 的图示。在推理时，只需要一个输入和重构网络。
对于监督方法，需要具有低分辨率/高分辨率对的数据集，这对于卫星图像来说可能带来独特的挑战。
具有代表性且均衡的数据集是深度学习方法的必备条件。例如，如果您希望在城市地区获得良好的超分辨率，以改善城市遥感应用的结果，那么包含城市样本的数据集可能就足够了，但超分辨率模型在森林、山脉、田野或数据集中未表示的其他环境中会表现不佳。
请关注我们即将发布的文章，深入探讨这些方法。
指标
超分辨率方法的评估指标通常涉及将真实高分辨率图像与从下采样真实图像获得的超分辨率结果进行比较。这些指标通常结合使用，通过平衡图像质量的客观和主观方面，对 SR 方法的性能进行更全面的评估。
基于像素的指标
这些直接基于地面实况和重建之间的像素值差异。最常见的有：
- 峰值信噪比 (PSNR)：测量信号（图像）的最大可能功率与影响它的噪声功率之比。较高的 PSNR 值表示 SR 图像更接近地面真实图像。可以使用以下公式直接从均方误差 (MSE) 计算得出，其中 L 是可能的最大像素值（对于 8 位图像，L 为 255）。
- 结构相似性指数 (SSIM)：根据亮度、对比度和结构等结构信息评估 SR 图像与地面实况之间的相似性。与 PSNR 相比，它旨在更好地反映人类感知，但可能与主观质量感知不完全一致。
感知指标
在某些情况下，PSNR 或 SSIM 值较低的图像可能会出现伪影或不自然的元素。感知指标可捕捉超分辨率图像的自然程度或视觉真实度，通常与人类感知更接近。
- 自然图像质量评估器 (NIQE)：这是一种无参考指标，这意味着它无需参考事实即可评估图像质量。它测量自然图像统计数据，以确定 SR 图像看起来有多“自然”或视觉上令人愉悦。NIQE 分数越低，通常表示质量越好，因为图像看起来更逼真，更接近自然图像统计数据。
- 学习感知图像块相似度 (LPIPS)：通常用于训练基于深度学习的 SR 模型，利用预先训练的深度神经网络（如 VGG）来计算 SR 和地面真实图像之间的感知差异。该指标比较了两幅图像的特征表示，确保 SR 模型专注于重现感知质量，而不仅仅是像素精度。
特定任务指标
这些指标表明了 SR 图像在实际应用中的表现如何。
- 检测或分类准确度：在 SR 图像用于对象检测或图像分类等任务的情况下，可以通过测量 SR 方法对这些任务的性能改善程度来评估其有效性。例如，在 SR 输出上运行对象检测器并检查检测准确度是否提高，可以深入了解 SR 方法对下游应用的实用性。
主观质量评估
- 平均意见评分 (MOS)： MOS 涉及人工评估人员，他们根据一定比例（例如 1 到 5）对 SR 图像的感知质量进行评分。此方法可捕捉客观指标可能无法很好反映的主观质量方面。它通常被认为是质量评估的黄金标准，但耗时且主观性强。
优点、缺点和可实现的分辨率增益
由于采样理论部分中描述的图像形成的物理限制，超分辨率增益超过 2 倍可能会引发幻觉。
深度学习模型可以将重建分辨率推到远远超出采样理论所规定的极限，一些供应商提供 10 倍的分辨率提升。在这些极端情况下，必须明白，模型所做的主要是发明内容或使用存档内容修复重建。例如，您可能会在重建中发现一条部分修建的道路现已完工，但它显示的状态与用于指导 10 倍增强的一些较旧的航空测量图像中的状态相同。
结论
在这篇文章中，我们对超分辨率及其在卫星成像中的重要性有了基本的了解。我们探讨了分辨率、采样和混叠的原理，这些原理是增强卫星图像的挑战和机遇的基础。我们还概述了各种超分辨率方法，从传统的插值技术到最先进的深度学习模型，讨论了它们的优势、局限性和潜在应用。
超分辨率不仅仅是一项技术进步，也是卫星成像的一项变革性能力。通过提高图像质量，它为环境监测、灾害响应、城市规划等关键应用提供了新的细节和准确性水平。随着卫星技术的不断发展，我们从其数据中提取最大价值的方法也将不断发展。然而，要获得高分辨率结果，需要在重建真实细节和避免幻觉内容之间取得谨慎的平衡，尤其是在超越图像形成的物理极限时。