光谱敏感度优化与新型3D转置网络：推动单幅RGB图像高光谱重建技术革新
光谱敏感度优化与新型3D转置网络：推动单幅RGB图像高光谱重建技术革新
高光谱成像技术在农业、食品安全、医疗等领域具有广泛应用前景，但传统高光谱相机成本高昂、体积庞大。近年来，研究人员探索从单幅RGB图像重建高光谱图像的方法，以实现低成本、便携式的高光谱成像。本文介绍了一种基于卷积神经网络（CNN）的新方法，通过优化RGB相机光谱敏感度和提出新型3D转置网络，显著提升了高光谱图像重建的精度。
高光谱图像（HSI）同时包含空间模式和光谱信息，在食品安全、遥感和医疗检测等领域有广泛应用。然而，传统高光谱相机通常配备特殊设计的光学器件，如光栅、棱镜、滤波器等，导致其体积大、结构复杂、成本高昂。近年来，研究人员探索从单幅RGB图像重建高光谱图像的方法，以实现低成本、便携式的高光谱成像。
在本研究中，我们重点研究了RGB相机光谱敏感度（CSS）对高光谱图像的影响。使用氙灯结合单色仪作为标准光源来校准CSS。实验结果表明，CSS对高光谱图像的重建精度有显著影响。此外，我们还提出了一种新的高光谱图像重建网络，通过将原始高光谱数据立方体的维度结构通过3D矩阵转置进行修改，以提高重建精度。
1. 引言
高光谱成像是一种将光谱学和成像技术相结合的技术。对于每个像素，可以获取与空间信息相关的多个窄带光谱。光谱信息提供了一种基于材料自身特定光谱特征来识别材料的独特方法。因此，高光谱成像技术在遥感、医疗检测、农业、食品安全等众多领域得到了广泛应用。与普通相机相比，高光谱相机通常配备特殊设计的光学器件，如光栅、棱镜、滤波器等，这些组件使得高光谱相机成本高昂。这些缺点限制了高光谱成像技术的应用，尤其是在需要低成本和快速部署的测量中。
近年来，从单幅RGB图像重建高光谱成像提供了一种简单且低成本的解决方案。对于普通相机，光谱信息通过相机滤波器映射到RGB值。原则上，从这些RGB值中恢复光谱是可能的。但这是一个严重的病态问题，因为在构建RGB图像的过程中，部分频谱信息丢失了。重建算法需要正确建立RGB值与相应频谱之间的非线性映射关系。
在算法方面，研究人员最初专注于从特定的高光谱图像构建稀疏编码。阿拉德等人提出了一种从RGB图像重建高光谱图像的方法，通过使用稀疏字典。严等人提出了一种基于流形的重建管道，将RGB向量映射到其对应的高光谱向量。近年来，随着深度学习在图像处理领域的广泛成功，卷积神经网络（CNN）已被广泛用于高光谱图像重建。施等人提出了两种高光谱图像恢复算法，HSCNNR和HSCNND。最近，李等人提出了AWAN算法，其中通过注意力机制挑出了空间和波长域中的高价值信息。
在本研究中，我们构建了一个可调谐窄带光源来校准相机滤波器。实验结果表明，相机自适应超分辨率（CSS）对最终重建的高光谱图像的准确性有显著影响。受三维卷积的启发，我们还提出了一种新的网络，通过三维转置修改原始高光谱数据立方体的维度结构。由于具有不同维度结构的三种数据立方体被用作三个并行子模块的输入，新提出的网络被命名为并行转置网络（PTNet）。
2. 方法
对于监督学习算法，RGB图像及其相应的高光谱图像对于网络训练都是必不可少的。然而，在实际收集训练数据集时，很难分别使用RGB相机和高光谱相机拍摄完全相同的场景。为了解决上述问题，引入了计算成像技术来生成虚拟的RGB图像，这些图像与真实图像非常接近。从数学角度来看，RGB相机的成像过程可以被视为物体的光谱与CCD的乘积。
在公式1中，IRGB表示红色、绿色和蓝色通道的灰度。nλ是频谱波段数，在CSS和HSI中相同。利用这个公式，我们可以方便地基于高光谱图像（HSI）和彩色空间参考（CSS）创建一个训练的红绿蓝（RGB）数据集。
2.1 相机光谱敏感度
为了确保生成的RGB图像尽可能接近真实拍摄的图像，CSS应精确校准。在本研究中，我们使用氙灯和单色仪通过记录相机在不同波长下的响应来获取CSS。需要注意的是，RGB相机的成像过程通常包括自动白平衡（AWB），这对后续的网络训练有害。由于AWB分别调整RGB值，RGB值与相应光谱之间的映射关系变得不确定。为了解决这个问题，我们在校准CSS时将RGB增益固定为1:1:1。除了AWB之外，曝光时间是影响RGB值的另一个因素。因此，在CSS校准中，曝光时间应保持恒定。
2.2 HSI重建算法
高光谱图像通常有三个维度，两个空间维度（宽度和高度）和一个波长维度（λ）。这三个维度对于高光谱图像都同样重要。在大多数最先进的高光谱重建算法中，只有波长维度在二维卷积运算中被视为通道。网络宽度对应于通道的数量。更宽的网络可以使网络的每一层学习到更丰富的特征。因此，这些算法增加网络宽度以提高光谱重建效果。然而，网络宽度的增加会导致GPU内存和计算的沉重负担。为了解决这个问题，我们提出了PTNet来训练高光谱数据。在这个网络中，原始数据立方体被转置为具有不同维度结构的三数据立方体。
如图1所示，原始数据立方体W×H×λ通过三维矩阵转置被转置为W×λ×H和λ×H×W。红色立方体表示高光谱数据立方体，蓝色箭头表示三维矩阵转置。PTNet的结构如图2所示，可以分为三个阶段。第一阶段包括一个输入块和一个下采样块。前者的作用是通道扩展，以便让每一层学习更丰富的特征，后者是降低数据立方体的空间分辨率，从而减轻计算负担。第二阶段包含3个残差注意力块（RA_Block）。它们的输入是原始数据立方体和两个转置后的数据立方体。转置后的数据立方体来自下采样后的原始数据立方体。输出RA_模块被转置并插值到相同的形状，然后通过连接层根据波长维度将这三个连接起来，以获得一个新的数据立方体。第三阶段包含一个批量归一化层和输出块，原始数据立方体作为残差部分添加到批量归一化层的输出中。由于第二阶段中三个模块的输入不受其他两个模块的输入或输出的影响，该网络被称为并行转置网络。
图1 高光谱矩阵转置的示意图
图2 所提出的PTNet的示意图
3. 实验
3.1 相机光谱敏感度
如上所述，CSS取决于相机的滤波特性。因此，即使不同相机拍摄的是同一物体，也会产生不同的图像。而且不同相机中频谱与RGB值之间的映射关系也会有所不同。因此，在使用相机进行高光谱重建之前，应先对相机进行CSS校准。在接下来的实验中，我们使用单色仪（ZolixOmniλ3027i）测量了本研究中使用的相机（Mindvisionmvsua500ct）的CSS。
如图3所示，氙灯发出的光首先进入单色仪。然后，单色仪发出的窄带光从400nm到650nm以1nm为步长进行调节，同时相机同时拍摄图像。在标定过程中，RGB增益和曝光时间分别设置为1:1:1和20毫秒。因此，通过绘制具有相应波长的RGB值，可以得到每个像素的CSS曲线。图4是一个像素的典型CSS曲线。在这里，CSS曲线已经根据氙灯的标准光谱进行了补偿。
图3 用于测量CSS的实验装置
图4 我们相机的测量对比敏感度曲线
3.2 网络设置与训练
在本研究中，引入了来自NTIRE2020的公开HSI数据集来训练网络，其中450幅归一化图像用于训练，另外10幅用于验证。原始图像的空间分辨率为482×512。并且，为了节省GPU内存，将每幅图像分割成8个空间分辨率为241×128的补丁。在对各种损失函数进行比较后，基于汉明距离的损失函数具有较小的重建误差。该损失函数取预测的HSI(HSIp)和真实HSI（HSIGT)）之间的汉明距离的对数。汉明距离检测两组二进制数据中相应位的不同数字数量。
4. 结果与讨论
训练好的模型通过使用平均相对绝对误差（MRAE）和均方根误差（RMSE）进行评估。通过将训练模型重建的高分辨率遥感图像与整个验证集进行比较，得到了整个验证集的平均绝对误差（MRAE）为0.0354，均方根误差（RMSE）为0.0145。与其他三种算法的误差比较如图5所示。我们选择验证集中的一幅图像的五个波段来评估重建质量。对于每种算法，在650nm700nm范围内的重建误差相对较大。可能的原因是CIE1964在这个波长范围内响应较弱。显然，根据图6，PTNet在大多数波段，尤其是长波长波段表现更好。要实现这些结果，只需要5.97M的模型参数。单个图像的重建大约需要7秒钟。然而，当只保留一个块时，MRAE为0.0410，重建的高分辨率遥感图像的质量远低于使用完整的PTNet。显然，PTNet在不同维度的排列中充分提取了相同数据立方体中的信息，重建的高分辨率遥感图像更加准确。
图5 在五个选定波段下不同算法的热图比较
5. 结论
在这项工作中，我们报告了一种基于卷积神经网络（CNN）的方法，根据真实RGB相机的色彩空间特性（CSS）从单幅RGB图像重建高光谱图像（HSI）。与传统的高光谱相机相比，我们的方法具有成本低、易于实现和便携的优点。我们不是处理公开数据，而是探究了相机硬件多样性对高光谱重建的影响。我们使用结合单色仪的氙灯来精确测量CSS。实验结果表明，准确的CSS有助于减少高光谱成像中的重建误差。此外，我们提出了一种新的重建算法PTNet，它可以通过改变数据立方体的维度结构来深入提取频谱和空间模式之间的关系。这一操作在保证重建速度的同时提高了准确性。在我们的实验条件下，单幅图像的重建大约需要0.45秒。
这种基于RGB相机的高光谱成像方法相比传统的高光谱相机具有以下优势：
- 低成本：传统的高光谱相机通常需要特殊设计的光学装置，如光栅、棱镜、滤光片等，这些组件使得高光谱相机成本高昂。而基于RGB相机的高光谱成像方法利用现有的RGB相机，通过计算成像技术生成虚拟RGB图像，从而降低了硬件成本。
- 易于实现和便携性：传统高光谱相机结构复杂，体积较大，不易于携带和部署。而基于RGB相机的方法利用现有的消费级相机，易于实现和携带，适合于需要快速部署和低成本的应用场景。
- 计算成像技术的灵活性：基于RGB相机的高光谱成像方法通过计算成像技术，可以灵活地生成虚拟RGB图像，这些图像近似于真实拍摄的图像。这种方法不仅减少了硬件的复杂性，还提高了成像的灵活性和适应性。
- 算法优化：该方法通过深度学习算法（如CNN）进行高光谱图像的重建，能够从RGB图像中提取出高光谱信息。通过改变数据立方体的维度结构，可以更深入地提取光谱与空间模式之间的关系，从而提高重建的准确性和速度。
- 适应不同相机硬件：该方法考虑了相机硬件多样性对高光谱重建的影响，通过精确校准相机光谱灵敏度（CSS），减少了重建误差。这使得该方法能够适应不同型号和配置的RGB相机，具有更广泛的适用性。
综上所述，基于RGB相机的高光谱成像方法在成本、实现难度、便携性、计算灵活性和算法优化等方面相比传统高光谱相机具有显著优势。