降噪、去伪影、提速率……综述深度学习在光纤成像中的应用

降噪、去伪影、提速率……综述深度学习在光纤成像中的应用

光纤成像技术以其微小尺寸和良好柔韧性，在医学成像、工业检测和科学研究等领域具有广泛应用。然而，传统光纤成像技术面临多芯光纤和多模光纤引入的噪声和伪影问题，以及光信号丢失等挑战。近年来，深度学习技术在图像处理领域的突破为光纤成像技术带来了新的发展机遇。

“光纤微探窥玄机，深度学习绘影奇”——光纤以其微小的尺寸能够深入体内、地下等狭小区域进行精密探测，捕捉到微小而复杂的光学信息，而深度学习技术可对这些光学信息进行分析和处理，实现图像和信息的高质量重建。

“数据纷纭真理现，光影交融奥秘知”——在光纤成像中获取的数据常常复杂且信噪比低，深度学习能够从这些复杂的数据中提取出有价值的信息，揭示出其中隐藏的特征关联。

光纤成像技术的背景与挑战

光纤成像技术起源于20世纪中叶，通过将大量细小的光纤束捆绑在一起，光纤可以传输图像信息。光纤的微小尺寸和良好的柔韧性使得它能够在狭窄或难以到达的区域进行高分辨率成像，且在整个成像过程中对样本无损伤。因此，光纤成像技术广泛应用于医学成像、工业检测和科学研究等领域。然而，光纤成像技术也面临着一些技术瓶颈，如多芯光纤和多模光纤在图像传输过程中会引入噪声和伪影，导致成像质量下降。此外，光纤在弯曲或受外界物理环境影响时可能会发生光信号丢失，这进一步限制了光纤成像的应用范围和精度。

图1 常用光纤的结构、原理和成像效果。(a)单模光纤；(b)多芯光纤；(c)多模光纤

随着计算成像技术的发展，研究者们尝试对光纤成像进行校准和增强，从而克服传统光纤成像的限制。然而，传统的计算方法在提升成像质量和精度方面仍存在诸多不足。近年来，深度学习技术在图像处理领域展现出卓越的性能，为光纤成像注入了新的动力。深度学习从大量数据中学习输入与输出之间的复杂关系，能够实现高效的图像处理和重建。在解决成像质量低、图像处理速度慢等问题上，深度学习展现出了显著优势，使光纤成像的应用前景更加广阔。

图2 光纤智能成像中常用的深度学习模型。(a)全连接神经网络[58]；(b)U-Net[59]；(c)生成对抗网络[60]

深度学习驱动的光纤成像发展现状

深度学习驱动的多芯光纤成像

在多芯光纤成像中，深度学习被广泛应用于解决成像过程中产生的蜂窝状伪影问题。这些伪影会显著降低图像的分辨率和对比度，尤其对医学诊断的准确性有很大影响。传统的方法如傅立叶域滤波和图像插值在去除这些伪影方面效果有限，而深度学习则能够通过端到端的方式直接学习伪影与高分辨率图像之间的映射关系，从而提高图像质量。此外，深度学习还应用于无透镜光纤内窥镜中，实现了非相干成像的高分辨率修复。

图3 基于多芯光纤的非相干成像。(a)同轴双传感器光纤成像系统；(b)基于MBIN的图像修复模型整体结构；(c)基于多芯光纤的非相干成像图以及拼接后的深度学习重建图

深度学习驱动的多模光纤成像

多模光纤成像利用多种光模式的同时传输，实现了高空间带宽积的成像。然而，多模光纤的复杂光场传播特性为图像重建带来了挑战。深度学习通过学习多模光纤输入与输出之间的复杂关系，可以有效重建失真图像。近年来，深度学习在多模光纤散斑成像、光谱成像和偏振成像等领域取得了显著进展，展示了其在高带宽通信和高分辨率成像中的应用潜力。

图4 基于多模光纤的手写拉丁字母对应散斑重建图。(a)模型从输出幅度散斑图重建输入幅度图;(b)模型从输出幅度散斑图重建输入相位图;(c)模型通过真实图像预测对应的空间光调制器相位图，经过多模光纤后，真实图像在相机上实现重建

智能光纤成像在计算机视觉任务上的应用

在边缘检测、图像分类和去噪等计算机视觉任务中，研究者开发了端到端的深度学习方法，不再依赖传统的图像重建过程，而是直接通过光纤成像获取目标信息。这些方法不仅提高了计算效率，还显著提升了任务的精度和可靠性，特别是在极端或受干扰的环境中。智能多模光纤成像为在狭小或难以到达的空间中执行高效的计算机视觉任务提供了新的可能性，拓展了光纤成像技术在实际应用中的潜力。

图5 多模光纤成像在计算机视觉任务上的应用。(a)基于多模光纤散斑的图像分类;(b)基于多模光纤散斑的边缘检测;(c)基于多模光纤散斑的图像去噪

总结与展望

深度学习技术在光纤成像领域的应用展现了极大的潜力，通过克服传统方法的局限，显著提升了成像质量和效率；特别是在多芯光纤和多模光纤成像中，深度学习的引入解决了诸如蜂窝状伪影、相位失真以及复杂光场重建等关键问题。然而，尽管取得了显著进展，当前的研究仍面临数据稀缺、鲁棒性不足以及模型与物理特性结合不充分等挑战。展望未来，随着深度学习技术的不断发展，光纤成像将在医学、工业和通信等领域迎来更加广泛和深入的应用，为这些领域带来革新和进步。