基于Swin Transformer的近红外图像超分辨率重建方法研究.pdf

摘要

摘要

近红外成像技术利用近红外探测器捕捉0.7μm至1.4μm波长反射光以生成图

像。该技术揭示了可见光技术无法显示的信息，并因其稳定性、高灵敏度、无损

性等优点，在夜视、环境监测、食品检测、医学检测等领域广泛应用。然而，近红

外图像通常受到光源物理特性和高昂成像设备成本的限制，存在分辨率低的问题。

提高近红外图像分辨率的方法分为硬件和软件两种。尽管硬件方法效果显

著，但成本过高；软件方法，尤其是图像超分辨率(SuperResolution,SR)技术，

成本较低且易于实施。鉴于此，针对近红外图像的特性，提出了两种基于Swin

Transformer的超分辨率重建算法：

（1）在现有的基于卷积神经网络的图像SR技术中，主要侧重于局部纹理信

息的重建，这常常无法满足近红外SR对全局边缘结构信息的需求。针对这一

挑战，提出了一种深度特征提取单元RSwin-CrossSFB，该单元结合了残差Swin

Transformer（ResidualSwinTransformerBlock，RSTB）和快速傅里叶卷积（Fast

FourierConvolution，FFC）的全局建模能力以及交叉卷积的结构化特征探索优势，

从而更有效地学习低分辨率近红外图像中缺失的全局结构信息。基于此单元，结

合SwinIR架构，进一步提出了近红外图像超分辨率模型NICrossRSwin。实验数据

显示，该模型在较低的重建倍数下表现出良好的参数与性能平衡，并能在高重建

倍数下有效重建出质量更高的近红外图像。

（2）鉴于多尺度特征提取在维持全局结构信息方面的显著优势，提出了一

种基于多尺度SwinTransformer的新型近红外图像超分辨率模型，名为NICross-

RSUNet。此模型相较于NICrossRSwin，对深度特征提取模块进行了多尺度化改

进，选用了结构简单且高效的UNet网络作为多尺度特征提取的主要架构，并通过

通道交叉融合Transformer（Channel-wiseCrossFusionTransformer,CCT）模块，优

化了UNet内部不同尺度特征之间的通道依赖关系。这一改进显著增强了UNet的

多尺度特征提取和处理能力。通过一系列定性和定量的对比实验，数据表明，与

NICrossRSwin模型相比，NICross-RSUNet显示了更优越的学习和表达能力，能够

重建具有更丰富结构纹理的近红外图像。

关键词：近红外图像，超分辨率重建，Transformer，多尺度

I

ABSTRACT

ABSTRACT

Near-infraredimagingtechnologyemploysnear-infrareddetectorstocapturereflected

lightwithwavelengthsrangingfrom0.7μmto1.4μm,creatingimages.Thistechnology

revealsinformationthatvisiblelightmethodscannotdetectandiswidelyusedinnight

vision,environmentalmonitoring,foodinspection,andmedicaldiagnosticsduetoitssta-

bility,highsensitivity,andnon-destructivenature.However,near-infraredimagesare

typicallylimitedbythephysicalpropertiesoflightsourcesandthehighcostsofimaging

equipment,resultinginlowerresolutionissues.

Methodstoenhancetheresolutionofnear-infraredimagesaredividedintohardware

andsoftwareapproaches.