基于注意力机制的半监督高光谱图像分类方法.pdf

基于注意力机制的半监督高光谱图像分类方法

摘要

高光谱图像数据具有三维结构，既包含了地物的二维空间信息，又包含了丰富的一

维光谱信息。因此，高光谱图像在城市发展规划、地表覆盖分析和环境气候检测等领域

得到了广泛的应用。在这些应用中对高光谱图像数据进行分类是一个重要的研究内容。

高光谱图像分类主要是根据每种地物反射的不同光谱曲线和不同的空间位置信息进行

种类的区分。然而，由于高光谱图像具有高维度和大量的冗余信息，同时存在类别不平

衡的情况。使得高光谱图像分类仍然是一个具有挑战性的问题。随着深度学习被应用于

高光谱图像分类领域，虽然其相较于传统网络显示出良好的性能，但仍存在一些需要解

决的问题。基于高光谱图像数据具有的特点，本文主要研究内容如下：

首先，针对利用深度学习方法对高光谱图像进行分类时的准确性依赖于使用大量标

记样本对网络进行训练，然而，由于高光谱图像具有大量像素点，标记样本的工作量大，

现有标记样本少的问题。本文提出了一种基于不确定性感知和自注意力机制的半监督分

类网络，该网络可以在有限的标记样本下提高分类精度。具体而言，首先设计了一种非

对称密集残差网络对所有样本进行编码，该网络使用三维非对称卷积核进行卷积运算，

相比于传统卷积核来说可以减少网络的参数量。然后利用中心焦点损失函数对网络参数

进行更新，使网络参数达到最优值，以此提高网络的鲁棒性。此外，使用基于不确定感

知算法估计编码后样本的分布特征，该网络可以生成高置信度的伪样本。可以通过使用

伪样本扩充网络的训练集，从而减少分类网络对标记样本的需求。最后，提出了一种密

集自适应注意力空谱卷积网络用于分类，该网络融合了分离空间光谱卷积和自学习注意

机制，可以保证充分提取空间和光谱信息的同时提高网络的效率。该网络可以充分利用

未标记样本包含的信息以辅助标记样本获得更准确的分类结果。在四个公开的数据集上

进行了实验，以证明提出网络的有效性。

其次，针对目前广泛用于高光谱图像分类的卷积神经网络存在感受野受限，无法捕

获全局特征信息，而最新提出的VisionTransformer模型因为摒弃卷积运算在运算过程

中特征尺寸保持不变，无法获得局部特征信息的问题。本文为了完整地提取高光谱图像

的局部特征和全局特征，提出了一种基于混合注意力机制的双支路半监督分类网络。该

网络包含两条支路，分别为用于提取局部特征信息的卷积神经网络和用于提取全局信息

的VisionTransformer网络。首先，在卷积神经网络中引入高效通道注意力机制，能够将

网络的关注点在大量的光谱信息中集中于对分类任务有帮助的光谱上，并采用残差连接

哈尔滨工程大学硕士学位论文

的方式将每层的分离空谱卷积运算进行了连接。其次，在改进过的VisionTransformer模

型中使用从低层特征图中提取的令牌进行嵌入，保证信息的完整性，并使用多头空间光

谱自注意力提取空间和光谱信息。最后，使用特征融合模块将两条支路提取的特征信息

进行融合，提高最终的分类精度。为了验证所提网络的效果，同样在四个公开数据集上

进行了对比和消融实验。结果证明所提网络在所有数据集上都体现出了最优的分类精确

度。

关键词：高光谱图像分类；伪样本；卷积神经网络；VisionTransformer；特征融合

基于注意力机制的半监督高光谱图像分类方法

Abstract

Hyperspectralimagedatahasathree-dimensionalstructure,containingbothtwo-

dimensionalspatialinformationoffeaturesandrichone-dimensionalspectralinformation.

Therefore,hyperspectralimageshavebeenwidelyusedinfieldssuchasurbandevelopment

planning,landcoveranalysis,andenvironmentalclimatedetection.Classificationof

hyperspect