基于自监督学习的小样本图像分类算法研究.pdf

基于自监督学习的小样本图像分类算法研究

摘要

小样本学习是机器学习领域中的一个重要研究方向，旨在让模型从一定类别的数据

中学习到知识后，在新的类别上只需极少量样本就能进行准确预测。目前小样本学习主

流方法是基于监督学习的范式，监督训练过程中对大量标注数据的依赖限制了小样本学

习的发展。本文通过设计自监督学习任务在无标签数据中进行训练来减少对数据量的依

赖，提升小样本图像分类任务的性能，主要工作如下：

针对传统对比学习训练过程中因为依赖负样本对从而需要大的批尺寸，导致对显存

等计算资源要求过高的问题，提出了一种不依赖负样本的对比学习小样本图像分类模型。

该模型分为预训练阶段和元学习阶段，预训练阶段中的对比学习方法采用一种双向结构

来处理同一图像的两个变换版本，并通过对称的损失函数迫使两个网络的输出一致，避

免了对负样本的需求。在元训练阶设计了一个特征变换模块，使用最佳传输的思想对学

习的特征进行重新嵌入，学习数据之间的高阶关系，增大对不同特征之间的区分度，同

时结合原型网络进行小样本图像分类。实验表明，该模型对比监督学习方法具有更好的

性能。

针对视觉Transformer因为缺乏卷积神经网络的归纳偏置导致在解决小样本图像分

类任务时性能差的问题，提出了一种基于掩码图像建模的小样本图像分类模型。该模型

继承了对比学习在特征提取方面的优势并且能更好地捕捉图像内在的结构信息和细节

变化。在预训练阶段使用掩码图像建模方法还原掩码图像像素来学习图像的内部表示，

该过程使用视觉Transformer作为编码器，能有效缓解视觉Transformer对数据的依赖。

同时在预训练过程设计了一个位置预测任务，使用多个MLP结构预测未被掩码的图像

块在原始图像的位置来学习图像更多的局部信息。元训练阶段在特征变换结合原型网络

的基础上使用自蒸馏策略来提升模型的泛化性。实验表明本文提出的基于掩码图像建模

的小样本图像分类模型能大幅度提高视觉Transformer在小样本图像分类任务中的性能。

关键词：小样本学习；图像分类；自监督学习；原型网络；知识蒸馏

基于自监督学习的小样本图像分类算法研究

Abstract

Few-shotlearningisanimportantresearchdirectioninthefieldofmachinelearning,

aimingtoallowmodelstomakeaccuratepredictionsonnewcategorieswithonlyaverysmall

numberofsamplesafterlearningfromcertaincategoriesofdata.Currently,themainstream

methodoffew-shotlearningisbasedonthesupervisedlearningparadigm,andthedependence

onalargeamountoflabeleddataduringsupervisedtraininglimitsthedevelopmentoffew-shot

learning.Inthispaper,wereducethedependenceondatavolumeandimprovetheperformance

offew-shotimageclassificationtaskbydesigningself-supervisedlearningtasktotrainin

unlabeleddata,andthemainworkisasfollows:

Toaddresstheissueintraditionalcontrastivelearningtraining,wheretherelianceon

negativesamplesnecessitateslargebatchsi