基于文本-图像的多模态检索与定位算法设计与实现.pdf

摘要

在信息高速发展的背景下，自然语言处理和计算机视觉领域通过深度学习技

术处理和分析大规模数据集，使得多模态学习得以迅速发展。多模态检索任务和

多模态定位任务是多模态领域两个重要的任务。其中，多模态检索任务往往依赖

于海量的数据，对实验设备与算力的要求非常高。对于多模态定位任务，现有的

算法因为神经网络的结构而未充分挖掘多尺度特征。

为应对多模态检索和视觉定位的双重任务，本研究采用了由双流结构向单流

结构转化的端到端学习架构。其中双流单模态编码器的设计解决多模态检索任务，

单流融合编码器的设计解决多模态定位任务。

在多模态检索任务中，本研究采用了双重对齐策略。一是利用双流动量编码

器和负样本库进行图文特征的对比学习。二是通过注意力蒸馏算法学习蒸馏特征

以模拟教师模型输出。这种策略通过分类特征和蒸馏特征的协同作用，减少了对

大规模数据的需求从而降低了成本，并且得到了相比于单一策略更高的图文互检

索精确率与召回率。

在视觉定位任务中，本研究在视觉编码器中加入了窗口式的注意力计算，并

且针对序列过长的问题设计了稀疏融合层，其核心是采用层级式稀疏注意力算法，

其在稀疏查询条件下更有效地整合信息，使得模型在减少大量计算的情况下不丢

失定位准确率和平均交并比。同时，多模态检索任务对于多模态定位任务具有一

定的辅助作用，可以通过对齐不同模态之间的特征从而提高多模态定位任务的准

确率。

为了加速模型的推理，本研究使用了TensorRT对模型进行了部署，使得推理

速度得到了提升。本研究的成果具有广泛的应用前景，在安防系统，医学诊断，智

能家居中也有应用场景，具有潜在的经济效益与社会价值。

关键词：多模态学习，窗口式注意力，双重对齐，稀疏融合层

I

ABSTRACT

ABSTRACT

Withtherapiddevelopmentofinformationtechnology,naturallanguageprocess-

ingandcomputervisionhaveleverageddeeplearningtoprocessandanalyzelarge-scale

datasets,leadingtotheadvancementofmultimodallearning.Multimodalretrievaland

multimodallocalizationaretwoimportanttasksinthefield.Themultimodalretrieval

taskusuallyreliesonmassivedatasets,whichrequireshighcomputilityandexpensive

devices.Formultimodallocalization,existingalgorithmshavenotfullyexploitedmulti-

scalefeaturesduetothestructureofmodels.

Toaddressthedualtasksofmultimodalretrievalandmultimodallocalization,this

researchadoptsanend-to-endmodelarchitecturethattransitionsfromadual-streamstruc-

turetoasingle-streamstructure.Thedesignofthedual-streamunimodalencoderad-

dressesthemultimodalretrievaltask,whilethesingle-streamfusionencoderaredesigned

totacklethemultimodallocalizationtask.

Inthemultimodalretrievaltask,thisresearchemploysadoublealignstrategy.First,

itusesadua