基于脉冲神经网络的光流估计算法研究.pdf

摘要

光流是对物体运动信息的描述方式，在结构空间信息和运动时间信息占主导

的任务上有很大潜力。然而使用传统相机成像进行光流估计在低光、高速等诸多场

景下会出现图像模糊、时间分辨率低等问题。事件相机具有高动态范围、高时间分

辨率等优势，能够较好地解决上述问题，提供更多的场景选择。脉冲神经网络

(SpikingNeuralNetwork,SNN)提供异步事件驱动的计算，天然适合事件数据。本学

位论文提出时空特征融合光流估计网络(Spatio-temporalFeaturesFusionOptical

FlowEstimationNetwork，ST-FlowNet)。ST-FlowNet将不同尺度的特征信息进行互

补性融合，并且利用已获取的光流信息修正预测光流。由于ANN更加成熟在光流

精度上优于SNN，因此本学位论文对ST-FlowNet使用ANN转SNN的训练策略，

然后分别在三个事件相机数据集上进行实验，取得了以下结果：

第一、对比现有主流ANN方法，ST-FlowNet在参数量和计算量相差不多情况

下所有场景的光流总平均端点误差最低。在参数量和计算量低于以往最优结果方

法69.1%和87.9%的情况下光流总平均端点误差几乎一致。表明ST-FlowNet在光

流精度和参数量、计算量三方面综合来看更具优势。

第二、对比现有SNN方法，转换后的ST-FlowNet在光流精度上超越了以往

的SNN方法，光流平均端点误差能够降低15.7%。ST-FlowNet转SNN后光流平

均端点误差不会增加，转换总误差为-2.4%。我们的方法预测光流的误差在三个数

据集上均低于其他SNN方法，具有优越的性能和鲁棒性。

第三、分析在ST-FlowNet和ST-FlowNet转SNN上的消融实验。在不同场景

下，解码层融合方法均能较大程度的提升光流精度。信息增强模块的表现有所差异，

光流校正模块能够稳定减少平均端点误差。加入以上三种方法后平均端点误差能

够降低25.9%。表明应用解码层融合方法、信息增强模块和光流校正模块后性能提

升显著。

综上所述，解码层融合方法和光流校正模块显著提升了光流估计的效果，展现

出强大的鲁棒性。相较于现有方法，ST-FlowNet在性能、计算量、参数量方面均

具优势。ST-FlowNet转SNN后性能远超已有SNN方法。我们为基于事件数据的

脉冲神经网络光流估计提供了切实可行的解决方案，实现了在低参数量、低计算量、

低功耗下的优越性能，使其更适用于资源受限的嵌入式系统和移动设备。

关键词：光流估计，事件数据，脉冲神经网络，人工神经网络转脉冲神经网络

ABSTRACT

Opticalflowisamethodfordescribingobjectmotioninformation,whichhasgreat

potentialintaskswherestructuralspatialinformationandmotiontemporalinformation

aredominant.However,theopticalflowestimationusingtraditionalcameraimagingwill

havesomeissuessuchasimageblurandlowtimeresolutioninlowlight,highspeedand

manyotherscenes.Eventcamerahastheadvantagesofhighdynamicrangeandhightime

resolution,whichcanbettersolvetheaboveproblemsandprovidemorescenechoices.

SpikingNeuralnetworks(SNN)provideasynchronouseventdriverscomputingandare

naturallysuitedtoevent-baseddata.ThisthesisproposestheSpatio-temporalFeatures

FusionOptical