基于小样本的毫米波雷达手势识别算法研究.pdf

基于小样本的毫米波雷达手势识别算法研究

摘要

在手势识别领域，相较于数据手套，摄像头等传感器，雷达具有不受环境光影响，

不暴露用户隐私，数据量少等优点。同时，相比于传统长波段雷达，毫米波雷达凭借更

好的分辨率和更小的体积，更适用于手势识别任务。在最新的手势识别相关算法研究中，

得益于毫米波雷达的各种优点，越来越多的研究人员选用毫米波雷达作为传感器实现手

势的分类识别，证明基于毫米波雷达的手势识别算法有重要的研究意义。但目前基于毫

米波雷达的手势识别相关算法存在数据采集困难、分类模型复杂、输入数据维度过大的

问题。针对上述问题，本文通过固定种类特征提取代替深度学习网络提取特征，使用生

成对抗网络生成雷达2D-FFT矩阵数据，使用自注意力机制网络代替卷积神经网络加循

环神经网络的组合网络实现手势识别分类，通过网络训练与测试，证明该方法具有可行

性。主要研究内容如下：

1、论文简述了毫米波雷达系统，分析了毫米波雷达的分辨率；距离，速度，角度信

息的获取方法；工程实现方法（3D-FFT）；静态杂波干扰抑制；本文手势识别任务毫米

波雷达参数配置。同时，介绍了本文手势数据采集环境和采集时遵循的准则，以及本文

在采集手势回波数据时所需用到的硬件板卡设备。

2、针对毫米波雷达数据采集复杂的问题，本文提出了基于生成对抗网络的RF-GAN

（RadarFeatureGAN）网络和使用生成对抗网络加长短时记忆网络的组合网络RF-

LSGAN（RadarFeatureLSTM-GAN）用于手势雷达回波数据的生成。分别对这两种网络

进行了训练，对生成数据在单帧2D-FFT热图和连续帧特征随时间变化两个维度上进行

了效果评判，通过训练结果，选择使用RF-GAN网络生成大量本文手势雷达回波数据。

3、针对手势分类网络复杂的问题，提出了基于自注意力机制的RFT（RadarFeature

Transformer）网络。首先，为了正确有效地关联时序信息，分析了各种时序编码的利弊，

并说明了本文选用可学习的一维位置编码的原因。其次，根据本文所需的数据集和手势

识别分类任务，确定了RFT网络的基本框架，并通过训练确定了网络的结构与参数。最

后，与现有手势识别分类网络在分类准确率、识别手势类别数和识别难度三个维度进行

了对比，证明RFT网络在多类别手势分类上有较好表现。

关键词：毫米波雷达；数据生成网络；长短时记忆网络；自注意力机制

基于小样本的毫米波雷达手势识别算法研究

Abstract

Inthefieldofgesturerecognition,comparedwithdatagloves,camerasandothersensors,

radarhastheadvantagesofnotbeingaffectedbyambientlight,notexposinguserprivacy,and

lessdata.Atthesametime,comparedwithtraditionallongbandradar,millimeterwaveradar

ismoresuitableforgesturerecognitiontaskswithbetterresolutionandsmallervolume.Inthe

latestresearchongesturerecognitionrelatedalgorithms,thankstotheadvantagesofmillimeter

waveradar,moreandmoreresearcherschoosemillimeterwaveradarasthesensortoachieve

gestureclassificationrecognition,whichprovesthatgesturerecognitionalgorithmbasedon

millimeterwaveradarhasimportantresearchsignificance.However,thecurren