基于多域表征与多分辨率融合的多通道毫米波雷达手势识别

来源：信号处理杂志 2024年第12期北京时间：

作者：祝庆曦, 范孝冬, 刘剑刚, 贾勇, 陈川

摘要：随着智能设备的普及和技术的快速发展，手势识别技术在智慧家居、智能驾驶领域展现了巨大的应用价值。手势识别的关键在于如何在不同用户、不同方位、手势特征易混淆的情况下仍然保持较高识别精度。为解决易混淆手势识别率低，特征利用不充分的问题，本文提出了一种基于多域表征与多分辨率融合的卷积神经网络的手势识别方法，首先分别通过短时傅里叶变换（Short-Time Fourier Transform， STFT）、二维快速傅里叶变换（Two-Dimensional Fast Fourier Transform， 2D-FFT）、最小方差无畸变响应（Minimum Variance Distortionless Response， MVDR）波束形成生成不同域下的三种表征图像，即时间-频率域、时间-距离域和时间-角度域图像。针对三种表征图像，设计了由三个并行二维卷积神经网络（Two-Dimensional Convolutional Neural Networks， 2DCNNs）与多分辨率融合模块（Multi-Resolution Fusion Module， MRFM）串联的复合神经网络，用于从图像中提取手势特征并进行识别。最后，创建了包含七种手势的多域表征图像数据集，对模型进行训练和测试，测试结果表明，在不同用户、不同方位、不同环境的手势识别场景下，本文提出的方法与不使用多分辨率融合模块的模型相比，对七种易混淆手势的平均识别准确率提高了2.6%。与仅使用单一类别表征的模型相比，该模型的识别准确率提高了4.8%。

关键词：‍‍：‍‍手势识别, 多分辨率, 多域表征, 特征融合, 多通道毫米波雷达