多尺度时空特征融合的动态手势识别网络

来源：电子与信息学报杂志2023年第7期北京时间：

作者：刘杰, 王月, 田明

单位：1.哈尔滨理工大学测控技术与通信工程学院 哈尔滨 1500802.中国电信股份有限公司黑龙江分公司 哈尔滨 150040

摘要：由于动态手势数据具有时间复杂性以及空间复杂性，传统的机器学习算法难以提取准确的手势特征；现有的动态手势识别算法网络设计复杂、参数量大、手势特征提取不充分。为解决以上问题，该文提出一种基于卷积视觉自注意力模型(CvT)的多尺度时空特征融合网络。首先，将图片分类领域的CvT网络引入动态手势分类领域，用于提取单张手势图片的空间特征，将不同空间尺度的浅层特征与深层特征融合。其次，设计一种多时间尺度聚合模块，提取动态手势的时空特征，将CvT网络与多时间尺度聚合模块结合，抑制无效特征。最后为了弥补CvT网络中dropout层的不足，将R-Drop模型应用于多尺度时空特征融合网络。在Jester数据集上进行实验验证，与多种基于深度学习的动态手势识别方法进行对比，实验结果表明，该文方法在识别率上优于现有动态手势识别方法，在动态手势数据集Jester上识别率达到92.26%。

关键词：动态手势识别, 深度学习, 卷积视觉自注意力模型, 多尺度融合

基金资助：黑龙江省自然科学基金(LH2019E067)