时域注意力Dense-TCNs在多模手势识别中的应用
来源：计算机工程杂志2020年第9期北京时间：
作者：张毅, 赵杰煜, 王翀, 郑烨
单位：宁波大学 信息科学与工程学院, 浙江 宁波 315211
摘要：为增强时间卷积网络（TCNs）在时间特征提取方面的能力，提出一种基于三维密集卷积网络与改进TCNs的多模态手势识别方法。通过时空特征表示方法将手势视频分析任务分为空间分析和时间分析两部分。在空间分析中采用三维DenseNets学习短期的时空特征，在时间分析中使用TCNs提取时间特征。在此基础上引入注意力机制，使用时域维度的压缩-激励网络调整每个TCNs层特征在时间维度上的权值比重。分别在VIVA和NVGesture两个动态手势数据集上对该方法进行评价，实验结果表明，该方法在VIVA数据集上的正确率为91.54%，在NVGesture数据集上的正确率为86.37%，且与最新的MTUT方法水平相近。
关键词：手势识别,三维密集卷积网络,时间卷积网络,短时时空特征,注意力机制
基金资助：国家自然科学基金（61603202，61571247）；浙江省自然科学基金重点项目（LZ16F03001，LY17F030002）。
