轨迹特征融合双流模型的动态手势识别

来源：计算机技术与发展杂志2020年第12期北京时间：

作者：林玲;';陈姚节;';徐新;';郭同欢;'

摘要：针对现有动态手势识别任务的识别率不高、鲁棒性不强等问题,提出一种新的动态手势识别方法。 该方法将轨迹特征与手型时空特征融合到自适应分配权值的双流网络模型中,实现动态手势有效准确的识别。 通过 Kinect 采集到整个动态手势的深度图序列和彩色图序列,从中提取出动态手势的轨迹特征曲线图与手型特征变化序列图;而后利用 2D 残差网络对动态手势的轨迹特征曲线图进行识别,得到轨迹信息识别结果;同时采用二模态训练后的 3D 双卷积神经网络对动态手势时空信息进行识别,得到时空网络识别结果;再根据两种网络的识别结果通过自适应分配权值进行融合得到最终的识别结果。 实验结果表明,该方法在自制 SKIG 数据集上的识别率平均为 99.52% ,相比于其他方法取得了更高的识别精度,体现了该方法的鲁棒性与优越性。

关键词：轨迹识别;时空信息识别;双流网络;自适应分配权值;手势识别