基于浅三维稠密网的多模态手势识别算法

来源：计算机工程与应用杂志2019年第19期北京时间：

作者：邓智方，袁家政，刘宏哲，原春锋，张宏源

单位：1.北京联合大学 北京市信息服务工程重点实验室，北京 100101；2.北京开放大学 科学研究处，北京 100081；3.中国科学院 自动化研究所 模式识别重点实验室，北京 100190

摘要：手势识别旨在理解人体的动态手势，是人机交互领域极其重要的交互方式之一。该方法通过将二维稠密网扩展为三维稠密网，并加入Inception结构，提出了一种基于浅三维稠密网的多模态手势识别方法，将其命名为Spatial Temporal 3D（ST3D） dense network。所提出的方法在手势识别公开数据集大规模离散手势数据集（IsoGD）上进行了评估，并取得了目前最好效果。实验证明，所提方法能够有效地学习到视频样本中手势的短期、中期以及长期时空特征。

关键词：ST3D方法,Inception结构,多模态,手势识别