关联模态补偿的视频动作识别算法

来源：软件学报杂志2018年第S2期北京时间：

作者：宋思捷,刘家瑛,厉扬豪,郭宗明

单位：宋思捷，北京大学 计算机科学技术研究所, 北京 10087111,刘家瑛，北京大学 计算机科学技术研究所, 北京 10087102,厉扬豪，北京大学 计算机科学技术研究所, 北京 10087103,郭宗明，北京大学 计算机科学技术研究所, 北京 10087104

摘要：随着深度摄像机的发展，不同模态的视频数据更易获得.基于多模态数据的视频动作识别也受到越来越广泛的关注.不同模态的数据能够从多个角度对视频动作进行描述，如何有效地利用多模态数据并形成优势互补是视频动作识别中的重要方向.提出了一种基于关联模态补偿的视频动作识别算法.该方法以RGB和光流场视频数据为源模态，以3D骨架数据为辅助模态，利用源模态和辅助模态高层特征空间的关联性，补偿源模态的特征提取.该算法基于卷积神经网络和长短期记忆网络，对源模态数据和辅助模态数据进行时空域特征建模.在此基础上，提出了基于残差子网络的模态适应模块，通过统一源模态特征和辅助模态特征的数据分布，实现辅助模态对源模态的特征补偿.考虑到源模态数据和辅助模态数据在动作类别或动作样本等方面存在不同程度的对齐情况，设计了多层次模态适应算法，以适应不同的训练数据.所提算法仅在训练过程中需要辅助模态的帮助，在测试过程中可以仅根据源模态数据进行动作的识别，极大地拓展了该算法的实用性.在通用公共数据集上的实验结果表明，相比于现有动作识别算法，该算法取得了更加优越的性能.

关键词：视频动作识别;多模态数据;关联模态补偿;深度学习;残差学习

基金资助：国家自然科学基金（61772043）