基于关键帧的双流卷积网络的人体动作识别方法

来源：南京信息工程大学学报·自然科学版杂志2019年第6期北京时间：

作者：张聪聪

单位：张聪聪,北京联合大学 机器人学院, 北京, 100101,何宁,北京联合大学 智慧城市学院, 北京, 100101,xxthening@buu.edu.cnis_first_author:0,is_contact_author:,sequence:2,first_name:,middle_name:,last_name:,resume:,institute_superscript:

摘要：针对视频序列中人体动作识别存在信息冗余大、准确率低的问题，提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入，送入VGG16网络模型，提取视频的深度特征；其次提取视频的关键帧，通过不断预测每个视频帧的重要性，选取有足够信息的有用帧并汇聚起来送入神经网络进行训练，选出关键帧并丢弃冗余帧；最后将两个模型的Softmax输出加权融合作为输出结果，得到一个多模型融合的人体动作识别器，实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明，与当前人体动作识别的主流方法相比，该方法具有较高的识别率，并且相对降低了网络的复杂度.

关键词：关键帧;双流网络;动作识别;特征提取;特征融合

基金资助：国家自然科学基金（61872042，61572077）；北京市自然科学基金委和北京市教委联合重点项目（KZ201911417048）