基于视频深度学习的时空双流人物动作识别模型

来源：计算机应用杂志2018年第3期北京时间：

作者：杨天明, 陈志, 岳文静

单位：1. 南京邮电大学 计算机学院, 南京 210023;2. 南京邮电大学 通信与信息工程学院, 南京 210003

摘要：深度学习在人物动作识别方面已取得较好的成效，但当前仍然需要充分利用视频中人物的外形信息和运动信息。为利用视频中的空间信息和时间信息来识别人物行为动作，提出一种时空双流视频人物动作识别模型。该模型首先利用两个卷积神经网络分别抽取视频动作片段空间和时间特征，接着融合这两个卷积神经网络并提取中层时空特征，最后将提取的中层特征输入到3D卷积神经网络来完成视频中人物动作的识别。在数据集UCF101和HMDB51上，进行视频人物动作识别实验。实验结果表明，所提出的基于时空双流的3D卷积神经网络模型能够有效地识别视频人物动作。

关键词：人物动作识别,时空模型,深度学习,卷积神经网络,视频挖掘

基金资助：国家自然科学基金资助项目（61501253）；江苏省自然科学基金资助项目（BK20151506）；江苏省"六大人才高峰"第十一批高层次人才选拔培养资助项目（XXRJ-009）；江苏省重点研发计划（社会发展）项目（BE2016778）；南京邮电大学科研项目（NY217054）。