基于特征融合时序分割网络的行为识别研究

来源：计算机研究与发展杂志2020年第1期北京时间：

作者：李洪均,丁宇鹏,李超波,张士兵,

摘要：行为识别是当今计算机视觉领域的一个研究热点，是一项具有挑战性的任务.行为识别分析与其网络输入数据类型、网络结构、特征融合环节具有密切联系.目前，主流的行为识别网络输入数据为RGB图像和光流图像，网络结构主要以双流和3D卷积为主；而特征选择直接影响到识别的效率，多层次的特征融合工作还有很多问题有待解决.针对主流的双流卷积网络输入数据为RGB图像和光流图像的局限，利用低秩空间中稀疏特征能够有效捕捉视频中运动物体信息的特点，对网络输入数据进行补充.同时，针对网络中缺乏信息交互的特点，将深度网络中高层语义信息和低层细节信息结合起来共同识别行为动作，使时序分割网络性能更具优势.在行为识别数据集UCF101和HMDB51上取得了97.1%和76.7%的识别效果，较目前主流算法有了较大的提升.实验结果表明，该方法能够有效地提高行为识别的识别率.

关键词：行为识别, 稀疏特征, 时序分割网络, 双流卷积网络, 特征融合,