基于双流-非局部时空残差卷积神经网络的人体行为识别

来源：电子与信息学报杂志2024年第3期北京时间：

作者：钱惠敏, 陈实, 皇甫晓瑛

单位：河海大学 南京 211100

摘要：3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构，且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地，该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN)，该网络采用双流架构，分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN)，并采用均值融合算法融合两个子网络的识别结果。进一步地，为了降低网络的复杂度，该文提出了针对时空残差卷积神经网络的通道剪枝方案，在实现模型压缩的同时，可基本保持模型的识别精度；为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系，提高网络的识别精度，该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明，该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比，该文模型具有参数量小、识别精度高的优点。

关键词：人体行为识别, 双流卷积神经网络, 3维卷积神经网络, 网络剪枝, 非局部模块