基于scSE非局部双流ResNet网络的行为识别

来源：计算机应用与软件杂志2024年第8期北京时间：

作者：李占利, 王佳莹, 靳红梅, 李洪安

摘要：针对双流网络对包含冗余信息的视频帧存在识别率低的问题，在双流网络的基础上引入scSE(Spatial and Channel Squeeze & Excitation Block)和非局部操作，构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样，提取RGB帧以及光流图作为scSE模块的输入；将经过scSE处理的特征输入非局部双流ResNet网络中，融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%，结果表明，非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率，验证了SC_NLResNet网络的有效性。

关键词：双流卷积神经网络, scSE模块, 残差网络, 非局部操作, 行为识别