基于注意力机制和残差网络的视频行为识别

来源：计算机技术与发展杂志2023年第04期北京时间：

作者：李建平;赖永倩

摘要：针对现有的视频人体行为识别模型识别能力有限,以及双流识别方法易受光照因素的影响导致时间成本较高的问题,提出一种基于注意力机制的 ResNeXt 模型用于识别视频中的人体行为。 将经过预处理后的视频帧数据作为该模型的输入,该卷积网络模型使用 ResNeXt101 层网络作为核心残差块。 在 ResNeXt 三维卷积神经网络模型的基础上,通过引入注意力机制来加强重要的特征信道,提高网络模型的特性表示及稳健性。 使用 Kinetics 的预训练模型,对 UCF-101和HMDB-51数据进行了训练和学习,迭代 200 次后,在验证集上的识别率分别达到了 96.0% 和 69.9% 。 实验结果显示,该模型能有效识别视频中的时空特征,与以往的识别模型相比准确率有所提高,且在人体行为识别任务中识别率较好。该模型能在保证深层网络的同时,使特征不丢失并且防止发生过拟合,同时识别的正确率也得到了改善,证明了该模型是有效可行的。

关键词：深度学习;残差网络;三维卷积网络;视频行为识别;注意力机制