基于注意力机制和残差网络的动作识别模型

来源：电子测量技术杂志2021年第14期北京时间：

作者：龚捷，罗聪，罗琴

单位：西南石油大学计算机科学学院 成都 610599

摘要：深度学习在图像领域取得的突破，使得特征学习方面取得了迅猛的发展。针对视频序列中连续帧具有的时间相关性，提出了一种基于注意力机制的残差3D卷积网络模型用于人体动作识别。首先利用残差3D卷积网络学习视频序列中连续视频帧之间的时间相关性，即时空特征；之后利用扩展到三维的通道注意力网络对残差3D卷积结构学习到的每个特征通道赋予不同的权值；最后将重新标定权重的特征输入分类器得到最终的分类。本文在UCF-101和HMDB-51数据集上进行实验，分别取得了95.8%和69.7%的准确率。实验结果表明，本文提出的模型在视频人体动作识别问题上具有较高的识别准确率。

关键词：残差网络;三维卷积;注意力机制;深度学习;动作识别

基金资助：国家自然科学基金资助项目“空间网络视频传输协议优化研究”（61902328）资助