基于时间注意力机制和EfficientNet的视频暴力行为检测

来源：计算机应用杂志2022年第11期北京时间：

作者：蔡兴泉, 封丁惟, 王通, 孙辰, 孙海燕

单位：北方工业大学 信息学院，北京 100144

摘要：针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题，提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征，同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征，并利用卷积长短时记忆网络（ConvLSTM）进一步提取视频序列的全局时空特征；接着，结合时间注意力机制，计算得到视频级特征表示；最后将视频级特征表示映射到分类空间，并利用Softmax分类器进行视频暴力行为分类并输出检测结果，实现视频的暴力行为检测。实验结果表明，该方法能够减少模型参数量，降低计算复杂度，在有限的资源下提高暴力行为检测准确率，提升模型的综合性能。

关键词：暴力行为检测,时间注意力机制,卷积长短时记忆网络,EfficientNet模型

基金资助：北京市社会科学基金资助项目(19YTC043)