基于时间和空间注意力机制的视频异常检测

来源：计算机技术与发展杂志2023年第08期北京时间：

作者：付孟丹;宣士斌;';王婷;李培杰

单位：1. 广西民族大学 电子信息学院,广西 南宁 530006;2. 广西民族大学 人工智能学院,广西 南宁 530006

摘要：针对带有记忆模块的异常行为识别模型存在存储容量有限和有限的时间轴相关性的局限性,提出带有时间和空间注意力机制的异常行为识别模型。 该模型在 MAND 框架下,引用时间和空间注意力机制,通过该注意力机制对卷积层(CNN)输出的特征图从时间和空间两个维度进行加权操作。 该方法有效结合时间和空间上下文信息,捕捉局部和全局的特征,输入到解码器中进行重构,然后计算重构帧与输入帧的误差。 采用重构当前帧和预测未来帧( 下一帧) 的异常检测方法,使用相同的网络体系结构分别进行实验。 实验结果证明,与其他检测算法相比,所提方法在 UCSD Ped2 数据集和The CUHK Avenue 数据集上的检测精度有所提升,预测方法在两个数据集中的帧级 AUC 分别提升了 4. 9% 和 1. 2% ,重构方法同样得到了提升,验证了该方法的有效性。

关键词：存储容量;MAND 框架;时间和空间注意力机制;上下文信息;帧级 AUC