基于改进 VGG16 的自编码器视频异常检测算法

来源：计算机技术与发展杂志2024年第04期北京时间：

作者：杨大为;刘志权

单位：沈阳理工大学 信息科学与工程学院,辽宁 沈阳 110159 Author(s): YANG Da-wei;LIU Zhi-quan School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,China 关键词: 自编码器;U-Net;特征提取;VGG16;残差连接;结构相似性 Keywords: auto-encoder;U-Net;feature extraction;VGG16;residual connection;structure similarity 分类号: TP391. 41 DOI: 10. 3969 / j. issn. 1673-629X. 2024. 04. 015 摘要: 在使用自编码器结构的神经网络处理视频异常检测任务时,U-Net 风格的自编码器由于编码器层数深度过浅,导致在面对复杂的数据集时,不能充分抽取更多有用的特征信息。 同时,在训练模型时使用 MSE( 均方误差) ,仅考虑了预测帧与真实帧之间的像素级相似性,对于复杂场景,像素级相似性可能无法准确判断预测帧与真实帧之间的相似性。 针对以上问题,对基于 U-Net 风格的自编码器进行改进,提出了一种使用改进的 VGG16 作为编码器的视频异常检测算法,同时在均方误差的基础上添加结构相似性( SSIM)损失函数。 改进的 VGG16 去掉了全连接层,并加入了残差连接防止特征退化,添加 SSIM 在计算像素级相似性的同时计算图像的亮度、对比度和结构等方面的相似性来优化网络。 实验结果表明,改进后的算法,在 Ped2 数据集上检测效果达到 95. 91% ,在 Avenue 数据集上检测效果达到 84. 89% ,与改进前的方法相比分别提高了 0. 80% 和 0. 19% ,验证了所提方法的有效性。 Abstract: When using the auto-encoder structure neural network to process video anomaly detection tasks,the U-Net style auto-encodercannot fully extract more useful feature?information when facing complex data sets due to the shallow depth of the encoder layer. At thesame time,when training the model,MSE is used,only considering the?pixel level similarity between the predicted frame and the realframe. For complex scenes,pixel level similarity may not accurately determine the similarity between the?predicted frame and the realframe. To solve the above problems, the U - Net style auto - encoder is improved,and a video anomaly detection algorithm using theimproved?VGG16 as the encoder is proposed. At the same time,the structure similarity ( SSIM) loss function is added on the basis of　MSE. The improved VGG16 removes the fully connected layer and adds residual connections to prevent feature degradation. SSIM isadded to optimize the network by calculating pixel level similarity while also calculating image brightness, contrast, and structuralsimilarity. The experimental results show that the improved algorithm achieves a detection performance of 95. 91% on the Ped2 dataset　and 84. 89% on the Avenue dataset,which is 0. 80% and 0. 19% higher than that of the previous method,respectively,verifying the effectiveness of the proposed method.

摘要：在使用自编码器结构的神经网络处理视频异常检测任务时,U-Net 风格的自编码器由于编码器层数深度过浅,导致在面对复杂的数据集时,不能充分抽取更多有用的特征信息。 同时,在训练模型时使用 MSE( 均方误差) ,仅考虑了预测帧与真实帧之间的像素级相似性,对于复杂场景,像素级相似性可能无法准确判断预测帧与真实帧之间的相似性。 针对以上问题,对基于 U-Net 风格的自编码器进行改进,提出了一种使用改进的 VGG16 作为编码器的视频异常检测算法,同时在均方误差的基础上添加结构相似性( SSIM)损失函数。 改进的 VGG16 去掉了全连接层,并加入了残差连接防止特征退化,添加 SSIM 在计算像素级相似性的同时计算图像的亮度、对比度和结构等方面的相似性来优化网络。 实验结果表明,改进后的算法,在 Ped2 数据集上检测效果达到 95. 91% ,在 Avenue 数据集上检测效果达到 84. 89% ,与改进前的方法相比分别提高了 0. 80% 和 0. 19% ,验证了所提方法的有效性。

关键词：自编码器;U-Net;特征提取;VGG16;残差连接;结构相似性