基于独立循环神经网络与变分自编码网络的视频帧异常检测

来源：计算机应用杂志2023年第2期北京时间：

作者：贾晴, 王来花, 王伟胜

单位：曲阜师范大学 网络空间安全学院，山东 曲阜 273165

摘要：为了有效提取连续视频帧间的时间信息，提出一种融合独立循环神经网络（IndRNN）与变分自编码（VAE）网络的预测网络IndRNN-VAE。首先，利用VAE网络提取视频帧的空间信息，并通过线性变换得到视频帧的潜在特征；然后，将潜在特征作为IndRNN的输入以得到视频帧序列的时间信息；最后，通过残差块将获得的潜在变量与时间信息进行融合并输入到解码网络中来生成预测帧。通过在UCSD Ped1、UCSD Ped2、Avenue公开数据集上进行测试，实验结果表明，与现有的异常检测方法相比，基于IndRNN-VAE的方法性能得到了显著提升，曲线下面积（AUC）值分别达到了84.3%、96.2%和86.6%，错误率（EER）值分别达到了22.7%、8.8%和19.0%，平均异常得分的差值分别达到了0.263、0.497和0.293，且运行速度达到了每秒28帧。

关键词：视频异常检测,视频监控,变分自编码器,独立循环神经网络,特征提取

基金资助：国家自然科学基金资助项目(61601261)