TVBN-ResNeXt：解决视频分类的端到端时空双流融合网络

来源：信号处理杂志 2020年第1期北京时间：

作者：胡正平, 张瑞雪, 张璇, 李淑芳, 赵梦瑶

摘要：针对如何利用视频中空域C3D与光流2D网络的互补性、光流高效计算与存储问题，提出基于端到端时空双流卷积网络融合的视频分类算法(TV BN-Inception network and ResNeXt-101 TVBN-ResNeXt)，可融合C3D与自学习端到端光流卷积网络的优点。针对空间流，首先基于C3D 的ResNeXt-101残差网络进行空域视频分类；然后另一支路使用端到端时间流网络，由TVnet网络实时进行光流学习，其次针对堆叠光流特征数据利用BN-Inception网络进行视频分类；最后将双流支路的视频分类结果进行加权融合形成最后判决。在UCF-101和HMDB-51数据集上的实验分别达到94.6%和70.4%的准确率。结果表明，本文提出的TVBN-ResNeXt双流互补网络融合方法不但可解决光流自学习问题，提高网络的运行效率，还可有效提高视频分类的性能

关键词：视频分类, 三维卷积神经网络, 时空模型, 光流网络