基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

来源：信号处理杂志 2020年第1期北京时间：

作者：林琦, 陈婧, 曾焕强, 朱建清, 蔡灿辉

摘要：本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法，考虑到视频帧间的时空相关性，所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入，经由网络重建中间帧作为输出，依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成，通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明，本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB，SSIM +0.102），从主观评价上看可以有效地减少视频边缘模糊的现象。

关键词：视频超分辨率, 卷积神经网络, 多尺度特征, 残差学习