基于帧间跨越光流的视频超分辨率重建网络

来源：计算机应用杂志2024年第4期北京时间：

作者：刘扬, 刘蓉, 方可, 张心月, 王光旭

单位：华中师范大学 物理科学与技术学院，武汉 430079

摘要：面对运动幅度较大的复杂场景，当前的视频超分辨率（VSR）算法在处理长序列时无法充分利用不同距离的帧间信息，难以精确地恢复遮挡、边界和多细节区域。为解决上述问题，提出一种基于帧间跨越光流机制的VSR模型。首先，通过密集残差块（RDB）提取低分辨率视频帧（LR）的浅层特征；其次，通过光流空间金字塔网络（SPyNet）以不同时间长度的跨越光流对视频帧进行运动估计和运动补偿，并通过RDB对帧间信息进行深层特征提取与矫正；最后，融合浅层特征与深层特征，并通过上采样得到高分辨率视频帧（HR）。在REDS4公开数据集上的实验结果表明，所提模型与经典的非显式运动补偿的动态上采样滤波器视频超分辨率网络（DUF-VSR）相比，峰值信噪比（PSNR）和结构相似性（SSIM）分别提升了1.07 dB和0.06。验证了所提模型可有效提高视频图像重建的质量。

关键词：视频超分辨率算法,光流,运动补偿,密集残差块,深层特征

基金资助：国家社会科学基金资助项目(22ATQ004);华中师范大学交叉科学研究项目(CCNU22JC033)