改进视觉Transformer的视频插帧方法

来源：计算机应用研究杂志2024年第4期北京时间：

作者：石昌通,单鸿涛,郑光远,张玉金,刘怀远,宗智浩,

单位：1.上海工程技术大学电子电气工程学院,上海201620；2.上海建桥学院信息技术学院,上海201306；

摘要：针对现有的视频插帧方法无法有效处理大运动和复杂运动场景的问题，提出了一种改进视觉Transformer的视频插帧方法。该方法融合了基于跨尺度窗口的注意力和可分离的时空局部注意力，增大了注意力的感受野并聚合了多尺度信息；对时空依赖和远程像素依赖关系进行联合建模，进而增强了模型对大运动场景的处理能力。实验结果表明，该方法在Vimeo90K测试集和DAVIS数据集上的PSNR指标分别达到了37.13 dB和28.28 dB，SSIM指标分别达到了0.978和0.891。同时，可视化结果表明，该方法针对存在大运动、复杂运动和遮挡场景的视频能产生清晰合理的插帧结果。

关键词：视频插帧,Transformer,基于跨尺度窗口的注意力,大运动,复杂运动,

基金资助：国家自然科学基金资助项目(62173222)；；