结合卷积和交叉变换网络的光流估计

来源：上海理工大学学报杂志2025年第4期北京时间：

作者：温远斌，黄影平，李瀚灵

单位：上海理工大学 光电信息与计算机工程学院，上海 200093,上海理工大学 光电信息与计算机工程学院，上海 200093,上海理工大学 光电信息与计算机工程学院，上海 200093

摘要：光流估计是计算机视觉领域的核心任务。近年来，基于深度学习的光流估计方法取得了显著进展。但光流算法容易受到图像遮挡、重叠物体和相似物体的影响，从而导致运动估计准确性下降。为了解决这一问题，提出了一种结合卷积和交叉变换网络的光流估计模型。首先，利用卷积和交叉注意力机制对连续两帧图像进行特征提取与增强。其次，结合上下文特征网络编码提供的上下文信息，通过特征聚合模块产生聚合特征，使用ConvGRU模块进行光流的迭代更新，并通过上采样模块产生光流特征估计图，完成光流估计任务。最后，进行MPI-Sintel 和 KITTI 2015数据集的综合实验对比分析。实验结果表明，所提出的方法可以有效地提高光流估计的精度，并具有良好的泛化性。

关键词：光流估计;卷积神经网络;交叉变换网络;注意力机制;凸优化上采样

基金资助：国家自然科学基金资助项目(62276167); 上海市自然科学基金资助项目(20ZR1437900)