多耦合反馈网络的图像融合和超分辨率方法

来源：计算机工程与应用杂志2024年第5期北京时间：

作者：王蓉, 端木春江

单位：浙江师范大学 计算机科学学院，浙江 金华 321000

摘要：人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制，高动态范围的图像往往通过低动态范围图像的多曝光融合（MEF）而获得，高分辨率图像往往通过低分辨率图像的超分辨率（SR）而获得。MEF和SR通常被作为两个独立的内容进行研究。为了解决当前模型不能同时实现高动态范围和高分辨率的问题，通过对现有方法进行研究，提出了一种基于多耦合反馈网络MCF-Net及其方法。模型包括：[N]个子网和输出模块；在方法中，将[N]张下采样图片[Iilr,Imlr,I-ilr]分别输入至[N]个子网，提取的低分辨率特征[Filr,Fmlr,F-ilr]；根据低分辨率特征[Filr,Fmlr,F-ilr]提取对应图像的超分辨率特征[Gi0,Gm0,G-i0]；得到融合高分辨率特征[Git,Gmt,G-it]并输入至下个MCFB中，直至第[T]个MCFB得到融合高分辨率特征[GiT,GmT,G-iT]；获取对应的融合超分辨率图像[Iit,Imt,I-it]；融合[N]个子网中第[T]个重建模块REC输出的[IiT,ImT,I-iT]得到高动态范围、超分辨率图像[Iout]。在SICE数据集上实验并验证了性能，与现有的33种方法进行对比，结果显示以下各评价指标都有明显的提高，其中结构相似性（SSIM）达到0.833 2，峰值信噪比（PSNR）达到22.07 dB，多曝光融合相似性（MEF-SSIM）达到0.937 8。

关键词：图像多曝光融合,图像超分辨率,卷积神经网络,计算机视觉,深度学习