联合多曝光融合和图像去模糊的深度网络

来源：电子与信息学报杂志2024年第11期北京时间：

作者：张梅, 赵康威, 朱金辉

单位：1.华南理工大学自动化科学与工程学院 广州 5106412.华南理工大学自主系统与网络控制教育部重点实验室 广州 5106413.华南理工大学软件学院 广州 5100064.华南理工大学大数据与智能机器人教育部重点实验室 广州 510641

摘要：多曝光图像融合可提高图像的动态范围，从而获取高质量的图像。对于在像自动驾驶等快速运动场景中获得的模糊的长曝光图像，利用通用的图像融合方法将其直接与低曝光图像融合得到的图像质量并不高。目前暂缺乏对带有运动模糊的长曝光和短曝光图像的端到端融合方法。基于此,该文提出一种联合多曝光融合和图像去模糊的深度网络(DF-Net)端到端地解决带有运动模糊的长短曝光图像融合问题。该方法提出一种结合小波变换的残差模块用于构建编码器和解码器，其中设计单个编码器对短曝光图像进行特征提取，构建基于编码器和解码器的多级结构对带有模糊的长曝光图像进行特征提取，设计残差均值激励融合模块进行长短曝光特征的融合，最后通过解码器重建图像。由于缺少基准数据集，创建了基于数据集 SICE 的带有运动模糊的多曝光融合数据集，用于模型的训练与测试。最后，从定性和定量的角度将所设计的模型和方法和其他先进的图像去模糊和多曝光融合的分步优化方法进行了实验对比，验证了该文的模型和方法对带有运动模糊的多曝光图像融合的优越性。并在移动车辆上采集到的多曝光数据组上进行验证，结果显示了所提方法解决实际问题的有效性。

关键词：多曝光图像融合, 图像去模糊, 小波变换, 特征融合

基金资助：国家自然科学基金(62071184)