改进双路径生成对抗网络的红外与可见光图像融合

来源：电子与信息学报杂志2023年第8期北京时间：

作者：杨莘, 田立凡, 梁佳明, 黄泽丰

单位：武汉科技大学信息科学与工程学院 武汉 430081

摘要：为了使融合图像保留更多源图像的信息，该文提出一种端到端的双融合路径生成对抗网络(GAN)。首先，在生成器中采用结构相同、参数独立的双路径密集连接网络，构建红外差值路径和可见光差值路径以提高融合图像的对比度，引入通道注意力机制以使网络更聚焦于红外典型目标和可见光纹理细节；其次，将两幅源图像直接输入到网络的每一层，以提取更多的源图像特征信息；最后，考虑损失函数之间的互补，加入差值强度损失函数、差值梯度损失函数和结构相似性损失函数，以获得更具对比度的融合图像。实验表明，与多分类约束的生成对抗网络(GANMcC)、残差融合网络(RFnest)等相关融合算法相比，该方法得到的融合图像不仅在多个评价指标上均取得了最好的效果，而且具有更好的视觉效果，更符合人类视觉感知。

关键词：图像融合, 深度学习, 生成对抗网络, 红外图像, 可见光图像

基金资助：国家自然科学基金(61702384)，武汉科技大学基金(2017xz008)