多重关系感知的红外与可见光图像融合网络

来源：电子与信息学报杂志2024年第5期北京时间：

作者：李晓玲, 陈后金, 李艳凤, 孙嘉, 王敏鋆, 陈卢一夫

单位：北京交通大学电子信息工程学院 北京 100044

摘要：为充分整合红外与可见光图像间的一致特征和互补特征，该文提出一种基于多重关系感知的红外与可见光图像融合方法。该方法首先利用双分支编码器提取源图像特征，然后将提取的源图像特征输入设计的基于多重关系感知的跨模态融合策略，最后利用解码器重建融合特征生成最终的融合图像。该融合策略通过构建特征间关系感知和权重间关系感知，利用不同模态间的共享关系、差分关系和累积关系的相互作用，实现源图像一致特征和互补特征的充分整合，以得到融合特征。为约束网络训练以保留源图像的固有特征，设计了一种基于小波变换的损失函数，以辅助融合过程对源图像低频分量和高频分量的保留。实验结果表明，与目前基于深度学习的图像融合方法相比，该文方法能够充分整合源图像的一致特征和互补特征，能够有效保留可见光图像的背景信息和红外图像的热目标，整体融合效果优于对比方法。

关键词：图像融合, 红外图像, 可见光图像, 多重关系感知, 小波变换

基金资助：国家自然科学基金(62172029,62272027)，北京市自然科学基金(4232012)，中央高校基本科研业务费专项资金(2022YJS013)