基于频谱特征混合Transformer的红外和可见光图像融合

来源：计算机应用研究杂志2024年第9期北京时间：

作者：陈子昂,黄珺,樊凡,

单位：武汉大学电子信息学院,武汉430072；

摘要：为了解决传统红外与可见光图像融合方法对细节与频率信息表征能力不足、融合结果存在模糊伪影的问题，提出一种基于频谱特征混合Transformer的红外和可见光图像融合算法。在Transformer的基础上，利用傅里叶变换将图像域特征映射到频域，设计了一种新的复数Transformer来提取源图像的深层频域信息，并与图像域特征进行混合，以此提高网络对细节与频率信息的表征能力。此外，在图像重建前设计了一种新的令牌替换模块，动态评估Transformer令牌的显著性后消除得分较低的令牌，防止融合图像出现伪影。在MSRS数据集上进行的定性和定量实验结果显示，与九种先进的算法相比，该算法具有较好的融合效果。

关键词：图像融合,Transformer,频谱特征,红外图像,可见光图像,

基金资助：国家自然科学基金资助项目(62075169,62003247,62061160370)；湖北省重点研发计划资助项目(2021BBA235)；；