基于ResNet的红外与低照度可见光图像融合方法

来源：激光与红外杂志2022年第11期北京时间：

作者：贺欣

单位：1.西南科技大学信息工程学院,四川 绵阳 621010；2.特殊环境机器人技术四川省重点实验室,四川 绵阳 621010；

摘要：针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network,ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex,SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息；使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMIdct)、小波特征互信息(FMIw)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。

关键词：ResNet;图像融合;低照度可见光图像;红外图像

基金资助：四川省科技厅计划项目重点研发项目(No.2022YFG0242)资助。