基于改进全卷积神经网络的红外与可见光图像融合方法
来源：计算机工程杂志2020年第8期北京时间：
作者：冯玉芳, 殷宏, 卢厚清, 程恺, 曹林, 刘满
单位：1. 陆军工程大学 研究生院, 南京 210007;2. 中国人民解放军 71375部队, 哈尔滨 150038
摘要：基于深度学习的图像融合技术易丢失网络浅层特征信息，难以实现图像的精准识别。提出一种利用全卷积神经网络（FCN）提取特征的红外与可见光图像融合方法。采用非下采样剪切波变换（NSST）对源图像进行多尺度和多方向分解，生成高频子带和低频子带图像，将高频子带输入FCN模型提取多尺度特征，并生成高频子带特征映射图，使用最大加权平均算法完成高频子带的融合，同时采用区域能量和融合策略融合低频子带，对融合后的高频子带和低频子带进行NSST逆变换，得到最终的融合图像。实验结果表明，与GFF、WLS和IFE等方法相比，该方法融合图像的主观视觉效果和客观评价指标更好。
关键词：卷积神经网络,非下采样剪切波变换,全卷积神经网络模型,多尺度特征,特征映射图
基金资助：国家自然科学基金（61806221）。
