视觉多通路机制启发的多场景感知红外与可见光图像融合框架

来源：电子与信息学报杂志2023年第8期北京时间：

作者：高绍兵, 詹宗逸, 匡梅

单位：四川大学计算机学院 成都 610065

摘要：现有的红外与可见光图像融合算法往往将日间场景与夜间场景下的图像融合视为同一个问题，这种方式忽略了在日间场景与夜间场景下进行图像融合的差异性，使得算法融合性能受限。生物视觉系统强大的自适应特性能够在不同场景下最大限度地捕获输入视觉刺激中的有效信息，实现自适应的视觉信息处理，有可能为实现性能更为优异的红外与可见光图像融合算法带来新的思路启发。针对上述问题，该文提出一种视觉多通路机制启发的多场景感知红外与可见光图像融合框架。其中，受生物视觉多通路特性启发，该文框架中设计了分别感知日间场景信息与夜间场景信息的两条信息处理通路，源图像首先分别输入感知日间场景信息与感知夜间场景信息的融合网络得到两幅中间结果图像，而后再通过可学习的加权网络生成最终的融合图像。此外，该文设计了模拟生物视觉中广泛存在的中心-外周感受野结构的中心-外周卷积模块，并将其应用于所提出框架中。定性与定量实验结果表明，该文所提方法在主观上能够显著提升融合图像的图像质量，同时在客观评估指标上优于现有融合算法。

关键词：红外与可见光图像融合, 类脑计算, 多场景感知框架

基金资助：国家自然科学基金 (62076170)，厅市共建智能终端四川省重点实验室开放课题 (SCITLAB-20001)