特征级语义感知引导的多模态图像融合算法

来源：电子与信息学报杂志2025年第8期北京时间：

作者：张梅, 金叶, 朱金辉, 贺霖

单位：1.华南理工大学自动化科学与工程学院 广州 5106412.华南理工大学自主系统与网络控制教育部重点实验室 广州 5106413.华南理工大学软件学院 广州 5100064.华南理工大学大数据与智能机器人教育部重点实验室 广州 510641

摘要：在自动驾驶领域，红外和可见光的融合图像因其能够提供显著目标和丰富的纹理细节而备受关注。然而现有的大部分融合算法单方面关注融合图像的视觉质量和评价指标，而忽略了高级视觉任务的需求。另外，虽然一些融合方法尝试结合高级视觉任务，但是其效果受限于语义先验和融合任务之间的交互不足且没有考虑到不同特征差异性的影响。因此，该文提出了特征级语义感知引导的多模态图像融合算法，使语义先验知识与融合任务进行充分交互，提高融合结果在后续的分割任务中的性能。对于语义特征和融合图像特征两者的差异性，提出了双特征交互模块，以实现不同特征的充分交互和选择。对于红外和可见光两种不同模态特征的差异性，提出了多源空间注意力融合模块，以实现不同模态信息的有效集成和互补。该文在3个公共数据集上进行了实验，结果表明该方法的融合结果优于其他方法且泛化能力较好，而且在各种融合算法联合分割任务的性能比较实验中也表明了该方法在分割任务中的优越性。

关键词：图像融合, 联合分割任务, 语义感知, 特征级引导

基金资助：国家自然科学基金(62071184)