基于生成对抗网络的红外与可见光视频语义特征驱动融合方法

来源：机械与电子杂志2026年第01期北京时间：

作者：兰海麟;吉琳娜;杨风暴;刘延东

单位：(中北大学信息与通信工程学院,山西 太原 030051)

摘要：针对现有视频融合方法过度关注视觉质量提升而忽略下游检测任务需求、且未实现目标区域差异化处理导致的性能瓶颈问题。提出了一种基于生成对抗网络的红外与可见光视频语义特征驱动融合方法。设计了语义特征嵌入模块(SFEM),通过动态生成的语义引导卷积核与计算源图像与目标图像在特征表示空间中的相似性,将语义特征有效融入融合网络中。构建了双路特征提取架构,分别通过纹理特征提取模块(TFEM)和对比度特征提取模块(CFEM)提取红外与可见光图像的对比度与细节信息,实现纹理、对比度与语义特征的深度融合,进而提升下游任务的表现。在训练阶段,集成了一个目标检测子模块,将检测损失反向传播到融合网络中,从而实现面向任务的融合过程优化。实验结果表明,该方法在平衡像素强度和保持目标物体纹理方面优于其他对比方法,并且在下游目标检测任务中表现出显著优势。

关键词：双模态视频;语义特征;目标检测;深度学习