基于特征融合的多波段图像描述生成方法

来源：计算机工程杂志2024年第6期北京时间：

作者：贺姗, 蔺素珍, 王彦博, 李大威

单位：1. 中北大学计算机科学与技术学院, 山西 太原 030051;2. 中北大学控制工程学院, 山西 太原 030051

摘要：针对现有图像描述生成方法普遍存在的对夜间场景、目标被遮挡情景和拍摄模糊图像描述效果不佳的问题,提出一种基于特征融合的多波段探测图像描述生成方法。将红外探测成像引入图像描述领域,首先利用多层卷积神经网络(CNN)对可见光图像和红外图像分别提取特征;然后根据不同探测波段的互补性,以多头注意力机制为主体设计空间注意力模块,以融合目标波段特征;接着应用通道注意力机制聚合空间域信息,指导生成不同类型的单词;最后在传统加性注意力机制的基础上构建注意力增强模块,计算注意力结果图与查询向量的相关权重系数,消除无关变量的干扰,从而实现图像描述生成。在可见光图像-红外图像描述数据集上进行多组实验,结果表明,该方法能有效融合双波段的语义特征,BLEU4指标、CIDEr指标分别达到58.3%和136.1%,能显著提高图像描述准确度,可以用于安防监控、军事侦察等复杂场景任务。

关键词：图像描述,图像融合,多波段图像,自注意力机制,组合注意力

基金资助：山西省研究生创新项目(2022Y630)。