基于双模态特征增强的目标检测算法研究与应用

来源：激光与红外杂志2023年第9期北京时间：

作者：王文霞

单位：1.太原师范学院网络信息中心,山西 太原 030619；2.北京邮电大学信息与通信工程学院,北京 100080；3.中国空间技术研究院西安分院,陕西 西安 710100；

摘要：为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果；特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重；同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性；最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。

关键词：双模态;特征增强;目标检测;混合注意力;自适应融合;多尺度检测

基金资助：国家自然科学基金项目(No.62071058)资助。