基于多阶段交叉信息融合的多光谱行人检测

来源：电子测量技术杂志2023年第15期北京时间：

作者：孙昆，武一，牛雅睿，卢昊，赵普

单位：1.河北工业大学电子信息工程学院 天津 300401; 2.河北工业大学电子与通信工程国家级实验教学示范中心 天津 300401

摘要：针对多光谱行人检测中双模态特征融合不充分、特征融合质量低的问题，提出一种基于多阶段交叉信息融合的多光谱行人检测算法。算法首先通过双流骨干网络分别对可见光图像和红外图像进行特征提取；设计交叉信息融合模块并多阶段嵌入双流骨干网络中引导双模态特征融合，实现双模态特征信息的充分融合；引入条件卷积对融合后的特征信息进行动态处理，改善融合信息的质量，最终提升算法的检测性能。实验结果表明，算法的漏检率仅为1041%，较原算法降低了10%，显著提升了算法的检测性能。

关键词：多光谱行人检测;模态融合;CondConv

基金资助：国家自然科学基金(51977059)、河北省自然科学基金(E2020202042)项目资助