多模态融合的输电线路部件多尺度检测方法

来源：电子测量技术杂志2026年第1期北京时间：

作者：周景，赵毅，刘心

单位：华北电力大学控制与计算机工程学院 北京 102206

摘要：在输电线路无人机巡检航拍图像的关键部件检测任务中，针对单一模态检测方法精度低和小目标漏检率高的问题，提出了一种融合可见光图像和红外图像的多模态多尺度目标检测方法。首先，该网络构建了并行的双流特征提取主干，旨在同步处理可见光与红外图像，以充分利用前者丰富的色彩与纹理细节信息，以及后者卓越的成像稳定性与高对比度特性。其次，为实现跨模态信息的交互与互补，设计了多模态特征交互融合模块（MFIFM），该模块能动态地调整不同模态特征的融合权重，自适应地整合最具判别力的信息，有效缓解模态差异带来的信息冲突。此外，为提升对小目标部件的感知能力，提出了混合残差多尺度Transformer(HRMS Transformer)模块嵌入到双流主干中，通过多头窗口注意力机制，层级式特征重组以及与残差相结合的策略，增强全局上下文信息提取能力。实验结果表明，该模型精度mAP@50和mAP@50:95较现有单模态方法分别提升5.35%和4.48%。验证了多模态融合技术在输电线路检测领域的有效性和可用性。

关键词：输电线路检测;多模态特征融合;Swing Transformer;注意力机制;双流主干网络;深度学习

基金资助：国家自然科学基金(62301220)项目资助