UMM-Det：面向异构多模态遥感影像的一体化目标检测框架

来源：电子与信息学报杂志2025年第12期北京时间：

作者：邹旻瑞, 李宇轩, 戴一冕, 李翔, 程明明

单位：1.南开大学计算机学院 天津 3003502.南开国际先进研究院 深圳 518045

摘要：当前天基遥感目标检测任务面临着如何构建一个统一模型以有效处理合成孔径雷达(SAR)、可见光、红外等多模态异构数据的挑战。针对此，该文提出一种异构多模态遥感影像一体化目标检测框架UMM-Det，致力于通过单一架构实现对多源数据的高性能目标检测。该框架采用单一共享架构，旨在实现对多源遥感数据的高效、统一检测。UMM-Det在基线模型SM3Det的基础上进行3点关键改进：首先，以具备动态采样与大感受野建模能力的InternImage替换原有ConvNeXt主干，旨在提升对多尺度、低对比度目标的特征提取精度；其次，针对红外分支设计了基于时序信息的时空视觉提示模块，通过精细化的帧差增强策略生成高对比度的运动特征，以此作为先验知识辅助网络区分动态弱小目标；最后，针对红外序列中普遍存在的弱小目标正负样本极度不均衡问题，引入概率性锚框分配策略(PAA)优化检测头，显著提升了目标采样的精确性与检测性能。在SARDet-50K、DOTA与SatVideoIRSTD 3个公开数据集上的实验表明，UMM-Det在SAR与可见光检测任务中mAP@0.5:0.95分别提升2.40%和1.77%，并且在红外序列弱小目标检测任务中较基线模型SM3Det检测率提升了2.54%。同时，该模型在保证精度提升的前提下将参数量减少50%以上，展现出精度、效率与轻量化的综合优势，为新一代高性能天基遥感态统一检测框架的构建提供了有效路径。

关键词：天基多模态统一检测框架, 多模态遥感检测, 红外序列感知, 弱小目标检测

基金资助：国家杰出青年科学基金(62225604)，国家自然科学基金(62301261, 62206134)，深圳市自然科学基金(JCYJ20240813114237048)，天津市自然科学基金(25JCQNJC01370)，南开大学超算中心