自适应多级背景感知和决策融合RGBT目标跟踪

来源：计算机工程与应用杂志2026年第9期北京时间：

作者：庄子涵, 尹明锋, 郭晓腾, 张英杰, 贝绍轶

单位：江苏理工学院 汽车与交通工程学院，江苏 常州 213001；

摘要：针对RGBT目标跟踪中全局图像特征增强引入的热交叉、噪声、热红外图像模糊等干扰问题，提出一种基于自适应多级背景感知和决策融合的孪生网络RGBT目标跟踪方法（adaptive multi-level fusion siamese network，Siam-AMF）。在SiamAMF跟踪网络中构建有自适应背景感知模块（background feature detection，BFD），该模块通过对孪生网络双分支图像背景特征的亮度计算和亮度波动判断，进行自适应场景分类，并根据场景分类结果指导融合增强。在减少计算成本的同时，降低不同模态之间的特征信息污染。将分类结果传入跟踪头，根据场景特征指导自适应响应特征融合模块（adaptive response feature fusion，ARFF）进行不同权重的双模态响应级特征融合，提升响应图融合的质量，完成最终RGBT目标跟踪。最后，在GTOT和RGBT234数据集上进行测试，实验结果表明SiamAMF较基线方法有显著提升，PR/SR分别为91.0%/74.3%和78.7%/54.5%，在GTOT数据集上运行速度达到101.6 FPS。

关键词：双模态目标跟踪,孪生网络,自适应背景感知,场景分类,特征融合

基金资助：国家自然科学基金（62103192，52172367）；江苏省高校自然科学研究项目（20KJB520015）；常州市应用基础研究项目（CJ20200039）；江苏省研究生科研与实践创新计划（SJCX23_1640）。