可见光与红外融合目标跟踪技术研究进展综述

来源：计算机测量与控制杂志2022年第10期北京时间：

作者：方彦策,赵君灵,黄昭龙,李旗挺,杜立超,张宏江,宋眉眉

单位：中国海洋大学 信息科学与工程学部

摘要：目标跟踪是计算机视觉领域中的一个重要的问题，自从被提出以来逐渐发展出了不同类型的技术方法。由于可见光与红外光在目标跟踪方面存在互补性，两者融合的目标跟踪技术在性能和鲁棒性上比传统目标跟踪方法更具有优势。近年来，人工智能技术的发展推动了可见光与红外融合目标跟踪技术的快速进步。面向可见光与红外融合目标跟踪技术的发展历程，首先针对可见光与红外融合领域经典方法和近年来出现的技术进行梳理和总结，特别是对近两年的研究进展进行了归纳整理，具体包括基于Transformer、基于注意力机制、基于时间序列、自适应融合和基于多模态编解码器的可见光与红外融合目标跟踪方法；然后介绍了可见光与红外融合数据集及目标跟踪的评价指标；最后对未来的发展方向作了展望。

关键词：目标跟踪;可见光与红外融合(RGBT);深度学习;Transformer;注意力机制

基金资助：中国航天科技集团公司钱学森青年创新基金资助项目