基于非对称稀疏注意力的单流Transformer跟踪器

来源：计算机技术与发展杂志2025年第02期北京时间：

作者：樵宏运;刘绒;高赟

摘要：单流 Transformer 跟踪框架在目标模板和搜索区域图像信息聚合方面表现出了强大优势,其以 ViT ( Vision Transformer)网络作为骨干网络进行统一特征提取和关系建模,已成为单目标跟踪主流框架之一。 然而,由于模板 Token 信息流和搜索区域信息流经过注意力操作进行自由交互,导致模板特征提取和搜索区域特征提取受到大量来自搜索区域背景信息的干扰。 针对上述问题,提出了一种基于非对称稀疏注意力的单流 Transformer 跟踪方法。 在注意力操作中,对单流 Transformer 跟踪算法的不同信息流进行了划分和分析。 然后,采用注意力稀疏的方法,对搜索区域和模板区域相关信息流和搜索区域自相关信息使用动态阈值的方法进行非对称稀疏化,使得跟踪器更加关注搜索区域中与目标相关的信息。 在 GOT-10k、TrackingNet、TNL2K、NFS、OTB 和 UAV123 六个公开基准数据集上的实验表明,该方法在减少了背景信息干扰的同时有效提升了单流 Transformer 跟踪器的鲁棒性。

关键词：目标跟踪;视觉Transformer;抑制干扰;多头注意力;注意力稀疏化