结合双层路由感知和散射视觉变换的视觉-语言跟踪方法

来源：电子与信息学报杂志2024年第11期北京时间：

作者：刘仲民, 李振华, 胡文瑾

单位：1.兰州理工大学电气工程与信息工程学院 兰州 7300502.西北民族大学数学与计算机科学学院 兰州 7300303.甘肃省工业过程先进控制重点实验室 兰州 730050

摘要：针对视觉-语言关系建模中存在感受野有限和特征交互不充分问题，该文提出一种结合双层路由感知和散射视觉变换的视觉-语言跟踪框架(BPSVTrack)。首先，设计了一种双层路由感知模块(BRPM)，通过将高效的加性注意力(EAA)与双动态自适应模块(DDAM)并行结合起来进行双向交互来扩大感受野，使模型更加高效地整合不同窗口和尺寸之间的特征，从而提高模型在复杂场景中对目标的感知能力。其次，通过引入基于双树复小波变换(DTCWT)的散射视觉变换模块(SVTM)，将图像分解为低频和高频信息，以此来捕获图像中目标结构和细粒度信息，从而提高模型在复杂环境下的鲁棒性和准确性。在OTB99, LaSOT, TNL2K 3个跟踪数据集上分别取得了86.1%, 64.4%, 63.2%的精度，在RefCOCOg数据集上取得了70.21%的准确率，在跟踪和定位方面的性能均优于基准模型。

关键词：视觉-语言跟踪, 双层路由感知, 散射视觉变换, 高效的加性注意力, 双动态自适应

基金资助：国家自然科学基金(62061042)，甘肃省自然科学基金(23JRRA796)，甘肃省工业过程先进控制重点实验室开发基金项目(2022KX10)