一种结构化双注意力混合通道增强的跨模态行人重识别方法

来源：电子与信息学报杂志2024年第2期北京时间：

作者：庄建军, 庄宇辰

单位：1.南京信息工程大学电子与信息工程学院 南京 2100442.南京信息工程大学-中大医院智慧医疗研究院 南京 210044

摘要：在目前跨模态行人重识别技术的研究中，大部分现有的方法会通过单模态原始可见光图像或者对抗生成图像的局部共享特征来降低跨模态差异，导致在红外图像判别中由于底层特征信息丢失而缺乏稳定的识别准确率。为了解决该问题，该文提出一种结构化双注意力可交换混合随机通道增强的特征融合跨模态行人重识别方法，利用通道增强后的可视图像作为第三模态，通过图像通道可交换随机混合增强(I-CSA)模块对可见光图像进行单通道和三通道随机混合增强抽取，从而突出行人的姿态结构细节，在学习中减少模态间差异。结构化联合注意力特征融合 (SAFF)模块在注重模态间行人姿态结构关系的前提下，为跨模态表征学习提供更丰富的监督，增强了模态变化中共享特征的鲁棒性。在SYSU-MM01数据集全搜索模式单摄设置下Rank-1和mAP分别达到71.2%和68.1%，优于同类前沿方法。

关键词：行人重识别, 跨模态, 混合通道增强, 联合注意力, 特征融合

基金资助：国家重点研发计划(2021YFE0105500)，国家自然科学基金(62171228 )，江苏高校“青蓝工程”