基于融合注意力和特征增强的跨模态行人重识别

来源：南京信息工程大学学报·自然科学版杂志2024年第4期北京时间：

作者：黄驰涵，沈肖波

单位：黄驰涵,南京理工大学 设计艺术与传媒学院, 南京, 210094,沈肖波,南京理工大学 计算机科学与工程学院, 南京, 210094

摘要：跨模态行人重识别是一项具有挑战性的任务,目的是在可见光和红外模式之间匹配行人图像,以便在犯罪调查和智能视频监控应用中发挥重要作用.为了解决跨模态行人重识别任务中对细粒度特征提取能力不强的问题,本文提出一种基于融合注意力和特征增强的行人重识别模型.首先,利用自动数据增强技术缓解不同摄像机的视角、尺度差异,并基于交叉注意力多尺度Vision Transformer,通过处理多尺度特征生成具有更强区分性的特征表示;接着,提出通道注意力和空间注意力机制,在融合可见光和红外图像特征时学习对区分特征重要的信息;最后,设计损失函数,采用基于自适应权重的难三元组损失,增强了每个样本之间的相关性,提高了可见光和红外图像对不同行人的识别能力.在SYSU-MM01和RegDB数据集上进行大量实验,结果表明,本文提出方法的mAP分别达到了68.05%和85.19%,相较之前的工作性能有所提升,且通过消融实验和对比分析验证了本文模型的先进性和有效性.

关键词：行人重识别;跨模态;交叉注意力;特征提取;多尺度

基金资助：国家自然科学基金(62176126);江苏省自然科学基金优秀青年基金(BK20230095)