基于交叉注意力机制的多特征行人重识别

来源：南京信息工程大学学报·自然科学版杂志2024年第4期北京时间：

作者：邬心怡，邓志良，刘云平，董娟，李嘉琦

单位：邬心怡,南京信息工程大学 自动化学院, 南京, 210044,邓志良,南京信息工程大学 自动化学院, 南京, 210044,刘云平,南京信息工程大学 自动化学院, 南京, 210044,董娟,南京信息工程大学 电子与信息工程学院, 南京, 210044,李嘉琦,南京信息工程大学 自动化学院, 南京, 210044

摘要：针对现有的行人重识别方法难以避免环境噪声导致的特征提取不精确、易被误认为行人特征等问题,提出一种基于动态卷积与注意力机制的行人多特征融合分支网络.首先,由于拍摄时存在光照变化、人体姿势调整以及物体遮挡等不确定因素,提出使用动态卷积替换ResNet50中的静态卷积得到具有更强鲁棒性的Dy-ResNet50模型;其次,考虑到拍摄行人图片的视角有较大差异且存在行人被物体遮挡的情况,提出将自注意力机制与交叉注意力机制嵌入骨干网络;最后,将交叉熵损失函数和难样本三元损失函数共同作为模型损失函数,在DukeMTMC-ReID、Market-1501和MSMT17公开数据集上进行实验,并与主流网络模型进行比较.结果表明:在3个公开数据集上,本文所提模型的Rank-1(第一次命中)与mAP(平均精度均值)相比当前主流模型均有所提升,具有较高的识别准确率.

关键词：行人重识别;动态卷积;自注意力机制;交叉注意力机制

基金资助：国家自然科学基金(51875293);国家重点研发计划(2018YFC1405703)