Transformer-CNN特征跨注意力融合学习的行人重识别

来源：计算机工程与应用杂志2024年第16期北京时间：

作者：项俊, 张金城, 江小平, 侯建华

单位：中南民族大学 智能无线通信湖北省重点实验室，武汉 430074

摘要：卷积神经网络（convolutional neural network，CNN）关注局部特征，难以获得全局结构信息，Transformer网络建模长距离的特征依赖，但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法，利用CNN和Transformer特征学习网络的特点，在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成：CNN分支主要提取局部细节信息；Transformer分支侧重于关注全局特征信息；跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性，进而实现特征融合，最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。

关键词：行人重识别,卷积神经网络（CNN）,Transformer,跨注意力融合学习