结合多特征融合和Transformer的步态识别

来源：计算机技术与发展杂志2025年第09期北京时间：

作者：刘庆华;王正勇;秦予禛;陈洪刚;刘怡欣;何小海

摘要：近年来,步态特征因具有非接触、自然性、隐蔽性、难模仿等优势受到广泛关注。针对现有步态识别方法中受到相机视角、行人遮挡或外观变化等因素导致的步态识别准确率急剧下降的问题,提出了一种基于多特征融合和结合Transformer的步态识别方法。通过在模型输入时将步态轮廓图以及步态骨骼图逐帧输入,将轮廓特征与骨骼特征进行提取融合,实现跨模态的互补,同时提出了由多个平行的多尺度时间特征提取模块构成的多尺度时间特征融合器,引入了标准Transformer结构的编码部分以提取全局时空特征,并通过残差结构提取局部时空特征,最后通过通道注意力机制将局部时空特征和全局时空特征进行特征融合,以此来提高模型识别的准确率。实验结果表明,该方法在CASIA-B公开步态数据集上的行人正常行走、带包行走、穿大衣或夹克行走这三种场景下的准确率分别达到了98.6%,95.1%和86.3%,同时在自建数据集上也取得了不错的效果,验证了该方法的有效性。

关键词：步态识别;特征提取;Transformer;多特征融合;注意力机制