基于CNN和Transformer双流融合的人体姿态估计

来源：计算机工程与应用杂志2025年第5期北京时间：

作者：李鑫, 张丹, 郭新, 汪松, 陈恩庆

单位：1.郑州大学 电气与信息工程学院，郑州 450001 ；2.河南林业职业学院 园林园艺学院，河南 洛阳 471002

摘要：卷积神经网络（CNN）和Transformer模型在人体姿态估计中有着广泛应用，然而Transformer更注重捕获图像的全局特征，忽视了局部特征对于人体姿态细节的重要性，而CNN则缺乏Transformer的全局建模能力。为了充分利用CNN处理局部信息和Transformer处理全局信息的优势，构建一种CNN-Transformer双流的并行网络架构来聚合丰富的特征信息。由于传统Transformer的输入需要将图片展平为多个patch，不利于提取对位置敏感的人体结构信息，因此将其多头注意力结构进行改进，使模型输入能够保持原始2D特征图的结构；同时提出特征耦合模块融合两个分支不同分辨率下的特征，最大限度地保留局部特征与全局特征；最后引入改进后的坐标注意力模块（coordinate attention），进一步提升网络的特征提取能力。在COCO和MPII数据集上的实验结果表明所提模型相对目前主流模型具有更高的检测精度，从而说明所提模型能够充分捕获并融合人体姿态中的局部和全局特征。

关键词：卷积神经网络,Transformer,局部特征,全局特征,2D特征图,特征耦合