用于骨架行为识别的时空卷积Transformer网络

来源：电子测量技术杂志2024年第1期北京时间：

作者：刘斌斌，赵宏涛，王田，杨艺

单位：1.郑州恒达智控科技股份有限公司 郑州 450000; 2.河南理工大学电气工程与自动化学院 焦作 454003; 3.北京航空航天大学人工智能研究院 北京 100191

摘要：针对基于图卷积的骨架行为识别方法在建模关节特征时严重依赖手工设计图形拓扑，缺乏建模全局关节间依赖关系的缺点，设计了一种时空卷积Transformer实现对空间和时间关节特征的建模。空间关节特征建模中，提出一种动态分组解耦Transformer，通过将输入骨架序列在通道维度进行分组并为每个组动态生成不同的注意力矩阵，允许建模关节之间的全局空间依赖关系，无需事先知道人体拓扑结构。时间关节特征建模中，通过多尺度时间卷积实现对不同时间尺度行为特征的提取。最后，提出一种时空-通道联合注意力模块，进一步对所提取到的时空特征进行修正。在NTU-RGB+D和NTU-RGB+D 120数据集的跨主体评估标准上达到了92.5%和89.3%的Top1识别准确率，实验结果表明了所提方法的有效性。

关键词：行为识别;人体骨架;自注意机制;Transformer

基金资助：国家自然科学基金（61972016）项目资助