时空自适应图卷积与Transformer结合的动作识别网络

来源：电子与信息学报杂志2024年第6期北京时间：

作者：韩宗旺, 杨涵, 吴世青, 陈龙

单位：上海理工大学机械工程学院 上海 200093

摘要：在一个以人为中心的智能工厂中，感知和理解工人的行为是至关重要的，不同工种类别往往与工作时间和工作内容相关。该文通过结合自适应图和Transformer两种方式使模型更关注骨架的时空信息来提高模型识别的准确率。首先，采用一个自适应的图方法去关注除人体骨架之外的连接关系。进一步，采用Transformer框架去捕捉工人骨架在时间维度上的动态变化信息。为了评估模型性能，制作了智能生产线装配任务中6种典型的工人动作数据集，并进行验证，结果表明所提模型在Top-1精度上与主流动作识别模型相当。最后，在公开的NTU-RGBD和Skeleton-Kinetics数据集上，将该文模型与一些主流方法进行对比，实验结果表明，所提模型具有良好鲁棒性。

关键词：智能工厂, 工人动作识别, 深度学习, 自适应图, Transformer

基金资助：国家自然科学基金(52005338)