时空特征校准和相关性解耦的骨架细粒度动作识别模型

来源：信号处理杂志 2024年第12期北京时间：

作者：胡正平, 王昕宇, 陈代萍, 唐熙珩

摘要：针对骨架数据丢弃部分重要信息导致相关动作识别模型较难捕获动作序列的细微变化从而造成对细粒度动作类别识别率不足的问题，本文提出时空特征校准和相关性解耦的骨架细粒度动作识别模型，在主干网络中间层和输出层中分别引入时空特征校准模块和相关性解耦模块，提高模型对细粒度动作类别识别能力。首先，为动态校准特征空间中容易被错误分类的样本同时提高模型对时空信息表征能力，引入时空特征校准模块，该模块对特征进行时空解耦以丰富特征空间中的时空信息，并且利用对比学习方法在特征空间中动态发现并纠正被错误分类的细粒度模糊样本；随后，为降低特征相似性对最终分类造成的影响，引入相关性解耦模块，该模块在第一阶段强制所有特征样本彼此远离以达到去相关目的，并且在第二阶段使去相关后的特征与相应类别原型聚合进而使最终分类难度降低。本文所引入对比学习模块仅在模型训练阶段参与计算，不会对测试阶段带来计算负担。为验证模型有效性，本文在大型公开骨架动作识别数据集上进行实验，模型在NTU RGB+D的X-Sub和X-View基准上识别准确率分别达到92.6%和96.8%，在NTU RGB+D 120数据集的X-Sub和X-Set基准上识别准确率分别达到89.2%和90.7%，相比于主流骨架动作识别模型有明显提升，实验结果表明，本方法能够提高模型对细粒度动作类别识别能力，具有一定优势。

关键词：‍‍：‍‍对比学习, 细粒度分类, 动作识别, 骨架数据