融合时空领域知识与数据驱动的骨架行为识别

来源：计算机工程与应用杂志2025年第5期北京时间：

作者：梁成武, 胡伟, 杨杰, 蒋松琪, 侯宁

单位：1.三峡大学 电气与新能源学院, 湖北 宜昌 443002；2.河南城建学院 电气与控制工程学院, 河南 平顶山 467036

摘要：基于骨架数据的行为识别由于其数据紧凑性和抗背景干扰性，逐渐引起研究者的关注。现有数据驱动方法对融合骨架行为的时空领域知识尚未充分研究。基于此, 提出一种融合人体行为时空领域先验知识与CNN改进网络结构的骨架行为识别方法。基于关键时空特征领域知识提出时通聚焦模块，通过产生聚集系数矩阵引导模型关注鉴别性特征表达。融合长时空跨度领域知识提出多尺度卷积融合模块, 沿通道采用分组残差连接方式灵活扩大卷积的时间感受野，在不引入大量参数情况下可获得长时空跨度特征表达能力。该方法在NTU RGB+D、NTU RGB+D 120及FineGYM三个大型数据集上进行性能评估与验证, 分别取得96.6%、89.6%、94.1%的识别准确率。实验结果表明，融合时空领域知识与数据驱动可充分挖掘骨架行为时空特征，能够提升骨架行为识别性能并具有跨数据集泛化性。

关键词：时空领域知识,数据驱动,骨架行为识别,卷积神经网络,长时空建模