结合时空注意力机制和自适应图卷积网络的骨架行为识别

来源：信号处理杂志 2021年第7期北京时间：

作者：张家想, 刘如浩, 金辰曦, 卢先领

摘要：针对骨架行为识别对时空特征提取不充分以及难以捕捉全局上下文信息的问题，研究了一种将时空注意力机制和自适应图卷积网络相结合的人体骨架行为识别方案。首先，构建基于非局部操作的时空注意力模块，辅助模型关注骨架序列中最具判别性的帧和区域；其次，利用高斯嵌入函数和轻量级卷积神经网络的特征学习能力，并考虑人体先验知识在不同时期的影响，构建自适应图卷积网络；最后，将自适应图卷积网络作为基本框架，并嵌入时空注意力模块，与关节信息、骨骼信息以及各自的运动信息构建双流融合模型。该算法在NTU RGB+D数据集的两种评价标准下分别达到了90.2%和96.2%的准确率，在大规模的数据集Kinetics上体现出模型的通用性，验证了该算法在提取时空特征和捕捉全局上下文信息上的优越性。

关键词：人体骨架, 行为识别, 非局部块, 注意力机制, 图卷积网络