视频动作骨骼描述空间时空联合对齐小样本分类算法

来源：信号处理杂志 2024年第8期北京时间：

作者：胡正平, 王雨露, 张琦明, 董佳伟, 王昕宇

摘要：与大数据人体动作识别相比，小样本动作识别旨在从很少标记样本中学习判别特征来识别新颖动作类别，但基于视频RGB特征描述方法中动作信息容易被与任务无关的背景、亮度和颜色变化所混淆。针对动作样本标注困难，RGB视频数据环境适应性差、数据维度高问题，考虑将信息表示高效、可解释性强的骨骼描述数据与小样本学习结合提出视频动作骨骼描述空间时空联合对齐小样本分类算法。模型整体基于原型网络思想，将原始输入映射到嵌入空间中计算原型表示，并使用度量方式实现查询样本预测。特征提取时，设计时空联合注意图卷积网络作为特征编码骨干，首先对输入骨骼序列构造时空图，接着进行多层次时空图卷积及时空联合注意激活，得到对应高层次嵌入特征，其中时空联合注意模块在时空两个维度上对不同动作阶段的骨骼和关节重要度进行加权，以增强模型提取判别特征的能力；距离度量时，通过图匹配方式得到查询骨架图与支持骨架图之间的欧式距离，然后基于动态时间规整算法动态规划两个动作序列间最优匹配，计算得到骨架图对距离累积，从而增强时空特征对齐，最后通过查找最近距离以进行度量和分类。在NTU-T、NTU-S和Kinetics三个骨骼基准上的实验表明，提出算法能够充分利用人体骨骼信息，提高小样本动作识别匹配精度。

关键词：动作识别, 小样本学习, 图卷积网络, 时空匹配