基于跨模态协同感知的双流融合动作识别模型

来源：电子测量技术杂志2025年第21期北京时间：

作者：刘罡，李小雨，吴烨，郑泽林

单位：1.无锡学院集成电路科学与工程学院 无锡 214105; 2.南京信息工程大学电子与信息工程学院 南京 210044; 3.无锡学院江苏省集成电路可靠性技术及检测系统工程研究中心 无锡 214105)

摘要：针对现有动作识别算法中时空特征融合不充分及丰富的骨架信息未能得到充分利用等问题，本文提出一种基于跨模态协同感知的双流融合动作识别模型。首先，本文提出一种双流融合模型，通过融合RGB视频流和骨架流，获取两个模块的全局信息，实现优势互补；然后，提出时空交互注意力模块，实现了时空特征的深度协同与动态互补，动态增强相关时空区域的注意力权重；最后，设计出一种多模态特征融合模块，将通过RGB视频流和骨架流的输出进行特征融合增强，通过自适应权重分配与跨模态交互，充分挖掘RGB视觉外观与人体骨骼运动间的互补信息，从而提升动作识别准确率。多组实验结果表明，该双流融合动作识别模型在NTU RGB+D和NTU RGB+D 120数据集上实现了高精度的动作识别，分别获得97.2%和92.3%的准确率，与基线方法MMTM相比，精度分别提高了3.6%和3.2%。通过结果表明，该模型可以充分提取利用人体骨架信息，同时充分融合时空特征，提高对动作识别的准确率。

关键词：时空注意力机制;特征融合;动作识别;多模态

基金资助：国家自然科学基金（62204172）项目资助