《电子测量技术杂志》发表论文赏析

基于跨模态协同感知的双流融合动作识别模型

来源:电子测量技术杂志2025年第21期北京时间:

作者:刘罡,李小雨,吴烨,郑泽林

单位:1.无锡学院集成电路科学与工程学院 无锡 214105; 2.南京信息工程大学电子与信息工程学院 南京 210044; 3.无锡学院江苏省集成电路可靠性技术及检测系统工程研究中心 无锡 214105)

摘要:针对现有动作识别算法中时空特征融合不充分及丰富的骨架信息未能得到充分利用等问题,本文提出一种基于跨模态协同感知的双流融合动作识别模型。首先,本文提出一种双流融合模型,通过融合RGB视频流和骨架流,获取两个模块的全局信息,实现优势互补;然后,提出时空交互注意力模块,实现了时空特征的深度协同与动态互补,动态增强相关时空区域的注意力权重;最后,设计出一种多模态特征融合模块,将通过RGB视频流和骨架流的输出进行特征融合增强,通过自适应权重分配与跨模态交互,充分挖掘RGB视觉外观与人体骨骼运动间的互补信息,从而提升动作识别准确率。多组实验结果表明,该双流融合动作识别模型在NTU RGB+D和NTU RGB+D 120数据集上实现了高精度的动作识别,分别获得97.2%和92.3%的准确率,与基线方法MMTM相比,精度分别提高了3.6%和3.2%。通过结果表明,该模型可以充分提取利用人体骨架信息,同时充分融合时空特征,提高对动作识别的准确率。

关键词:时空注意力机制;特征融合;动作识别;多模态

基金资助:国家自然科学基金(62204172)项目资助

2025年21期其他文献查阅:

船舶尾气检测方法研究现状与展望

通道与空间特征协同提取的抗噪手势识别方法

QFN封装器件应用电路谐振分析与解决方法研究

改进鱼鹰优化算法的移动机器人路径规划研究

上肢康复机器人自适应阻抗交互控制策略

改进的YOLOv11智能车辆动态环境目标检测算法

激光超声法零件缺陷在线自动检测系统研究

自适应VMD与多头注意力PCNN融合的小电流接地故障选线方法

基于跨模态协同感知的双流融合动作识别模型

基于差异增强的电缆微弱缺陷诊断方法研究

小样本下基于对比学习的特定辐射源识别

基于RF和改进蜜獾优化的牵引变压器在线故障预测

基于单环控制结构的三相PWM整流器离散滑模直接功率控制

基于改进YOLOv8的光伏电池缺陷检测

改进RT-DETR的密集行人检测算法

激光惯导紧耦合的户外长距离SLAM算法研究

基于特征分支增强的室外场景图像语义分割

改进YOLO11的多尺度上下文增强注意力车辆检测模型

融合M2Net的子空间优化逆散射成像方法

融合动态多尺度轻量化无人机小目标检测算法

基于数据增强和改进YOLOv8的轨道扣件检测方法

基于SGF-YOLO的钢板缺陷检测方法

双平面线阵电磁层析成像的有限元仿真分析

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!