基于多模态数据的人体行为识别方法研究综述

来源：计算机工程与应用杂志2024年第9期北京时间：

作者：王彩玲, 闫晶晶, 张智栋

单位：西安石油大学 计算机学院，西安 710065

摘要：人体行为识别广泛应用于智能安防、自动驾驶和人机交互等领域。随着拍摄设备和传感器技术的发展，可获取用于人体行为识别的数据不再局限于RGB数据，还有深度、骨骼和红外等多模态数据。详细介绍了基于RGB和骨骼数据模态的人体行为识别任务中特征提取方法，包括基于手工标注和基于深度学习的方法。对于RGB数据模态，重点分析了基于双流卷积神经网络、3D卷积神经网络和混合网络的特征提取算法。对于骨骼数据模态，介绍了目前流行的单人和多人姿态评估算法；重点分析了基于卷积神经网络、循环神经网络和图卷积神经网络的分类算法；进一步全面展示了两种数据模态的通用数据集。此外，基于RGB和骨骼各自的数据结构特征，探讨了目前面临的挑战，最后对未来基于深度学习的人体行为识别方法的研究方向进行了展望。

关键词：视频理解,人体行为识别,深度学习,特征提取,姿态评估算法