基于RGB与骨骼数据的人体行为识别综述

来源：计算机工程与应用杂志2025年第8期北京时间：

作者：李仝伟, 仇大伟, 刘静, 逯英航

单位：山东中医药大学 医学信息工程学院，济南 250355

摘要：人体行为识别是计算机视觉领域中的重要研究方向，在人机交互、医疗康复、自动驾驶等领域具有广泛应用和重大意义。由于其方法的重要性和前沿性，对该领域进行全面、系统地总结具有极其重要的意义。深入探讨了基于RGB和骨骼数据模态的人体行为识别方法；按照特征学习方式的不同，分为基于传统机器学习的手工特征提取方法和基于深度学习的深度特征提取方法。介绍了行为识别的基本流程，并总结了公开数据集。详述了基于RGB和骨骼数据模态的识别方法。对于RGB数据，分析了基于2D CNN、RNN和3D CNN的特征提取方法；对于骨骼数据，介绍了自上而下和自下而上的姿态评估算法，重点分析了基于RNN、CNN、GCN、Transformer和混合神经网络的分类算法。最后，展望了未来深度学习在人体行为识别中的五个研究方向。

关键词：行为识别,计算机视觉,RGB数据,骨骼数据,特征提取,深度学习