融合改进YOLOv5及Mediapipe的手势识别研究

来源：计算机工程与应用杂志2024年第7期北京时间：

作者：倪广兴, 徐华, 王超

单位：1.盐城工学院 信息工程学院，江苏 盐城 224000；2.盐城师范学院 物理与电子工程学院，江苏 盐城 224000

摘要：针对现有手势识别算法计算量大、鲁棒性差等问题，提出一种基于IYOLOv5-Med（improved YOLOv5 Mediapipe）算法的手势识别方法。该算法将改进的YOLOv5算法和Mediapipe方法结合，包括手势检测和手势分析两部分，算法有效降低了训练的时间成本，增加了识别的鲁棒性。手势检测部分，改进了传统YOLOv5算法，利用FastNet重构C3模块，将CBS模块替换为GhostNet中GhostConv模块，在Backbone网络末端加入SE注意力机制模块，改进后的算法，模型体积更小，更适用于资源有限的边缘设备。手势分析部分，提出了一种基于Mediapipe的方法，对手势检测部分定位到的手势区域进行手部关键点检测，并提取相关特征，然后通过朴素贝叶斯分类器进行识别。实验结果证实了提出的IYOLOv5-Med算法的有效性，与传统YOLOv5算法相比，参数量下降34.5%，计算量减少34.9%，模型权重降低33.2%，最终平均识别率达到0.997，且实现方法相对简单，有较好的应用前景。

关键词：手势识别,YOLOv5,Mediapipe,FastNet,注意力机制