复杂背景下多特征结合的深度学习手势识别

来源：电子测量技术杂志2023年第23期北京时间：

作者：赵鸿图，李豪，梁梦华

单位：河南理工大学物理与电子信息学院 焦作 454003

摘要：科学技术的快速发展使得基于深度学习的人机交互已经得到广泛的应用。手势识别作为人机交互领域的重要组成部分，同样具有重要的研究意义和应用价值。通过对传统的手势识别方法进行研究，发现主要是利用肤色检测算法实现手势识别和分类，但是传统方法在针对具有复杂背景的手势图像时会出现识别效果差等问题。为解决这一问题，提出一种基于卷积神经网络的肤色特征和边缘特征结合的手势识别方法。首先，在YCrCb颜色空间采用椭圆肤色模型和Otsu阈值肤色识别算法获取手势肤色特征，经算法判断后，对手势肤色图像采用改进Canny边缘检测算法获得手势边缘特征。其次，提出一种边缘填充方法对手势边缘图像处理，得到手势轮廓完整的手势边缘图像。最终，采用逻辑运算和形态学运算得到手势分割图像，并输入卷积神经网络进行训练和识别。实验结果表明，该方法在复杂背景下具有较好的手势识别效果，在NUS-II数据集上的平均识别率为98.83%。

关键词：复杂背景;肤色检测;边缘检测;手势识别;卷积神经网络

基金资助：河南省科技厅科技攻关和软科学项目(192102310446)、河南省高校基本科研业务费专项资金项目(NSFRF210406)资助