基于深度学习的多帧瞳孔检测算法

来源：电子测量技术杂志2025年第9期北京时间：

作者：张国静，李承家，韩敬伟，黄曼

单位：杭州电子科技大学信息工程学院 杭州 310000

摘要：瞳孔定位在人机交互和生物医学计算应用中起着至关重要的作用。目前，许多复杂的瞳孔定位算法都是通过单幅图像来检测和定位瞳孔位置的。然而，瞳孔运动是一个连续的过程。因此，当无法在当前帧中准确检测和定位瞳孔位置时，可以通过结合前几帧的信息来推断瞳孔位置。这种方法可以更有效地处理困难和具有挑战性的情况，例如反射、睫毛和眨眼遮挡瞳孔，以及偏离中心的瞳孔位置和运动模糊。因此，该方法可以显著提高瞳孔检测的准确性和稳健性，减少定位误差。基于此，一种基于深度学习的多帧瞳孔检测算法被提出。该算法在Unet的编码解码结构的基础上引入连续人眼注视场景的多帧信息进行瞳孔检测。将卷积神经网络CNN与卷积长短期记忆网络ConvLSTM和注意力机制CBAM结构相结合，提出了一种混合语义分割网络。在瞳孔数据集上的实验表明，所提算法相较于其他算法具有更好的性能表现，其中均值交并比MIoU得分达96.78%，均方根误差RMSE为3.83，尤其在处理复杂情况下表现出色。

关键词：卷积神经网络;卷积长短期记忆网络;Unet;瞳孔检测;深度学习

基金资助：杭州电子科技大学信息工程学院科研培育基金（KYP0323015）、浙江省教育厅科研项目（Y202147108）资助