基于注意力机制和深度先验的注视点检测网络

来源：计算机工程与应用杂志2024年第14期北京时间：

作者：朱芸, 朱冬晨, 张广慧, 孙彦赞, 张晓林

单位：1.上海大学 通信与信息工程学院，上海 200444 ；2.中国科学院 上海微系统与信息技术研究所 仿生视觉系统实验室，上海 200050；3.中国科学技术大学，合肥 230026；4.上海科技大学，上海 201210；5.中国科学院 雄安创新研究院，河北 雄安 071702

摘要：人类注视行为作为一种非语言线索，对揭示人类意图起着重要作用，注视点检测在机器视觉领域已引起广泛关注。然而，现有方法多聚焦于图像的纹理信息提取，忽视了立体深度信息对注视点估计的重要性，难以应对纹理复杂场景。对此，提出了一种新的基于注意力机制和深度先验的注视点检测网络，包括面部视线方向预测与场景显著性检测两个阶段。在视线方向预测阶段，建立通道-空间注意力机制模块以重校准纹理特征，并设计头部位置编码分支，实现纹理和头部位置感知增强的高表征特征，以准确预测视线方向。进一步，提出将表征三维场景中立体或距离信息的深度作为先验引入到显著性检测阶段的策略，同时通过通道-空间注意力机制增强多尺度纹理特征，充分发挥深度几何信息和图像纹理信息的优势，提高注视点检测的准确性。实验结果表明，在两个权威数据集GazeFollow和DLGaze上与其他先进方法相比，该模型表现出显著的优越性。

关键词：注视点检测,注意力机制,深度先验,特征融合,神经网络