面向桌面交互场景的双目深度测量方法

来源：计算机工程与应用杂志2024年第9期北京时间：

作者：叶彬, 朱兴帅, 姚康, 丁上上, 付威威

单位：1.中国科学技术大学 生物医学工程学院（苏州） 生命科学与医学部，江苏 苏州 215000；2.中国科学院 苏州生物医学工程技术研究所，江苏 苏州 215000

摘要：基于视觉的虚拟现实交互方式在桌面书写应用场景中尚未有针对性的解决方案，书写交互中精细动作准确识别的实现，需要一种全新的高精度手笔联合三维识别技术，其中深度准确度是影响三维识别精度的重要因素。为此提出一种高精度双目深度测量方法，该方法针对书写交互采用了高分辨率、近距离的图像对作为输入，并在算法上提出全局与局部重要信息交叉融合的思想以提升速度与精度，减少计算成本。算法使用区域检测模块提取图像对中的手部和笔尖关键区域以重要程度分尺度输入；并且引入区域特征金字塔结构结合多尺度语义信息；同时利用视差级联模块缩小匹配范围，提高网络实时性。实验证明，提出的深度测量方法在手部和笔尖交互区域精度高，实时性好，能够有效辅助提高手笔联合三维识别精度以提供更好的虚拟书写交互体验，具有广泛的应用前景。

关键词：双目视觉,深度学习,立体匹配,深度测量,桌面交互