基于时空注意力的空间关联三维形貌重建

来源：计算机应用杂志2024年第5期北京时间：

作者：盖彦辛, 闫涛, 张江峰, 郭小英, 陈斌

单位：1.山西大学 计算机与信息技术学院, 太原 030006；2.山西大学 大数据科学与产业研究院, 太原 030006；3.山西大学 自动化与软件学院, 太原 030006；4.哈尔滨工业大学重庆研究院, 重庆 401151；5.哈尔滨工业大学(深圳) 国际人工智能研究院, 深圳 518055

摘要：聚焦形貌恢复通过对场景深度和散焦模糊之间的潜在关系进行建模实现三维形貌重建。但现有的三维形貌重建网络无法有效利用图像序列的时序关联进行表征学习，因此，提出一种基于多景深图像序列空间关联特征的深度网络框架——三维空间相关水平分析模型（3D SCHAM）进行三维形貌重建。该模型不仅可以精确捕获单帧图像中聚焦区域到离焦区域的边缘特征，而且可有效利用不同图像帧之间的空间依赖性特征。首先，通过构建深度、宽度和感受野复合扩展的网络构造三维形貌重建的时域连续模型，进而确定单点深度结果；其次，引入基于空间关联的注意力模块，充分学习帧与帧间的“邻接性”与“距离性”空间依赖关系；另外，利用残差反转瓶颈进行重采样，以保持跨尺度的语义丰富性。在DDFF 12-Scene真实场景数据集上的实验结果显示，相较于DfFintheWild模型，3D SCHAM在深度值准确度度量的3个阈值1.25,1.252,1.253上的精确度分别提升了15.34%、3.62%、0.86%，验证了该模型在真实场景的鲁棒性。

关键词：三维形貌重建,时空注意力,深度学习,空间依赖关系,深度图

基金资助：国家自然科学基金资助项目(62006146);山西省基础研究计划自然科学研究面上项目(202203021221029);中央引导地方科技发展资金资助项目(YDZJSX20231C001)