语义增强的多视立体视觉方法

来源：计算机技术与发展杂志2024年第03期北京时间：

作者：韩燮;';王若蓝;';赵融;'

单位：1. 中北大学 大数据学院,山西 太原 030051;2. 山西省视觉信息处理及智能机器人工程研究中心,山西 太原 030051;3. 机器视觉与虚拟现实山西省重点实验室,山西 太原 030051

摘要：针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。 首先,提出了一种 ConvLSTM( Convolutional Long Short-Term Memory) 语义聚合网络,通过使用 ConvLSTM 网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了 3D 重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入 ConvLSTM 语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。 与主流的多视立体视觉重建方法相比,重建效果较好。

关键词：三维重建;深度学习;多视立体视觉;特征提取;语义聚合网络