结合上下文特征融合的虚拟视点图像空洞填充

来源：电子与信息学报杂志2024年第4期北京时间：

作者：周洋, 蔡毛毛, 黄晓峰, 殷海兵

单位：杭州电子科技大学通信工程学院 杭州 310018

摘要：由于参考纹理视图的前景遮挡和不同视点间的视角差异，基于深度图的虚拟视点合成会产生大量空洞，先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透；然后，针对经3D-warping后输出合成图像中的空洞，设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成，第1级网络生成空洞区域的纹理结构信息，第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时，空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明，提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

关键词：虚拟视点绘制, 空洞填充, 特征融合, 上下文特征

基金资助：浙江省自然科学基金(LY21F020021)，国家自然科学基金(61972123, 61901150)