虚拟环境下的低延迟协同渲染方法研究

来源：计算机技术与发展杂志2023年第12期北京时间：

作者：王雅妮;高全力;王西汉;毕明洋;焦子逊

单位：西安工程大学 计算机科学学院,陕西 西安 710600 Author(s): WANG Ya-ni;GAO Quan-li;WANG Xi-han;BI Ming-yang;JIAO Zi-xun School of Computer Science,Xi’ an Polytechnic University,Xi’ an 710600,China 关键词: 虚拟现实;人机交互;协同渲染;全景图传输;高清低延迟 Keywords: virtual reality;human-computer interaction;collaborative rendering;panorama transmission;high definition and low latency 分类号: TP31 DOI: 10. 3969 / j. issn. 1673-629X. 2023. 12. 017 摘要: 虚拟现实技术以其独特的沉浸感、交互性,在游戏、直播等各领域的应用愈加广泛。 渲染技术是虚拟现实的核心环节之一,而只在本地客户端渲染是目前主要渲染方案,由于实时渲染需要大量的计算资源,导致虚拟现实应用存在响应延迟高、画面刷新率低、图像质量差以及虚拟场景复杂等问题。 针对上述问题,该文提出了虚拟环境下低延迟协同渲染方法。 首先,将复杂的虚拟环境进行前景交互和背景环境拆分;其次,将渲染工作量较大的背景环境卸载至服务端进行处理;最后,通过运动轨迹预测将渲染的复杂背景以全景图的方式进行分割编码传输至客户端与前景渲染的内容进行合并呈现。 经过实验验证,这种协同渲染的方法能够进一步降低传输过程中的 CPU / GPU 利用率以及网络延迟,提高帧刷新率,进而实现高清低延迟交互。

摘要：虚拟现实技术以其独特的沉浸感、交互性,在游戏、直播等各领域的应用愈加广泛。 渲染技术是虚拟现实的核心环节之一,而只在本地客户端渲染是目前主要渲染方案,由于实时渲染需要大量的计算资源,导致虚拟现实应用存在响应延迟高、画面刷新率低、图像质量差以及虚拟场景复杂等问题。 针对上述问题,该文提出了虚拟环境下低延迟协同渲染方法。 首先,将复杂的虚拟环境进行前景交互和背景环境拆分;其次,将渲染工作量较大的背景环境卸载至服务端进行处理;最后,通过运动轨迹预测将渲染的复杂背景以全景图的方式进行分割编码传输至客户端与前景渲染的内容进行合并呈现。 经过实验验证,这种协同渲染的方法能够进一步降低传输过程中的 CPU / GPU 利用率以及网络延迟,提高帧刷新率,进而实现高清低延迟交互。

关键词：虚拟现实;人机交互;协同渲染;全景图传输;高清低延迟