沉浸式视频编码技术综述

来源：电子与信息学报杂志2024年第2期北京时间：

作者：曾焕强, 孔庆玮, 陈婧, 朱建清, 施一帆, 侯军辉

单位：1.华侨大学信息科学与工程学院 厦门 3610212.华侨大学工学院 泉州 3620213.香港城市大学计算机科学系 香港 999077

摘要：随着虚拟现实、增强现实等沉浸式媒体技术的发展，沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量，对传统视频编码技术提出了挑战，新的编码技术应运而生。该文从视频自由度(DoF)出发，分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG, MIV)编码标准。最后，对沉浸式视频及其编码技术的发展进行总结和展望。

关键词：视频编码, 沉浸式视频, 全景视频, 自由视点视频

基金资助：国家重点研发计划(2021YFE0205400)，福建省自然科学基金(2023J02022, 2022J06023, 2022J01294)，福厦泉国家自主创新示范区协同创新平台项目(2021FX03)，福建省教改项目(FBJY20230328)