基于深度学习的VVC快速帧内模式决策

来源：电子测量技术杂志2022年第3期北京时间：

作者：施金诚，杨静

单位：上海海事大学 信息工程学院，上海 201306

摘要：新一代视频压缩标准（H.266/VVC）在帧内预测中提供了67种预测模式，这使得编码效率得到大大提升，但同时也带来了极高的计算复杂度。本文提出了一种基于深度学习的帧内模式决策快速算法。首先针对编码块尺寸划分后块的大小形状不同的问题，对提取的亮度块进行预处理，并通过随机剪裁、重采样和卷积神经网络（CNN）上采样的方式，保证块的大小和质量。然后精心设计了CNN架构来降低帧内预测复杂度，并提出将当前编码块、相邻参考块以及残差块三者作为网络的输入，把率失真决策过程转换为分类问题，减少不必要的模式遍历。为训练所提出的深度学习网络，本文针对H.266的特点建立了模式决策数据集。实验结果表明，文章提出的算法与VTM10.0相比，编码时间平均降低了39.56%~43.45％，有效的降低了编码的计算复杂度，同时率失真性能基本保持不变，与最新参考文献相比综合性能也有所提升。

关键词：H.266/VVC;帧内预测;模式决策;深度学习;上采样

基金资助：国家自然科学基金资助项目（61902239）资助