什么是VVC？关于 VVC 架构、工具、性能及部署等

本文整理了 Alan Stein 在 Streaming Media East 2023 关于 VVC 的介绍，包括了架构、工具、性能、部署、流媒体等内容。

什么是VVC？

VVC（Versatile Video Codec）是基于 HEVC 的混合视频编码，通过完善现有的技术和增加一系列在 HEVC 及过去的编解码器中所没有的工具，它的性能相较 HEVC 在主客观上分别提升了 30% 和 40+%。VVC 面向 8k、360°、HDR 等一系列场景，这也是它被命名为多功能视频编解码器的原因。

VVC 架构和新工具

VVC 建立在传统的视频编解码器基础之上，包含量化、运动补偿、帧内预测、环路滤波等 H.264 和 HEVC 均拥有的模块，再加上图中红色轮廓块中的技术改进与新工具。下图列出了 VVC 中的主要新增技术。

Partitioning

这是 VVC 的重要工具之一。在 HEVC 中，宏块的大小为，而在 VVC 中，宏块的大小扩展至并支持更进一步的灵活划分。给定一张图片，对于背景部分，我们想尽可能高效地对其做整体处理；而对于诸如人脸边缘或纹理等细节，我们想对其再细分，以不同的方式处理这些细节。在下图中我们能看到，绿色网格表示编码器处理的区块大小，VVC 相较过去的编码器要复杂得多。相较 HEVC，VVC 在细粒度细节处划分了大量小区块，使用大区块覆盖背景部分。由于将更多的比特应用于图像细节，VVC 具备了更高的编码效率与更优的性能。

Intra Prediction – angular modes

对于图像中的空间冗余，我们想让图像的这一部分与另一部分相似，然后从另一部分直接进行复制，帧内预测就是预测我们能够从何处复制这些像素。在上图中，黑色箭头表示 HEVC，红色箭头和蓝色箭头表示 VVC。相较 HEVC，VVC 从更多的方向进行帧内预测，以相对较低的解码器成本提升了图像质量，即 VVC 在提升压缩效率的同时并没有使得解码器变得十分复杂。

VVC 性能

这是 VVC 性能迭代的曲线，随着新工具的增加，增益由最初的 10% 提升至了 40%，并且解码时间仅提升至约 1.6 倍。考虑到摩尔定律，1.6 倍的解码器复杂度换来了 40% 的增益，这实际上是一个相当不错的结果。

这是比特率失真曲线，基本原理为通过编码测试所需要的比特数和质量，比特越少，质量越高，曲线向左上方移动，性能越优。上图中，蓝线是 HEVC，红线是 VVC。我们可以看到，对于这些十分具有挑战性的内容进行编码，VVC 总是位于 HEVC 的左上方。

RPR 的使用让 VVC 有了进一步的性能提升。RPR （Reference Picture Resampling）意味着在视频编解码器中的所有图片不必只以单一分辨率存储，而可以在多分辨率下使用。即使所有图片的大小均与输出相同，RPR 依然能够带来性能上的增益。在上图中，绿线是 HEVC，浅蓝线是 VVC，深蓝线是增加了 RPR 的 VVC，向左向上性能更优。虽然没有显著的性能增长，但依然有所提升。

VVC 部署状态

在 MPEG 完成工作之后，VVC 在众多应用标准中被广泛采用，如 ATSC、SCTE、DVB、SBTVD、CTA Wave、DASH-IF 等组织。可以说，VVC 不是已经被采用，就是在被采用的路上。在商业上，VVC 也已广泛应用于软件解码、硬件解码、编码等产品。

VVC For Streaming

HEVC 在流媒体方面尚未取得巨大的成功，因为如果没有硬件视频解码器，服务商并不愿意放弃 H.264。然而，转向 VVC 不仅具有巨大的性能增益，而且对于传统设备支持问题，VVC 拥有一套经过优化的高性能、可移植的开源代码，支持浏览器播放 VVC，能够加速原型和商业产品的部署，与 AV1 等非 MPEG 编解码器保持一致，缓解了困扰 HEVC 多年的问题。