JVET关于神经网络的视频编码NNVC

岁月如梭，距离2020年7月H.266视频编码标准的发布，已经三年有余。

但在视频编码标准研究和探索的道路上，Joint Video Exploration Team(JVET)并没有停下脚步，他们仍在继续着下一代视频编码标准的研究工作。下图是他们召开的会议情况。

JVET的下一代视频编码标准在H.266标准的基础上，除了继续对传统混合编码框架的已有工具进行优化外，JVET还将目光投向了近几年比较火热的神经网络，希望通过引入AI来进一步提升视频编码压缩的性能。

在2020年7月JVET的第19次会议上有和神经网络视频编码相关的AHG11，来研究端到端视频编码框架和基于神经网络的混合视频编码框架。

对应了基于深度学习的视频压缩主要研究方向，一个是对传统视频压缩某个模块和工具通过神经网络实现改进，在已有的编码模块中嵌入离线训练好的神经网络模型进行编码优化。

另一个是采用端到端的神经网络进行视频编码，将视频帧传入神经网络模型学习得到重构帧，如下图所示：

实际上最早在2018年4月JVET就已经在研究神经网络对视频编码性能的提高，当时主要的切入点是视频编码中的滤波处理。

然后在2020年10月的JVET-T2023提案，通过EE1和EE2探索深度学习在视频编码方面的可能性和效果。

此外，这个提案中也有介绍基于神经网络的超分编码技术，如下图所示：

它会在编码侧先对输入视频进行下采样后再进行编码。解码侧对解码重建视频进行上采样或者超分处理，从而使其和原视频有相同的分辨率。它并不需要改变混合编码框架，借助基于神经网络的超分技术，可以使编码码流更小，从而节省存储和带宽成本。

考虑到神经网络视频编码和传统编码方式存在较大差异，为了能够更好地对其进行压缩性能的测试和迭代，JVET对神经网络视频编码做了单独的CTC要求，对应的提案是2021年10月的JVET第24次会议的JVET-X2016。它指定了编码配置，序列，评价指标以及训练步骤等内容，目前文档内容还在继续更新之中。

经过两年的研究，在2022年7月的JVET第27次会议中，有关NNVC的提案主要有下图这些。