基于隐式表征的光场图像压缩

随着多媒体技术的发展，沉浸式与高自由度逐渐成为多媒体领域重要的发展方向。光场作为众多新媒体形式之一，能够同时捕获空间中光线强度和角度信息，相比于传统媒体具有更丰富的信息和更高的自由度，可以带给人们更具有沉浸感的体验。

然而，光场媒体数据量巨大，是同等分辨率二维图像的数百倍，为其传输与储存带来了极大的挑战，因此光场数据的压缩技术是使光场从理论走向实际应用的一大关键技术。传统编码方案很难充分利用这些角度信息来实现对光场数据的压缩。针对以上问题，本文探索设计了一种基于隐式表征的光场压缩方案，通过过拟合训练得到光场更为紧凑的隐式表征形式，再利用网络压缩方法对隐式表征网络进一步压缩。实验结果表明该方法在SSIM指标下相比于传统方法能取得更优异的性能，高码率下的PSNR指标也更优。该论文将发表于PCS 2022。

方法描述

1. 方法总览

基于隐式表征的压缩方法编码过程主要分为过拟合训练和网络压缩两大步骤。首先，隐式表征网络在目标光场图像上进行过拟合训练，将目标光场图像的信息储存在隐式表征网络的网络参数中。但训练完毕后的网络仍然是一个过参数化的网络，参数间仍有冗余信息。我们通过剪枝、量化、熵编码的网络压缩流程，进一步减小网络的大小，最终得到含有网络参数信息的码流。解码时则根据码流恢复出隐式表征网络，通过若干次正向传播即可得到重建光场图片。

2. 网络架构

网络设计的思路来源于视频隐式表征模型NeRV，输入为光场的角度域坐标(u, v)，输出为该坐标对应的整张视角图（也称为子孔径图像，sub-aperture image, SAI），遍历所有的(u, v)即可对整个光场图像完成重建。

隐式表征网络包含位置编码、全连接网络和上采样网络三大部分。位置编码将输入坐标通过傅里叶基底映射至高维，该操作可以提升网络学习高频信息的能力。位置编码后的网络经过全连接网络生成一个低维的特征图，再通过上采样网络的逐层上采样得到最终的输出视角图。上采样网络包含5个连续的NeRV Block和Residual Block，其中NeRV Block由卷积层、PixelShuffle层和激活层构成，Residual Block通过残差连接来提升输出图像的质量。

3. 网络压缩

隐式表征网络在光场图片上训练完毕后，依次通过剪枝、量化、熵编码三个步骤来对网络进行压缩。剪枝方法为逐层剪枝的LAMP方法，该方法相比与全局剪枝能更好地保持剪枝后网络的性能。剪枝后通过量化来降低每个网络参数所需的比特数，再对量化后的参数利用自适应算术编码生成最终码流。

实验分析

我们将本文的方法与其他传统编码方法（HEVC，JPEG Pleno的4D Transform和4D Prediction光场压缩标准）与隐式表征方法（图像隐式表征方法SIREN和视频隐式表征方法NeRV）在EPFL光场数据集上进行对比。实验结果表明我们的方法在SSIM指标下能取得更优异的性能，高码率下的PSNR指标也更优，同时也能取得更好的主观质量。解码时间方面，相比于图像隐式表征方法SIREN有20倍左右的速度提升。

总结

本文提出了一种以视角图为单位的光场隐式表征压缩框架，先通过过拟合训练将光场的信息储存进网络参数中，再对网络进行压缩来降低码流大小。解码时给网络遍历所有角度域坐标即可重建整个光场。本文将光场图片的压缩问题转化成了神经网络的压缩问题，可以直接利用现有的网络压缩方法来实现隐式表征网络的压缩，灵活度较高。同时网络一次正向传播可以生成一整张视角图，相比于逐像素生成的隐式表征方法更为高效。未来可以探索更适合隐式表征的网络压缩方法，并结合视角合成等技术，降低编码复杂度的同时提升图片质量。

参考文献

[1] Chen, Hao, et al. “Nerv: Neural representations for videos.” Advances in Neural Information Processing Systems 34 (2021): 21557-21568.

[2] Sitzmann, Vincent, et al. “Implicit neural representations with periodic activation functions.” Advances in Neural Information Processing Systems 33 (2020): 7462-7473.

[3] Lee, Jaeho, et al. “Layer-adaptive sparsity for the magnitude-based pruning.” arXiv preprint arXiv:2010.07611 (2020).

【内容提供】王赫男
【单位】中国科学技术大学智能媒体计算实验室