四十年来，视频编码一直沿用传统的编解码器，从MPEG 1和2，到H.264高清过渡，再到H.265的4K时代，以及后来的VVC/H.266。如今，AI 正在席卷广播电视领域，纯 AI 或神经视频编码技术也指日可待。InterDigital 去年十月收购了 AI 压缩领域的先驱Deep Render，这表明业界正在密切关注这一趋势，并可能试图在 AI 原生编解码器这一新兴领域占据一席之地。
“视频压缩技术迄今为止取得了巨大的成功，视频无处不在，而且效果显著，其中蕴含着巨大的经济利益，”Ateme 的研究工程师 Thomas Guionnet 表示。“AI 的发展日新月异；40 年的视频压缩发展历程在短短 5 年内就被弥补了。我们不容忽视其巨大的潜力。AI 既可以帮助我们解决目前尚无法解决的问题，例如视频内容分析，也可以解决我们已经能够解决的问题，例如视频压缩。而在这两者之间找到平衡点，才是真正有趣的地方。”
混合模式
在编码领域，基于预测的机器学习压缩技术已存在数十年，并逐渐演变为如今常被称为“AI”的技术。但在短期至中期内，鲜有观点认为 AI 会完全取代传统编解码器。混合模式似乎是一种更可能的替代方案，即在经典编码技术的基础上融入 AI 服务。
Synamedia 技术高级总监 Gwendal Simon 预计，在短期至中期内，传统编解码器不会被完全取代。“AI目前的价值在于提供能够提升流媒体体验的功能。在预处理阶段，AI 可实现帧率选择，并改善画面特定区域的画质；在后处理阶段，它能在直播场景中提供超越 VMAF 的视觉质量评估，”他解释道。
这使得 Synamedia 能够以视觉方式调整内容，根据特定场景定制编码器，并识别可以提升质量的领域。“它还支持自适应比特率流媒体的比特率阶梯。AI 可以帮助在最终用户的质量和客户的成本之间找到合适的平衡点。”
AI 驱动的超分辨率技术是人工智能如何提升视频传输流程的又一例证。去年九月在IBC展会上，Beamr与Nvidia合作，展示了一条实时AI驱动的视频流水线，该流水线利用AI超分辨率技术预测并生成新的像素，从而将高清内容提升至4K分辨率。
Beamr首席技术官Tamar Shoham表示：“您既能享受到传统编解码器的优势，例如消除时间和空间冗余以及熵编码，又能借助 AI 在边缘端便捷地提供不同的体验。这填补了市场空白，内容提供商希望在无需在每个场所部署4K基础设施的情况下提供优质内容。未来这或许不再重要，但就目前而言，您拥有的是传统内容和基础设施，而 AI 可以通过高效压缩提供4K体验。”
幻觉
AI 在编码中的应用引发了一系列问题，保真度便是其中之一。“关于保真度和相似性，存在一个哲学问题：图像中信息的丢失或增加何时才算重要？在将幻觉视为问题之前，你必须首先确定你想要的是什么，”Guionnet 说道。
Appear公司技术与创新副总裁 Ian Wagdin 警告说，在实时环境中，赢得信任难，失去信任却易。“例如，目前围绕C2PA（内容到数据保护）和身份验证方面有很多工作正在进行，以确保我们不会在新闻输出中看到人工智能生成的内容。这就引发了一个问题：经过多层人工智能处理后，内容的真实性究竟如何？”
幻觉显然是广播电视和电影行业的一大障碍。Shoham 表示，这需要对人工智能算法进行仔细审查：“我们选择英伟达的超分辨率技术的原因之一是，它的算法更加保守，降低了编码过程中出现幻觉的风险。在 IBC 展会上，人们称赞最终效果非常稳定可靠，现在我们的客户正在研究一些高级功能。”
围墙花园和权力
Wagdin 认为，互操作性和对整个供应链所有编解码器的支持，而不是由单一厂商进行端到端编码，才是重要的考量因素。“你需要能够在供应链的每个环节检查、理解和解码编解码器，”他补充道。“如果你使用新技术，你需要确保在你想拦截内容的每个环节都能对其进行解码。要利用 AI 实现这一点，需要在整个供应链中保持高度的兼容性；你必须严格遵守标准。”
AI 编码所需的处理能力也很大程度上依赖于GPU，尤其是在体育赛事等快速移动的实时场景中。这些挑战在现有编解码器中已经存在，但 AI 可能会加剧这些问题。“内容处理速度是否足够快？处理能力能否在需要的时间和地点随时可用，尤其是在远程制作的情况下？”Wagdin 思考道，“在人们已经对在云工作流程中使用 GPU 密集型应用程序持谨慎态度的当下，这些解决方案的部署成本可能很高。”
对 Simon 而言，AI 在编码领域应用的最大障碍可能在于解码器生态系统。任何要求接收端设备上的解码器执行 AI 计算的改动都需要强有力的论证。解码器内部的资源消耗也是一个问题。“这将影响我们在给定机器上同时编码的通道数量。这是一项需要考虑的成本。”
缓慢过渡
如果纯AI编码能够带来切实价值，那么向其过渡是有可能的，但目前来看，其益处尚不明显。据Guionnet称，虽然已有关于神经编解码器的研究成果发表，但目前还没有任何产品实现商业化。“JPEG AI作为首个纯神经编解码器，将于2025年标准化，它是一种图像编解码器。而向视频领域的过渡则引入了新的复杂性：保持特定的帧速率带来了显著的额外挑战。”
他补充道，人工智能对视频压缩的影响或许不如其他领域那么显著，但它仍然是视频压缩的未来。“目前我们拥有优秀的编解码器，但我们正面临一个瓶颈，而纯粹的人工智能编码将打破这个瓶颈。目前，视频编码器的结构是顺序执行的；有些操作无法并行化，而人工智能可以做到这一点。复杂度不会降低，但速度会更快。”
Shoham表示，最终，在考虑用AI算法完全取代传统编解码器时，重要的是要考虑视频内容的用途。“在自动驾驶汽车等场景中，由于需要从不同摄像头采集大量视频，并且工作流程完全由AI驱动，纯粹的AI视频压缩可能是一种可行的工具，”她解释道。“但在传统领域，我们需要保留视频的每一个细节及其艺术意图，我认为在未来很多年里，我们仍将坚持使用传统的视频编码方式。”
原文：https://www.tvbeurope.com/media-management/a-codec-revolution
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/jishu/yinshipin/69302.html
