Vulkan Video 加速功能现已登陆浏览器

核心要点

  • 视频是网络上最大的负载,而其中大部分都要经过浏览器。
  • 浏览器需要运行在所有平台上,因此传统上必须维护多个加速后端,而有些平台此前完全没有视频加速。
  • Vulkan Video 为浏览器提供了统一的零拷贝加速后端,只要 GPU 装有 Vulkan Video 驱动即可使用。
  • 把它送进浏览器,是一场由 Khronos 协调的产业协作。
  • Firefox:零拷贝解码已随 Firefox 153 落地。Chromium:原生编码正在向上游推进,解码随后跟进。
  • 同一套栈还可延伸到嵌入式和车载领域。今天就可以基于它开发;加入 Khronos,一起塑造下一步。

视频是网络上最大的负载。流媒体、视频会议、屏幕共享、云游戏和远程桌面加起来,构成了互联网流量的大多数;而对大多数人、在大多数时候,这些视频的解码和编码就发生在浏览器里。

高质量的视频体验依赖硬件加速:把解码和编码交给 GPU 专用的视频引擎,才能让 CPU 保持响应、让电池撑得更久。没有 GPU 卸载,笔记本在视频通话时风扇就会狂转,轻薄设备播放 4K 流也会卡顿。

所以,GPU 加速是关键。但浏览器必须处处可运行,而每个平台传统上都有不同的视频加速 API,包括 Linux 上的 VA-API 或 V4L2、Windows 上的 DXVA 和 Media Foundation,以及嵌入式系统上的厂商 SDK。这往往迫使浏览器团队重复投入,去实现和维护多个视频后端,也让一些平台至今完全没有视频加速。

一个视频 API,适配多种 GPU

Vulkan Video 就是 Khronos® 对上述碎片化问题的回答,它延续了 Vulkan 的理念:给应用对硬件的显式、细粒度控制。Vulkan Video 并不是一个独立的视频 API:它把硬件视频解码和编码作为 Vulkan 内部的队列加入进来,复用 Vulkan 驱动中已在 Windows、Linux、Android 和嵌入式设备上交付的内存、同步与调度框架。

这些视频功能被定义为一组扩展:所有编解码器共用的核心视频队列扩展,加上针对 H.264、H.265、AV1 和 VP9 解码,以及 H.264、H.265 和 AV1 编码的编解码器专用扩展——这样新增格式时无需改变编程模型。最终得到的是单一 Vulkan 运行时,图形、计算、显示和视频处理共享同一份 GPU 内存和命令队列。这让整条管线实现零拷贝:从解码到显示、从采集到编码,帧始终留在 GPU 上,其设计目标是降低 CPU 负载、功耗、延迟和内存流量。

浏览器厂商从 Vulkan Video 标准中获益尤多,因为浏览器必须在其用户所在的每个平台上线。浏览器实现者不必再为每个平台编写和维护单独的视频后端,而可以在各平台间使用同一个一致的后端:代码更少,而且在任何装有 Vulkan Video 驱动的 GPU 上都能获得加速。目前这意味着通过厂商自家驱动支持的 NVIDIA、AMD 和 Intel GPU,Mesa 的开源 RADV、ANV 和 NVK 驱动也在跟进。

一场产业协作

在浏览器中启用 Vulkan Video 是一场全行业的团队作战,涉及浏览器软件栈的每一层:Khronos 提供的 Vulkan Video 扩展规范和一致性测试;实现这些扩展的 GPU 厂商驱动;浏览器调用来做解码编码的开源媒体框架与库,主要是 FFmpeg(其 Vulkan Video 解码器还提供了所有帧消费者都依赖的同步机制),以及 Khronos Vulkan Video Samples 库——一个浏览器可以直接在其上构建的开源参考编解码器;还有浏览器自身的代码库。每一层都由一个拥有独立评审流程和发布节奏的组织负责,某一层的改动,在上下相邻的层都落地之前不会产生任何效果。

Khronos 的两项成果为浏览器团队承担了大量繁重工作。Vulkan Video 的一致性测试会验证每个厂商的驱动是否正确实现了扩展,从而让相同的应用代码在每个符合规范的 GPU 上表现一致。Vulkan Video Samples 库则处理视频管线中最难的部分(会话管理、参考图像跟踪、码率控制、码流组装和色彩转换),让实现者不必从零写起。

Khronos Vulkan Video 子工作组协调了这项工作,由 NVIDIA 的工程师牵头,AMD、Intel、Google、Mozilla 和 FFmpeg 社区积极参与。这份合作如今已在两大浏览器引擎上结出果实,各自采用 Vulkan Video 来填补最紧迫的加速缺口:Firefox 补解码,Chromium 补编码。

Vulkan Video 加速功能现已登陆浏览器
图 1:浏览器视频栈的四层结构,以及各层所属的组织。

Firefox:零拷贝视频解码

Mozilla 需要一个能在 Linux 上跨 GPU 通用的硬件解码路径。Firefox 通过 FFmpeg 解码媒体,运行在专用的沙箱进程中。因此,给 Firefox 加上 Vulkan Video 意味着要同时推进两层:FFmpeg 的 Vulkan Video 解码器,以及 Firefox 自身,以便它能直接显示 FFmpeg 从 GPU 内存中解码出的帧。

Khronos 与 Mozilla 和 FFmpeg 社区合作,扩展了 FFmpeg 中的 Vulkan 视频解码器,使其能够将解码后的帧导出为 DMA 缓冲区(Linux 中用于在进程间共享 GPU 内存的机制),以及另一个进程正确读取帧所需的布局和同步信息(DRM 格式修改器和解码屏障)。

Firefox 新增了一条路径,由 GPU 进程导入这些 DMA-buf,并直接交给合成器显示。结果就是零拷贝解码:从解码器到屏幕的途中,像素从不接触系统内存。

FFmpeg 的改动和 Firefox 的图形基础设施已合并入库。Firefox 解码器本身,以及允许媒体进程通过 Vulkan 访问 GPU 的沙箱规则更新,已随 Firefox 153 落地。

Vulkan Video 加速功能现已登陆浏览器
图 2. Firefox 中的零拷贝解码:只有帧句柄穿过沙箱,像素始终留在 GPU 上。

Chromium:原生视频编码

Google 需要为 Chromium 浏览器提供硬件视频编码。在 Linux 上它完全没有硬件编码路径,所以每一次视频通话、屏幕共享和录制都是用 CPU 做软件编码。Khronos 借助 Vulkan Video Samples 库,直接在 Vulkan API 之上为 Chromium 构建了一个编码器。这个单一后端旨在服务 Chromium 中所有需要编码视频的功能:WebRTC 通话、屏幕共享、WebCodecs、MediaRecorder 和 Cast。采集到的帧以 GPU 共享图像的形式交给编码器,因此从采集到编码的路径也是零拷贝。

Chromium 已经基于 VA-API(Linux 视频加速 API,Intel 和 AMD 的驱动程序均支持)实现了解码后端,因此只有 NVIDIA GPU 缺少硬件解码功能。作为权宜之计,NVIDIA 为其 GPU 提供了一个 VA-API 实现。当 Vulkan 视频解码功能集成到 Chromium 中时,NVIDIA 的临时方案即可被弃用,Chromium 的解码将基于一个开放的跨平台标准,并且越来越多的 GPU 驱动程序将原生支持该标准。

面向 Chromium 的 Vulkan Video 解码后端正在开发中。同时,子工作组已经开始把编码器向上游合入 Chromium 开源项目。

与此同时,AMD 和 Intel 正在各自的 GPU 上推出 Vulkan 视频路径,而 Google 正在审查 Chromium 的更改并改进围绕这些更改的浏览器框架,其中最重要的是编码器所接入的 GPU 零拷贝基础架构。

Vulkan Video 加速功能现已登陆浏览器
图 3:一个 Vulkan Video 编码器服务 Chromium 的五项功能,从 WebRTC 通话到 Cast。

“把 Vulkan Video 带进 Firefox 和 Chromium 需要广大开发者和提交者的大量工作,但收益远远超过投入,”Vulkan Video 子工作组主席、NVIDIA GPU 系统软件工程师 Tony Zlatinski 表示。“Vulkan Video 提供了一条带显式同步的零拷贝加速路径。它不仅是被加速了,而且是高效的,这正是电池供电和散热受限设备所需要的。浏览器也不必再为每个平台维护单独的后端,或把 CPU 周期烧在 GPU 本就该做的工作上。”

不止于浏览器

浏览器上的工作,只是让 Vulkan Video 成为越来越多平台上实时视频共同基础这一更大目标的一个战场。如今服务浏览器的同一套 API、驱动、一致性测试和参考库,可以从桌面延伸到嵌入式和车载系统:车载显示屏、机顶盒和笔记本都能跑同一套视频栈,而这套栈的每一次改进(包括本文所述的浏览器工作)都能惠及所有这些设备。

对这些设备的制造商来说,浏览器的部署也是一个佐证。如果 Vulkan Video 能满足 Firefox 和 Chromium 的需求——它们拥有沙箱化、多进程的架构,且必须在用户手上的任何 GPU 上运行——那么它同样能承载信息娱乐系统、流媒体盒子或会议设备的视频管线。

参与进来

如果你在构建视频应用,Vulkan Video Samples 库和上游 FFmpeg 的支持今天就可以使用。如果你在 Linux 上运行 Firefox,可以试试 Vulkan 解码路径、提交 bug,并在 Bugzilla 上告诉团队哪些 GPU 和驱动对你有效。

想深入了解的开发者,可以在 GitHub 上看到这项工作的更详细技术说明,以及背后的设计文档和代码评审

作者:Tony Zlatinski,Khronos Vulkan Video 子工作组主席、NVIDIA GPU 系统软件工程师
原文:https://www.khronos.org/blog/vulkan-video-acceleration-comes-to-browsers

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/73349.html

赞 (0)

相关推荐