Meta 于 2025 年 11 月 17 日宣布,iOS 版 Instagram 现已支持杜比视界(Dolby Vision)技术,并能处理 iPhone 拍摄的 HDR 视频中的环境光元数据。该功能解决了通过 Meta 服务器转码流程保留 iPhone 视频元数据的技术难题,标志着自 2022 年首次支持 HDR 以来,该社交平台首次实现全面的 HDR 视频增强。
该功能需要 Meta 工程团队采用压缩版杜比视界元数据格式,平均将每段视频的传输开销从 100kbps 降至 25kbps。公告称,2024 年的初步 A/B 测试表明,未压缩的元数据会增加视频加载时间,从而降低 Instagram Reels 的用户参与度,因此这项压缩改进至关重要。

所有 iPhone 生成的 HDR 视频编码都包含两个关键的元数据组件,而 Meta 之前的转码系统却忽略了这些组件。环境观看环境元数据提供了标称观看条件的特征,使设备能够根据实际环境光线调整视频渲染。杜比视界元数据则增强了色彩、亮度和对比度,使视频与显示设备的性能相匹配。
Meta 的视频处理基础设施分为三个阶段:客户端处理阶段,创作者的设备将合成视频转换为采用 Main 10 配置文件的 HEVC 编码文件;服务器端处理阶段,转码系统生成多种格式版本;以及消费阶段,观看设备解码并显示视频帧。服务器端处理阶段依赖 FFmpeg 创建不同比特率的 SDR 版本、VP9 版本和 AV1 版本,但该阶段历来不支持 amve 和 Dolby Vision 元数据。
工程团队最初在 2022 年通过直接将静态值硬编码到 Instagram 播放器管道中来解决环境观看元数据的问题,因为他们发现每个视频的每一帧都包含相同的元数据。但这种变通方案并不稳定,因为没有机制确保不同 iPhone 型号或 iOS 版本之间的元数据值保持一致。2024 年,Meta 与 FFmpeg 社区合作,实现了对环境观看元数据的正确支持,包括用于验证两年前关于静态值的说法的日志系统。
杜比视界的实现面临着更为复杂的技术难题。iPhone 生成的 HDR 内容采用杜比视界 8.4 配置文件,结合了 HEVC 编解码器和 HLG 标准兼容性,以适应那些本身不支持杜比视界的设备。此外,还需要在平台实际提供给用户的编解码器中嵌入杜比视界元数据,具体来说,是 AV1 编解码器,而非 HEVC 编解码器。
Meta 工程师与 FFmpeg 开发人员合作,实现了对 Dolby Vision Profile 10 的支持,该标准允许在 AV1 比特流中携带元数据。此次合作最终使 FFmpeg 完全支持 Profile 8 和 Profile 10,从而可以使用 libaom 和 libsvtav1 编码器将采用 Profile 8.4 的 HEVC 转码为采用 Profile 10.4 的 AV1。该团队还修复了 dav1d 解码器和 Shaka 打包器,以确保在整个处理流程中正确处理 Dolby Vision 元数据。
Instagram 的视频播放器架构将独立解码的缓冲区提供给 Apple 的 AVSampleBufferDisplayLayer,而不是使用高级 AVPlayer 组件。这种方法支持 Apple 不原生提供的格式,例如 iPhone 15 Pro 之前的设备上的 AV1,但需要手动提取 Dolby Vision 元数据。Meta 按照 Dolby 规范中关于在 AV1 比特流中承载 Profile 10 的说明实现了元数据提取,并将元数据打包成 AVSampleBufferDisplayLayer 所需的格式。
杜比合作伙伴使用显示色彩分析仪验证了该功能的实现,他们测量了在不同屏幕亮度下,带有和不带有杜比视界元数据的相同 Instagram 帖子的亮度。分析表明,与没有元数据的内容相比,带有杜比视界元数据的内容亮度能够更紧密地跟随屏幕亮度设置。
Meta 在正式发布该功能前进行了 A/B 测试,制作了包含新元数据的额外视频版本,随机分配给测试组,而对照组则使用原有的视频版本。该公司收集了两种视频版本的观看时长、加载时间、连接类型和播放错误等统计数据。
2024 年 Instagram Reels 的首次 A/B 测试结果显示,与预期相反,带有杜比视界元数据的视频观看时长低于标准版本。数据分析表明,用户参与度下降的原因在于 100 kbps 的元数据开销导致加载时间延长。用户宁愿浏览信息流中的下一个 Reels,也不愿等待视频加载完毕。
Meta 实现了杜比指定的压缩元数据格式,将开销降低了四倍,平均降至 25 kbps。该实现大约需要 2000 行代码,涵盖了使用比特流过滤器在 FFmpeg 中对杜比视界元数据的压缩和解压缩。由于苹果本身不支持这种压缩格式,Meta 独立实现了客户端解压缩。
第二次A/B测试表明,观看带有杜比视界元数据的视频的用户在应用内停留的时间更长。Meta公司将这一改进归因于用户在光线较暗的环境下观看HDR视频的时间更长,在这种情况下,与渲染不当的内容相比,渲染正确且亮度元数据准确的视频对眼睛的刺激更小。
测试结果使 Meta 能够证明在 iOS 版 Instagram 上提供 Dolby Vision 的合理性,使其成为首个支持该技术的 Meta 应用。截至 2025 年 6 月,所有源自 iPhone 生成的 HDR 的 AV1 编码均包含压缩的 Dolby Vision 元数据。
VP9 编解码器不提供携带额外元数据的功能,因此目前杜比视界无法支持 VP9 格式的视频传输。Meta 表示有兴趣在未来的实现中探索 VP9 的其他传输机制。
公告指出,杜比视界在网络生态系统中对不同浏览器和显示器的支持仍然有限,因此无法在网页上准确展示这项技术。Meta 建议直接在 iPhone 版 Instagram 上体验这项增强功能。
Meta 的 视频处理基础设施 在 2025 年经历了重大的技术革新,动态媒体功能将于 2025 年 9 月 1 日起默认启用,用于 Advantage+ Catalog 广告。该平台的视频优化方法反映了行业向算法内容分发的更广泛趋势,但 广告商对透明度和控制权的担忧 仍然是平台开发讨论的核心。
该公司目前正致力于将杜比视界和amve支持扩展到Facebook Reels,并计划将其推广到其他Meta应用和相应的操作系统。编码方案现已支持这两种元数据类型,使其能够更广泛地在平台上推广。
Meta 对 Haixia Shi、杜比团队以及 FFmpeg 的 Niklas Haas 的合作表示感谢,感谢他们对这项工作的支持。此次实现使得开发者社区能够通过开源的 FFmpeg 增强功能轻松获得杜比视界支持。
这项技术突破解决了 HDR 元数据保存方面一个显而易见的问题,该问题会影响 iPhone 拍摄的视频在不同观看条件和屏幕亮度下的显示效果。Meta 与 FFmpeg 开发者的合作确保了更广泛的视频处理社区能够从这些改进中受益。
本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/63089.html