MPEG-H 音频:下一代音频 (NGA) 实现个性化

下一代音频(NGA)以现有的音频编解码器和架构为基础,提供前所未有的个性化服务,这部分归功于基于对象的音频资产的方法。John Maxwell Hobbs 报告说,Fraunhofer IIS 的 MPEG-H 音频编解码器的采用率大幅上升……

在过去的二十年里,下一代视频技术受到了极大的关注——主要集中在分辨率上:从标清到高清,从高清到 4K,从 4K 到 8K。除了短暂的 3D 电视之外,这些技术进步并没有改变在屏幕上观看移动图像的基本体验。

MPEG-H 音频:下一代音频 (NGA) 实现个性化
图片来自互联网

音频完全是另一回事。从 1980 年代的第一台立体声电视机开始,到 2000 年代初“家庭影院”5.1 扬声器系统的推出,再到如今无处不在的环绕声条形音箱,广播音频的技术进步不仅提供了更高的质量,而且也是一种更身临其境的体验。

音频公司现在正在开发所谓的下一代音频 (NGA)。NGA 不仅仅是简单地添加额外的频道,它还专注于在现有技术的基础上进行构建,并将它们与智能电视、智能扬声器和智能手机中可用的强大处理能力相结合,让观众能够创造出个性化的音频体验,无论他们身在何处,无论他们使用什么设备。

NGA 对音频流采用了一种新方法。传统上,音频在工作室中混合到离散通道中——两个通道提供立体声混音的左右声道,最多六个离散通道用于 5.1 环绕声混音。NGA 采用不同的方法,将音频资产作为单独的对象保存,并让观众的设备根据其功能创建最终混音。

MPEG-H 音频:个性化

Fraunhofer IIS 的 NGA 技术 MPEG-H 得到了显著采用。该技术包含在 ATSC、DVB、TTA(韩国电视)和 SBTVD(巴西电视)电视标准中,并在韩国用作全球首个地面超高清电视服务的唯一音频系统。巴西已选择它作为下一代电视 3.0 广播服务的强制性音频系统,该服务预计将于 2024 年启动。

Yannik Grewe 是 Fraunhofer 音频和多媒体部门的音频制作技术高级工程师,曾参与该公司使用 MPEG-H 音频制作的作品,其中包括欧洲歌唱大赛、FIFA 世界杯和里约摇滚音乐,他描述了一些经历。

“随着 2018 年在里斯本和 2019 年在特拉维夫举行的欧洲歌唱大赛,我们在主转播车旁边进行了平行制作,”他说。“除了 5.1 沉浸式音效,我们还专注于个性化——让用户选择首选语言或增强对话以获得更好的语音清晰度的选项。例如,我们让在家的用户选择评论员的偏好级别。”

最近,Fraunhofer 与 FIFA 一起为卡塔尔 2022 年 FIFA 世界杯的每一场比赛提供身临其境的声音和个性化服务。Grewe 说:“用户可以选择一个喜欢的解说员,或者完全关闭解说员以获得体育场的气氛。”

MPEG-H 音频:观众反应

工程师们必须小心,他们不是为了寻找问题而构建解决方案,考虑到这一点,Fraunhofer 与广播公司密切合作,以确保 MPEG-H 为观众带来价值。

Grewe 指出与 BBC 合作播出温布尔登网球锦标赛,让观众可以改变评论员在混音中的突出位置。“我们进行了一项调查,询问他们有多喜欢这个功能,”他说。“事实证明,一半的人对现在的混音很满意,而另一半则想改变解说的水平。所以,我们可以说 50% 的人对组合感到满意,50% 的人不满意,但实际上 100% 的人都想以某种方式改变它,但方式略有不同。”

BBC Radio 技术顾问兼前技术主管 Rupert Brun 与 Fraunhofer IIS 合作并参与了测试。“有趣的是,大约一半的人想要调高对话,”他说。“也许他们有听力障碍,但很可能他们是在嘈杂的公共交通工具上阅读内容。或者他们边吃边做饭,没有专心看屏幕。另一半想拒绝对话。

“因为他们想要在温布尔登的身临其境的体验,或者他们正专注于比赛,他们知道自己的网球,他们不需要评论。所以,我们发现,在那种情况下,BBC 在制作声音平衡方面做得非常好,恰好在人们想要的范围的中间,几乎没有人想要。

“从那以后的调查总是表明,人们想要的正是这种个性化,远远超过沉浸感。广播公司收到了数以千计的关于对话可听度的投诉,从一开始,我们就一直专注于解决这个问题。无论在哪里尝试,它都非常受欢迎。”

MPEG-H 音频:采用

任何广播技术成功的关键在于它被广播公司和制造商采用。“很明显,韩国制造商 LG 和三星很快就实施了 MPEG-H,而索尼 360 临场音效的主张就是基于它,”Brun 说。“其他制造商现在也纷纷效仿。但是,当然,如果没有人播放,制造商不想做东西,而如果没有消费设备供人们观看,人们也不想播放东西,这总是有点先有鸡还是先有蛋的问题”

Brun 认为,媒体应用程序在通用设备上的广泛使用有助于加快 MPEG-H 的采用。“我们已经证明,给定一个功能合理的智能手机,完全可以在应用程序中的软件中实现解码和播放个性化,”他说。

“你不需要设备内置硬件芯片来处理 MPEG-H,你可以用软件来实现。而且我认为重要的是要注意所有支持 MPEG-H 的设备都可以播放任何 MPEG-H 内容。这并不是说只支持其中的一个子集——它是通用的。MPEG-H 的一大优点是,您可以制作一个版本,消费者将获得最佳体验,无论他们使用的是家庭影院系统还是手机,因为消费者设备会将其渲染成无论他们使用什么,都是最好的版本。”

MPEG-H 音频:工具

制作团队将需要强大而灵活的创作工具,这些创作工具可以集成到现有工作流程中,以创建支持 MPEG-H 的内容。“我们有自己开发的生产工具,也有与合作伙伴一起开发的工具,”Grewe 说。“有 MPEG H 创作套件,这是我们从我们的网站提供的一组工具,可以免费下载,其中包括适用于所有主要音频工作站和平台的插件。它还带有一个独立的工具,可以将来自其他系统的现有混音转换为 MPEG-H 流。”

MPEG-H 目前在 DaVinci Resolve 中得到支持,该公司在今年的 NAMM 展会上宣布,它将被纳入 Steinberg 的 Nuendo 和 Avid 的 Pro Tools。

Fraunhofer 正在确保现场制作也得到支持。“我们正在与 Telos Alliance 等专业硬件制造商合作,他们在其线性声学 AMS 创作和监控系统中支持 MPEG-H ”,Grewe 说。“Jünger Audio 有一个名为 MMA 的解决方案。以及称为Spatial Sudio Design 的新音频技术”。

Brun 还强调该技术可以轻松融入熟悉的工作流程。“重要的是,这些编码器将根据流中嵌入的元数据进行即时更改。我们有三个不同的制造商为现场制作硬件,我们有所有这些不同的软件平台用于后期制作的内容,”他说。

“当你在制作中心工作时,如果你仍在使用 SDI,我们可以通过 SDI 发送所有内容,例如,我们可以发送 15 个音频通道,然后是第 16 个通道,我们发送一些东西当你听的时候,这听起来有点像时间码,但它是所有的元数据。它非常坚固。你可以把它放在混音台上,从另一端出来绝对没问题。显然,如果您使用基于 IP 的工作流程,那很好。我们也能做到。”

总的来说,MPEG-H 音频似乎正在迅速达到采用的临界点,集成将开始成为预期的规范,而不是实验性的前沿。可以肯定的是,对越来越身临其境的音频的需求正在上升,而且无论是从广播、OTT 还是纯技术的角度来看,这一轨迹都不太可能平缓。

作者:John Maxwell Hobbs
原文:https://www.ibc.org/features/mpeg-h-audio-next-generation-audio-nga-delivers-on-personalisation/9571.article

本文为原创稿件,版权归作者所有,如需转载,请注明出处:https://www.nxrte.com/jishu/23089.html

(1)

相关推荐

发表回复

登录后才能评论