揭秘 MPEG-I:下一代 VR 和 AR 音频

MPEG-I 沉浸式音频标准由 MPEG 音频工作组(ISO/IEC JTC1/SC29/WG6)近期最终确定,是MPEG-I 沉浸式媒体套件的最新成员。该标准可在虚拟现实(VR)和增强现实(AR)中实现逼真的音频体验,确保设备与服务生态系统间的互操作性,从而提升生产效率并降低成本。

该标准 (ISO/IEC 23090-4) 及其参考软件 (ISO/IEC 23090-34) 支持六自由度 (6DoF) 沉浸式体验、高级渲染以及高效的存储和流媒体传输。它能够模拟逼真的声学环境,包括早期反射、混响、遮挡、衍射和多普勒效应,使 VR/AR 中的导航更加真实。MPEG-I 沉浸式音频的建模功能将有助于创作者、开发者和最终用户更轻松地获得高质量的沉浸式体验,并使其更加普及。

VR 音频重现会将您带入完全虚拟的声学环境,而 AR 音频重现则会以逼真的方式补充您的物理声学环境和虚拟声音。无论AR或VR场景,用户均能完全沉浸于环绕声场中,在音源保持定位的同时自由探索声景空间。

揭秘 MPEG-I:下一代 VR 和 AR 音频
图片来自 nokia

技术推动标准 

MPEG-I 沉浸式音频标准支持 VR 和 AR 的 6DoF 对象渲染、声道渲染和高阶环绕声 (HOA)。诺基亚对该标准的主要贡献在于后期混响渲染、增强现实 (AR) 支持以及多 HOA 采集渲染。

MPEG-I 沉浸式音频中的后期混响是首个适用于 VR 和 AR 应用的沉浸式后期混响,它能够自动根据物理声学环境进行配置,并支持联网环境。MPEG-I 沉浸式音频中的 AR 支持由聆听空间信息接口实现,该接口使应用程序能够配置物理聆听空间的虚拟表示。多个 HOA 信号捕获的渲染使最终用户体验到实时捕获的全保真 6DoF 环境,无需昂贵的前期制作。 

诺基亚设想 MPEG-I 沉浸式音频能够赋能全新 VR/AR 和扩展现实应用,在这些应用中,沉浸式音频再现能够自动适应正在捕捉或建模的空间。多 HOA 信号的渲染有助于用户轻松捕捉和传输沉浸式音频场景,从而实现听众的全方位运动,并实现经济高效的制作。一些关键领域可能包括体育和娱乐、音乐、沉浸式社交 VR/AR 体验、虚拟旅行、用户创建内容等。

标准化的下一步是根据应用程序开发者针对关键用例的反馈,进一步开发渲染技术。诺基亚已在使参考渲染软件能够在消费级移动设备上运行方面迈出了重要的第一步。诺基亚正在持续研究并收集早期标准采用者和内容创作者的反馈,探讨如何让这些先进的技术更好地服务于音频行业,从而推动沉浸式 6DoF 音频的未来发展。

内容源自:https://www.nokia.com/blog/unveiling-mpeg-i-the-next-generation-of-vr-and-ar-audio/

本文来自作者投稿,版权归原作者所有。如需转载,请注明出处:https://www.nxrte.com/jishu/62335.html

(0)

相关推荐

发表回复

登录后才能评论