三星与谷歌合作开发沉浸式音频模型和格式

为了让观众充分享受电影、体育比赛和现场赛事等内容，家庭电视不仅需要出色的画质，还需要令人印象深刻的音质。认识到这一点，行业内许多公司正在寻求3D音频开发，以增加更深层次的沉浸式娱乐体验。

简而言之，3D音频让听众感觉仿佛真的身临其境。3D音频通常仅在电影院或录音室等特定场所提供支持，但现在它正在进入家庭，为观众提供一种体验他们喜爱的内容的新方式。

三星电子旗下高级研究院Samsung Research自2020年以来一直致力于普及3D音频。为此，三星与谷歌合作共同开发沉浸式音频模型和格式（Immersive Audio Model and Formats，以下简称IAMF）——一种先进的3D空间音频技术。

在家享受3D音频的新方式

环境噪声无时无刻不在，从人行道上鞋子的刮擦声，到车流中汽车的嗡嗡声，它们都是构成真实世界的一部分。尽管媒体中的环境噪声往往被视为不必要的，但它却在娱乐体验中扮演着至关重要的角色。3D音频技术的应用，可以将环境噪声与对话、音效完美地融合在一起，创造出更加逼真、生动的娱乐体验。

三星研究院视觉技术团队的WooHyun Nam表示：“3D音频通过调整声音的强度、运动和振动，让您感觉仿佛真正处于动作的中心。” “通过这种方式，观众能够享受更浓郁的声音，捕捉我们周围的世界。”

尽管3D音频具有诸多优势，但由于技术限制，该技术一直难以应用于家庭音频设备。三星研究院视觉技术团队的SungHee Hwang表示：“电视扬声器或条形音箱等家庭音响系统无法正确解释内容中的3D声音信息，从而导致音频体验稍微有限，缺乏原始内容的细节。”

为了解决这个问题，三星与谷歌努力合作开发了一种音频解决方案，让观众能够按预期体验内容音频。Nam说：“如果设备制造商可以读取3D音频数据，他们就可以调整音频设备中的声音，从而可以通过家里的标准电视扬声器或条形音箱获得身临其境的音频体验。”“通过调整音频以匹配家庭设备环境，听众可以体验创作者想要的音频，而不会出现任何失真或质量损失。”

创作者和设备制造商之间需要一个统一的标准来顺利地发送和接收音频数据。三星研究院执行副总裁兼视觉技术团队负责人JeongHoon Park表示：“三星和谷歌各自在设备和内容方面的专业知识使两家公司成为创建IAMF技术的理想合作伙伴。” “通过共同开发这项前所未有的技术，我们正在为消费者在家中享受3D音频铺平道路。”

IAMF技术提供了三个独特的功能来增强音频体验：

1. 垂直表达声音的能力

之前的开源音频编解码器仅支持水平声音表达。借助IAMF技术，音频现在可以垂直表达，从而使声音变得越来越多向。“IAMF允许听众听到前方、后方或两侧以及上方或下方的音频，从而使声音更加真实，”Nam说道。“因此，当IAMF技术应用于家庭电视扬声器和条形音箱时，听众可以在家里的电视上听到鸟儿从头顶飞过的声音。”

2. 基于AI的场景分析和3D音频效果

IAMF利用人工智能和深度学习技术来分析场景并强调内容的某些方面，调整音频电平以在整个观看体验中增强声音。“在电视和电影中，某些场景的配乐或背景音乐是主要焦点，”Nam说。“IAMF将平衡这些情况下的声音。同样，当有角色对话时，该技术会微调音频，让听众能够专注于对话。”

此外，即使设备环境发生变化，IAMF技术也能提供最佳声音。“通过根据设备环境调整场景分析音频数据，IAMF技术使听众能够在标准家用电视上享受内容的原始音质，”Hwang补充道。

3. 高度定制的音频

通过IAMF技术，用户将能够根据自己的喜好自由调节声音。无论观众想要放大动作场景的音效还是增强对话，IAMF都可以让他们灵活地定制内容音频，以获得更加个性化的体验。

借助开源IAMF为整个行业提供3D音频

开源对于创建整个行业的统一标准至关重要。IAMF是开放媒体联盟（Alliance for Open Media，简称AOM）采用的第一个基于开源的音频技术标准，这意味着整个行业的企业和独立内容创作者都可以访问该技术并扩展其用途。

“为了让人们能够利用3D音频技术自由创作内容，相关技术需要向所有人开放，”Nam说。“为3D音频提供从创作到交付和播放的完整开源框架，将在未来带来更加多样化的音频内容体验。”

同样，Park强调了IAMF技术将如何对未来的音频领域产生巨大影响。“因为我们生活在一个以内容创作为主导的时代，IAMF将帮助引领、扩展和转变3D音频生态系统，”他说。

“三星声音”的愿景

该产品发布后，三星研究团队意识到3D空间音频的标准化标志着声音技术的新时代。

“感谢IAMF，我们可以开始研究能够开启音频可能性世界的技术，”Nam说。据此，三星研究团队目前正在开发IAMF技术的高级版本，该技术可应用于移动设备、元宇宙、视频游戏等不同领域。

鉴于IAMF的成功，三星研究团队有动力为消费者创造更好的音频技术。每个团队成员都分享了他们对3D音频未来的渴望。

Nam谈到了他创造更具沉浸感的音频技术的愿望。“我想创造一种更先进的3D音频技术，让用户感觉自己真正处于电影、电视节目或现场活动的场景中，”他说。“我也希望继续这项研究，直到3D音频应用到三星的智能手机上。”

更广泛地说，Hwang讨论了他如何希望三星能够创造出无与伦比的音频技术，使其跻身于其他领先音频公司的行列。“我的目标是开发一种让消费者在听到时能够轻松区分为‘三星声音’的技术，”他说。“我乐观地认为，IAMF标准是实现这一梦想的垫脚石。”

“我希望三星的声音技术能够让消费者享受到与当前视觉体验不相上下的升级音频体验，”Park说道。“我希望内容创作者能够利用三星的音频技术，让3D音频内容变得触手可及。 此外， 我们的目标是创造一个支持性环境，使研究人员能够应对大胆而令人兴奋的挑战，例如扩展三星的音频技术。”

IAMF等技术标准将为观众带来更加身临其境的娱乐体验。三星研究团队正在为改变音频未来的创新铺平道路。

信息源于：samsung