在关于物理 AI 的讨论中，视觉占据了主导地位。然而，视觉仅仅是其中的一部分。机器还需要“聆听”周围的世界。
机器必须能够理解语音指令、区分多位说话者、定位声音来源、过滤干扰，并与人类进行自然的交流。从许多方面来看，语音识别正逐渐成为物理 AI 的基础感知能力之一。
语音优先交互时代
如今，新一代设备正围绕语音优先交互理念而打造。
智能眼镜正在演变为与数字信息交互的持久界面。耳塞和可穿戴音频设备正成为智能伴侣。人形机器人和具身 AI 助手依赖于自然语音交流。语音代理正在变革客户服务、支持运营和企业工作流程。甚至汽车也正在变成一个移动的工作空间，语音成为与日益复杂的软件系统交互的最安全、最自然的界面。
在所有这些应用中，语音识别不再仅仅是一种便利功能。它是感知堆栈的一部分，使机器能够在物理世界中智能地运行。
正如计算机视觉帮助机器理解它们所看到的事物一样，语音和音频智能帮助它们理解它们所听到的事物。
在所有这些类别中，用户体验的基础技术是：自动语音识别 (ASR)。
随着语音成为物理 AI 的核心交互界面，重点从实现语音识别转移到确保其在现实世界条件下可靠运行。
每个语音命令背后都隐藏着声学问题
人类在嘈杂的环境中理解语音的能力非常出色，而机器则不然。
想象一下，你站在房间的另一头对着智能设备说话。你的声音并非沿着一条干净、隔离的路径直接传到麦克风。相反，它会从墙壁、地板、天花板、窗户、家具和其他表面反射回来。你的语音会以多个延迟的副本形式，从不同的方向、在不同的时间到达麦克风。
与此同时，环境中可能存在电视、音响、空调、厨房电器、交通噪音或建筑施工活动。房间里的其他人可能正在进行完全不同的谈话。
现在加入动作。
说话者可能在行走。听者可能在移动。背景中的说话者位置可能会改变。噪声源可能出现不可预测的波动。距离不断变化。信号强度会上升和下降。
想想看，在嘈杂的房间里，人要集中注意力听清一个声音有多难。现在想象一下，要让机器每次都完美地做到同样的事情，这有多难。
这就是语音识别系统必须面对的现实。
远场语音识别，即准确理解从远离麦克风的位置采集到的语音的能力是几乎所有现代语音产品的基础功能。然而，远场性能仍然是业界面临的最大挑战之一，因为声学环境本身也会成为问题的一部分。
开发人员面临的问题很简单：如何训练和评估系统以适应如此复杂的世界？
如今的答案往往不够充分。
物理 AI 需要声学现实
挑战不仅仅在于语音识别。
影响自动语音识别（ASR）的声学复杂性同样也影响着物理 AI 所需的诸多能力。机器人必须确定声音的来源。智能眼镜必须区分用户的声音和周围的对话。语音代理必须在多人同时说话时保持上下文关联。智能设备不仅要理解说了什么，还要理解是谁说的以及声音的来源。
无论哪种情况，其根本挑战都是一样的：机器必须在物理环境中运行，而声音的行为必须符合物理定律。
遗憾的是，许多 AI 系统仍然使用只能部分反映现实情况的数据进行训练和评估。这导致系统开发方式与其最终实际应用表现之间的差距日益扩大。
为什么传统发展模式正走向极限
大多数语音识别系统都使用近距离麦克风录制的相对清晰的音频进行训练和评估。即使进行远场测试，通常也仅限于少数几个物理房间或实验室环境。
这种方法在语音应用相对受限时是合理的。但它难以满足当今的需求。
试想一下，要全面评估一套现代自动语音识别系统需要哪些条件。你需要不同大小、形状和材质的房间。你需要无数种家具摆放方式。不同的麦克风位置。不同的扬声器位置。不同的噪声源。不同数量的说话者。不同的移动模式。
那么你就需要所有这些条件的各种变体，成千上万，甚至数百万种排列组合。
实际情况是，没有任何组织能够建造足够的物理测试环境来代表现实世界中遇到的各种声学条件。
因此，许多系统在受限条件下表现非常出色，但在家庭、办公室、车辆、餐厅、公共场所或其他声学挑战性环境中部署时却表现不佳。
这导致基准性能和用户体验之间日益脱节。
基于物理的声学建模
由于不可能大规模地记录现实世界中的每一个场景，开发人员越来越需要一种类似于物理 AI 和机器人领域中常见的数字孪生的声学等效物。
与依赖简化近似的传统方法不同，基于物理的声学模拟能够捕捉到衍射、散射、反射、混响、声源指向性、器件特性和动态运动等关键声学现象。
这使得开发人员能够虚拟地创建逼真的声学环境，而无需尝试在物理上建造它们。
我们越来越认为这是物理人工智能的音频层。
通过创建房屋、办公室、车辆、设备、工厂和公共空间的声学精确数字孪生模型，开发人员可以将模型暴露在现实世界中各种各样的聆听条件下，而这些条件在其他地方是无法或不切实际地捕捉到的。
我们的研究表明，使用高保真模拟声学数据训练相同的语音增强模型，与使用传统模拟方法训练的模型相比，可以将词错误率降低高达38%。模型架构保持不变。差异源于训练数据本身的声学真实性。
超越理想化的基准
随着 AI 系统越来越多地从云端迁移到物理环境中，行业需要能够反映真实部署条件的评估方法。正如机器人基准测试衡量物理性能、计算机视觉基准测试衡量感知能力一样，语音 AI 也需要能够捕捉真实声学环境的基准测试。
Hugging Face 的远场自动语音识别 (FFASR) 排行榜是业内首个旨在提供开放、社区驱动的基准测试平台的项目，用于在真实的声学条件下评估语音识别模型。该基准测试采用基于物理的仿真方法，纳入了混响、干扰语音、环境噪声、不同的房间声学特性以及其他显著影响实际性能的因素。
该基准测试并没有询问模型在安静的录音棚中表现如何，而是提出了一个更重要的问题：它在人们实际使用它的地方表现如何？
随着语音界面扩展到智能眼镜、机器人、汽车系统、AI 代理和下一代计算平台等领域，了解其在现实世界中的行为变得日益重要。开发者需要一些工具，以便在产品面向消费者之前评估其稳健性、可靠性和易用性。FFASR排行榜旨在帮助开发者了解这些方面。
本文来自作者投稿，版权归原作者所有。如需转载，请注明出处：https://www.nxrte.com/zixun/69386.html
