虚拟现实技术在听力学中的应用

研究表明，人类的感官不是孤立的模式，而是相互影响。感官之间的互动的经典例子是腹语效应（ventriloquism effect）：空间上冲突的视听对象被判断为放置在视觉对应物的位置，以及麦格尔克效应（McGurk effect）：一个人听到的声音由说话者的嘴唇运动决定。这些例子显示了视觉对听觉的支配. 听觉不仅受到视觉的影响，还受到其他感官如触觉和本体感觉的影响。例如，已经表明，空气喷射形式的触觉信息有助于语音可懂度。

传统的测试方法只刺激听觉模式，缺乏所谓的生态效度。虚拟现实（Virtual Reality，VR）技术可以提供生态效度的解决方案，虚拟现实技术允许我们创建模拟真实世界的模拟器，同时保持一定程度的控制，这在真实世界中是不可能的。虚拟现实实验室的优势在于，环境和实验是可扩展和可复制的.

一、虚拟显示反映现实生活交流要求——沟通循环

事实上，现实生活中的沟通是在一个互动循环中发展的，它以一种动态而复杂的方式将声场（代表环境中的所有声音，包括对话伙伴）、听力设备（如果存在）以及积极行为的主体和对话伙伴（包括他们的认知和感知过程）联系起来。图1显示了这种交流循环的示意图，其概念被确立为认知科学和神经科学中推理的基础。

虚拟现实技术在听力学中的应用 — 图1：表示声场、设备（如果存在）和主动行为主体之间的交互的沟通循环

在虚拟现实实验室中，条件是可扩展和复制的，这可能有助于设计实验，以找到实验因素、合适的指标和参与通信循环的水平之间的关系。由于实验室研究的参与者可能对这种情况感到有些不安全，因此行为部分不自然，因此现场数据是补充实验室数据所必需的。

二、虚拟现实实验室技术

为了在虚拟现实实验室中实现通信环路，需要具有集成传感器的交互式低延迟多媒体渲染技术来闭合环路。由于其交互式低延迟声音和视频渲染，以及环内传感器技术, 为了实现听力研究的虚拟现实实验室，必须开发实时、低延迟、高质量的交互式音频渲染软件。开源的TASCAR软件工具箱就是为此目的而开发的，它使研究人员能够设计动态声学场景，并使用不同的技术对其进行渲染。为了确定该方法的可行性，研究人员使用4至72个声道的常规圆形扬声器阵列的计算机模拟，研究了再现方法与技术和感知助听器性能测量之间的相互作用。结果证实，如果采用适当的渲染技术，扬声器的数量增加，即使4微米双耳波束成形也能很好地渲染物理声场的精度.在开发的视听技术的基础上，设计了一套五种不同的视听环境：自助餐厅、演讲厅、火车站、有汽车交通的街道和客厅图2显示了一张虚拟现实实验室的照片，实验对象坐在实验室的中心。遵循游戏化方法，可以将动画角色与其他声源（例如火车或汽车）一起放置在场景中，并且可以实现故事情节以将主题嵌入场景中。为了闭合环路，集成了几个传感器，特别是光学运动跟踪、凝视跟踪（光学和眼电图）、脑电图和视频监控。

投影仪（黄色）在圆柱形屏幕上投影300度的视场图像。声音通过球形多扬声器阵列呈现，该阵列具有29个全频扬声器（蓝色）和4个超低音扬声器。传感器包括用于眼睛凝视的EOG传感器、EEG传感器和头部跟踪（红色）。此外，受试者可以在实验期间进行视频记录（绿色）。EEG表示脑电图；EOG表示眼电图。

三、虚拟现实技术在听力学中的具体应用

虚拟现实技术可以提供生态效度的解决方案。这些技术从硬件和软件的角度来看，变得越来越实惠和用户友好，以至于它们可以被带出实验室并用于临床设置。虚拟现实实验室的目的是在具有挑战性的通信条件下，对使用和不使用听力设备的受试者进行交互式和重复的测试，在这些典型的环境中，听力障碍人群在听翻译时普遍表示不舒服和挑战。在这些环境中，可以添加虚拟角色以及虚拟音频源。这些环境仅被设计用于执行语音识别任务、检测任务和分散注意力任务。

（1）测试助听器和耳机的定向性

典型的例子是GN Resound开发的VR平台，使用虚拟扬声器阵列和虚拟听力设备，并使用360度摄像机拍摄视频。整个设置在Unity3D平台上运行（www.unity.com）。听觉反馈可以通过耳机或扬声器阵列进行传递。具体而言，虚拟听力设备和虚拟扬声器阵列使我们能够创建虚拟空间的快速原型，而不必处理昂贵的扬声器阵列和物理实时原型听力设备。目标是设计一个灵活敏捷的环境，用于助听器的实验室测试以及使用VR的一般空间能力。

（2）测试和训练空间听觉技能

听觉训练可以提高耳蜗植入儿童的表现，在一项研究中评估了一种基于VR的音乐技能训练应用程序。其目标是通过虚拟现实应用程序为听力障碍者提供一种感受和观看音乐的方式，将声音中捕获的音频信号转换为通过振动电机以一定强度发送的振动。评估了三种场景：第一种场景是用户通过VR体验音乐，第二种场景是通过振动体验音乐，而第三种场景是VR和振动相结合。初步的可用性评估显示了将视觉和触觉信号相结合来训练听力障碍个体的潜力，第三种场景在听音乐时的可用性和用户体验方面得分要高得多。

（3）评估语言处理系统效率

该系统将VR技术与AI实现相结合，用于自动语音识别（ASR）、句子预测和拼写校正。被选中的参与者被邀请参加一场戏剧表演，表演结束后，他们用Likert量表回答了四个结构化的问题，包括图像/展示、字幕、理解和满意度（1分到5分最好）。图像/显示器（由三星Gear VR提供）的评分最差，而字幕总体上被评为正面。总体而言，结果显示，在整个游戏过程中，人们对系统的理解和满意度持积极态度，但希望在图像质量和设置的整体人体工程学方面有所改进。

（4）校园环境模拟及无障碍课堂

VR技术可以提供了一个在学校环境中戴着耳蜗或助听器的孩子的3D模拟。在这个模拟中，用户既可以在学校操场上导航，也可以坐在教室里。VR应用程序展示给了听力障碍儿童的父母，他们发现该工具很有用，因为它可以让他们了解孩子在日常活动中的挑战，如上学或操场。此外，家长们表示，这对从事听力障碍儿童工作的教师、教练和专业人员来说可能是一个有用的工具，因为他们可以深入了解学生如何看待他们的讲座或课程。模拟并不能完全代表听力障碍患者所遇到的问题，因为最终我们是用大脑而不是耳朵来听的，大脑会随着时间的推移适应所提供的技术。然而，模拟至少可以表明当听力障碍学生在学校环境中与同龄人相处时所面临的挑战。

将DAVEE作为听力障碍学生的无障碍课堂环境。该系统是一个虚拟现实模拟系统，通过手语和360度教学视频来应对听力障碍学生的挑战。在这里，采用一个三维工具，教给听力障碍学生数学。另外一个名为Smile的系统，是一个面向5至10岁儿童的沉浸式虚拟学习环境。这是通过让角色通过英语口语和美国手语进行交流来实现的。评估显示，孩子们觉得这个系统既实用又令人愉快。

四、关于虚拟现实技术应用展望

VR设备已经实现了一定程度的大众化，因此可以以相对较低的成本进行购买。例如Meta的Oculus Quest2等设备不需要额外的硬件或单独的台式电脑，可以让普通观众在家训练。

（1）视听显示

从软件的角度来看，近年来虚拟声学取得了巨大进展，虚拟现实应用包括真实听觉刺激的渲染，包括空间渲染和房间声学。然而，在高效而准确的听觉模拟方面仍然存在挑战。主要问题涉及这样一个事实，即准确的房间模拟在计算上极其昂贵，阻碍了实时实现。

尽管目前存在一些工具来生成高保真视觉显示的内容，但创建高质量的3D图形仍然非常耗时。一种替代解决方案是使用360度相机，该相机可以捕捉再现的真实场景。使用录像的优点显然是内容快速、容易获得，并且忠实地再现了现实。一个缺点是它无法修改，而且视角取决于相机的位置。另一方面，3D生成的内容具有高度的适应性和可修改性，但创建起来更耗时，并且需要计算机图形学技能才能生成逼真的模拟。

（2）互动性

VR的一个关键属性是其交互性，允许用户发挥非常积极的作用。几十年来，VR社区对3D用户界面中的交互技术进行了广泛的研究。尽管如此，商业VR设备仍然基于操纵杆，不能忠实地代表人类在现实世界中的复杂互动。一些设备，如Oculus Quest 2，有可能用手追踪取代操纵杆，这使我们能够提高互动的自然度。然而，与自己的手互动会消除现实生活中存在的触觉和触觉反馈。在物理世界中，如果我们用手伸向一个物体，我们可以感受到它的纹理、形状、温度和其他物理特性。研究人员建议，在设计触觉界面时也应该实施这种探索程序，以提供人类和技术之间更自然的互动。

五、总结

目前虚拟现实在测试听力技能和培训听力障碍患者方面都显示出潜力。虚拟现实的大众使其成为一种合适的听力研究工具。视听质量、人体工程学和可用于VR技术的软件工具也将增加其在临床实践中的应用。虚拟现实的使用仍然存在挑战，尤其是对老年人来说，即虚拟现实将个人与现实世界完全隔离，这可能会令人生畏。在这种情况下，其他解决方案，例如基于增强现实的解决方案，其中虚拟世界叠加在虚拟世界上，可能更合适。

参考文献：

[1] Hohmann, V., Paluch, R., Krueger, M., Meis, M., & Grimm, G. (2020). The virtual reality lab: Realization and application of virtual sound environments. Ear and Hearing, 41(Suppl 1), 31S.

[2] Serafin S, Adjorlu A, Percy-Smith L M. A Review of Virtual Reality for Individuals with Hearing Impairments[J]. Multimodal Technologies and Interaction, 2023, 7(4): 36.