《INTERNATIONAL JOURNAL OF AUDIOLOGY》:Spatial AI improves speech intelligibility for hearing aid wearers in challenging multitalker noise
编辑推荐:
目的:本研究评估了搭载空间人工智能(Spatial AI)模型的Fortell AI助听器,在单一方位多说话者嘈杂声环境中,相较于一款采用神经网络降噪的市售对照助听器,是否能提升言语清晰度。
设计:在一项预先注册、双盲、随机对照试验中,助听器使用者分别佩戴Fo
目的:本研究评估了搭载空间人工智能(Spatial AI)模型的Fortell AI助听器,在单一方位多说话者嘈杂声环境中,相较于一款采用神经网络降噪的市售对照助听器,是否能提升言语清晰度。
设计:在一项预先注册、双盲、随机对照试验中,助听器使用者分别佩戴Fortell设备与对照设备完成快速言语噪声测试(QuickSIN)。两种设备均被设置为最大方向性与降噪模式。同时计算了客观指标。
样本:30名患有轻度至中度重度双侧感音神经性听力损失的成年人。
结果:研究助听器在+6、0和-6 dB的信噪比(SNR)条件下,显示出显著的言语清晰度改善,其比值比(odds ratios)分别为6.0、10.6和18.9(所有p值远小于0.0001)。SNR-50提升了9.2 dB,所有参与者在佩戴研究设备时识别出了更多正确的单词。实验室测量显示,对照设备相对于未助听条件的SNR改善了2.3 dB,而研究助听器则改善了15.5 dB。听觉辅助感知指数第二版(HASPI v2)显示了相近水平的SNR改善。
结论:空间人工智能(Spatial AI)在受控的单一方位多说话者配置下产生了显著的清晰度收益。效应量远超既定的临床显著性阈值,表明该算法可能有助于解决听力受损者的鸡尾酒会问题。
一、研究背景与问题
对于听力损失患者而言,在嘈杂环境中进行交谈是最具挑战性的场景之一。这是因为他们不仅需要更响亮的声音,还需要比正常听力者更有利的信噪比(signal-to-noise ratio, SNR)才能达到相同的理解水平,这一现象被称为“信噪比损失”(SNR loss)。传统助听器技术主要通过两类信号处理策略来应对:一是利用麦克风间的时间差来强调特定方向声音的定向处理(如波束形成,beamforming),已被证明可提供3-6 dB的中等清晰度增益;二是数字降噪技术,旨在抑制背景噪声,但其对言语清晰度的提升效果在不同研究中差异较大,更多体现在降低聆听费力程度和提高舒适度方面。
近年来,基于机器学习的数据驱动语音增强方法取得了进展,许多研究探索了深度神经网络(deep neural networks, DNN)在语音增强和分离中的应用。然而,这些研究大多未直接测量清晰度,而是依赖SNR、感知语音质量评价(Perceptual Evaluation of Speech Quality, PESQ)或短时客观清晰度(Short-time Objective Intelligibility, STOI)等计算指标。客观指标的改善并不一定能转化为听力受损者行为学上的言语清晰度提升,甚至可能降低清晰度。此外,多数报告清晰度改善的研究采用了较长延迟的处理(20-75 ms),不适合助听器的实时应用。少数能在助听器上运行的AI降噪模型,其研究样本量较小(N=10-11),且主要集中在人工耳蜗植入患者群体。
因此,本研究的目的是评估一种新型的空间引导神经网络算法——空间人工智能(Spatial AI),该算法被集成于Fortell AI助听器中,专门用于优先保留来自前方的语音,同时衰减来自其他方向的竞争声源。研究在一个受控的多说话者配置(类似于“鸡尾酒会问题”)下,通过标准化的言语噪声测试,直接测量该算法对言语清晰度的影响。
二、研究方法
本研究采用双盲、随机、自身对照交叉设计。主要关键技术方法包括:
- 1.
空间人工智能(Spatial AI)模型:这是一种深度神经网络,直接接收多通道麦克风信号,学习从数据中实现空间选择性变换。与传统的波束成形加DNN后置滤波或神经波束成形不同,该网络不依赖显式的波束成形阶段,而是通过学习大量模拟和真实录音混合场景,直接估计目标语音的复数域增强,从而分离目标语音与干扰源。模型训练使用了约600万个音频场景,涵盖约两年的音频数据。
- 2.
硬件实现:该算法运行于助听器内置的定制机器学习协处理器上,每秒可执行高达1000亿次运算,能够全天候连续运行而不显著影响电池续航和设备尺寸。
- 3.
行为学评估:采用快速言语噪声测试(QuickSIN)作为主要终点,这是一种在多个SNR条件下评估句子识别的标准化临床工具。测试在消声室中进行,目标语音来自前方(0°方位角),多说话者嘈杂声来自后方半场的三个扬声器之一(±135°和180°),方位随机变化。
- 4.
客观指标测量:使用Hagerman-Olofsson相位反转法计算助听器输出的SNR,并使用听觉辅助感知指数第二版(Hearing Aid Speech Perception Index version 2, HASPI v2)作为补充客观指标。测试在KEMAR声学人体模型上进行,配置与人类受试者测试相同。
三、研究结果
言语清晰度测试
结果显示,在所有测试的SNR条件下,研究助听器均显著提高了正确识别单词的几率。在-6 dB、0 dB和+6 dB SNR下,其比值比(odds ratios)分别为18.9、10.6和6.0(所有p值远小于0.0001)。通过逻辑函数拟合,估算出对照助听器的SNR-50(50%单词识别率对应的SNR)为3.08 dB,而研究助听器的SNR-50为-6.15 dB,两者相差9.2 dB。个体数据分析表明,所有30名参与者在佩戴研究助听器时的平均表现均优于对照助听器。在最困难的-6 dB SNR条件下,三分之一参与者使用对照助听器时得分为0%,而使用研究助听器时无人得分为0%,且半数参与者得分超过50%。
实验室客观指标测量
采用Hagerman-Olofsson方法测量,研究助听器在空间AI模式下实现了15.5 dB的言语可懂度指数加权(SII-weighted)SNR改善(相对于未助听条件),而对照助听器仅为2.3 dB。研究助听器上的常规程序(非AI模式)也仅实现了2.4 dB的改善。当干扰语音方位角变化时,研究助听器的SNR改善保持稳定,例如在90°方位角时仍达14.2 dB。当目标语音从45°方位角呈现时,性能与正面呈现相似。HASPI v2指标的计算结果进一步证实了上述发现,显示研究助听器与对照助听器之间的SNR-50差异为15.4 dB。
四、讨论与结论
讨论总结
本研究表明,在单一方位多说话者噪声环境下,搭载空间引导神经网络处理的助听器能为轻度至中度重度听力损失患者带来显著的言语清晰度提升。这种效果在所有测试SNR下均一致,且在最具挑战性的条件下尤为突出。值得注意的是,每位参与者的表现均有改善。这些发现是在特定的空间配置(前方目标语音,后方单一方位干扰)下获得的,并不意味着在现实世界中的所有听音情境下都能获得同等益处。未来研究需探讨在更多样化环境下的性能。与传统方向性处理和数字降噪技术通常报告的3-6 dB SNR改善相比,本研究观察到的9.2 dB SNR-50提升幅度巨大,且是在对比一款同样采用DNN降噪的高端商用设备的基础上实现的。这一结果的合理性得到了客观声学测量的支持。从临床角度看,如此大的SNR-50偏移意味着在有利的空间分离条件下,该算法有潜力显著改善言语理解。尽管Hagerman-Olofsson SNR和HASPI v2指标与行为学结果在趋势上一致,但它们预测的改善幅度更大,这凸显了直接测量清晰度的重要性。
研究结论翻译
多说话者环境对助听器使用者构成了特殊挑战,部分原因在于竞争性语音在声学上与目标语音相似且极具干扰性。在一个明确定义的单一方位多说话者配置下,本研究表明,一款基于空间引导神经网络的助听器相较于当代对照设备,在言语清晰度方面带来了巨大且一致的改善。值得注意的是,在最困难的SNR条件下,佩戴研究助听器的参与者理解语音的几率估计是佩戴高端市售助听器的18.9倍。这相当于研究助听器的SNR-50相较于对照设备提升了9.2 dB,代表了在空间分离的言语噪声表现上的重大转变。这些发现是通过一项涉及经验丰富的助听器使用者、处方验配匹配可听度、以及随机、双盲、自身对照交叉方案的研究设计得出的。综上所述,这些结果激励着在更广泛的声学环境和听音行为中,对空间选择性神经处理进行进一步研究。