BiSQAFusion：一种多级融合技术，用于助听器中个性化双耳语音质量的评估

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：BiSQAFusion: Multi-level Fusion for Personalized Binaural Speech Quality Assessment in Hearing Aids

　　•层次化的AAFM将门控FiLM与CNN-BiLSTM相结合，用于跨模态融合。•轻量级BFM分离了双耳一致性、不对称性和相关性等线索。•系统ID嵌入减轻了不同助听器配置下的预测偏差。

引言
听力损失已成为一个严重的全球公共卫生问题。根据世界卫生组织（WHO）的数据，预计到2050年将有超过7亿人需要听力康复服务[1]。未经治疗的听力损失与认知衰退、社会隔离和心理健康障碍密切相关[2][3]。在现有的听力辅助技术中，助听器（HAs）由于其高可获取性、适配灵活性和成本效益而成为最广泛采用的干预手段[4][5]。助听器通过个性化的信号处理算法来补偿听力损失，其输出语音质量直接决定了用户的满意度和长期佩戴的依从性。因此，准确高效地评估助听器的语音质量不仅对于评估适配效果至关重要，也是持续优化助听器算法的基本技术前提。

传统的助听器质量评估主要依赖于听力学家进行的大规模主观听力测试，常用的指标包括平均意见得分（MOS）、降级MOS和诊断可接受性度量（DAM）[6]。然而，这些方法成本高昂、耗时且个体差异较大，因此迫切需要开发客观的替代方法，这些方法可以大致分为侵入式和非侵入式两类[7]。如图1(a)所示，侵入式指标通过量化补偿信号与干净参考信号之间的差异来评估质量[8][9][10][11]，但在实际佩戴场景中这种参考信号几乎无法获得。此外，自2017年美国非处方助听器法案通过以来，轻度至中度听力损失的消费者无需听力学家的处方即可直接购买助听器[12]。这一趋势进一步加剧了对仅基于助听器输出信号和个体听力图谱的非侵入式质量评估方法的需求，如图1(b)所示。

最近的非侵入式助听器语音质量评估方法已经从扩展正常听力（NH）指标转向基于深度学习的端到端回归模型，其中预训练的自监督学习（SSL）模型（如WavLM [13]）在这一任务中表现出很强的潜力，因为它们提供了丰富的语音表示和补充的多层隐藏特征[14]。然而，从信息融合的角度来看，当前的非侵入式助听器评估流程仍存在三个结构性限制。首先，听力图谱和声学特征通常通过简单的操作（如连接、复制或简单相加）进行结合[4][12][15][16]，而现有的基于SSL的方法主要依赖于静态的输出层结果。这限制了它们在分层声学抽象中动态模拟特定频段听力损失如何扭曲语音感知的能力。为此，我们采用了可学习的逐层聚合策略，该策略整合了多层SSL表示，并通过SSL-Encoder进一步完善，以保留感知相关的线索同时最小化冗余。与此同时，HL-Encoder将稀疏的听力图谱向量投影到高维的个性化听觉先验嵌入中。然后，声学-听力图谱融合模块（AAFM）将这些编码表示进行融合，该模块结合了门控的逐特征线性调制和深度CNN-BiLSTM集成，从而将个性化的听力图谱先验注入SSL声学特征中。其次，所有现有的非侵入式助听器模型都限于单耳处理[4][12][15][16][17][18][19]：在通用音频领域的初步双耳质量研究仅针对正常听力者[20][21][22][23]，而在助听器领域的双耳可懂度研究仅限于较好耳朵效应[24][25][26]，这使得针对助听器场景的综合双耳质量评估尚未解决，如图1(c)所示。我们通过一个轻量级的双耳融合模块（BFM）来填补这一空白，该模块通过无参数的代数操作显式分离了三个感知驱动的双耳成分。第三，不同的处方公式（例如NAL-R、DSL v5）或语音增强流程会导致显著的频谱分布变化，从而在训练数据涵盖多种助听器配置时产生系统性的预测偏差[16]，我们通过将每个助听器系统配置标识为显式的系统ID嵌入来缓解这种偏差，以模拟配置依赖的变化。这些耦合的限制共同暴露了当前助听器质量评估模型中缺乏系统性、多源异构信息融合设计的问题。

鉴于上述挑战，我们提出了BiSQAFusion，这是一个多层次信息融合网络，它结合了多层SSL表示、个体听力图谱先验、双耳交互线索和助听器系统ID，用于个性化的非侵入式双耳助听器语音质量评估。该网络通过权重共享的编码器并行处理双耳通道，通过提出的AAFM和BFM模块在单耳和双耳层面融合跨模态信息，并输出单耳和整体质量分数。为了进一步规范分数预测模块（SPM）中的融合表示，引入了一个辅助的质量级别模块（QLM），通过多任务学习（MTL）来施加粗粒度分类边界[27]。本文的主要贡献总结如下：
- 我们提出了BiSQAFusion，这是一个用于非侵入式双耳助听器语音质量评估的系统化多层次融合网络，显著扩展了客观评估模型在各种听力损失情况和助听器处理配置下的适用性和泛化能力。
- 我们设计了一个层次化的AAFM，它将门控FiLM与CNN-BiLSTM相结合，以弥合动态SSL表示和静态听力图谱之间的语义和结构差距。此外，开发了一个轻量级的BFM来分离感知驱动的双耳成分，即一致性、不对称性和相关性等线索，为全面的双耳评估提供了可解释的归纳偏差。
- 我们引入了一种考虑配置的系统ID嵌入策略，有效缓解了由配置多样性引起的系统性预测偏差，并显著提高了跨配置预测的鲁棒性。
- 我们提出了一个从粗到细的联合优化框架，在该框架中，QLM作为辅助任务，在MTL下对主SPM施加分类边界约束，实现了协同优化和更优越的连续分数预测。

本文的剩余部分组织如下：第2节回顾相关工作。第3节详细阐述所提网络的整体架构和功能模块。第4节描述实验设置。第5节进行深入分析和消融研究。第6节总结本文并讨论未来的发展方向。

目标助听器语音质量指标
根据其对干净参考信号的依赖性，助听器质量指标可分为侵入式和非侵入式两类[7]。Kates和Arehart提出了HASQI[8]，它将个体听力图谱嵌入到外围听觉模型中以模拟质量感知，其鲁棒性已由Kressner等人广泛验证[28][29]。HASQI版本2[9]（以下简称HASQI）进一步细化了针对听力损失者和正常听力者的复杂听力下降的耳蜗模型，计算线性...

概述
所提出的非侵入式双耳助听器语音质量评估网络BiSQAFusion旨在构建一个端到端映射函数Fθ:(S,HL)?(QS^bin,QS^L,QS^R)，该函数以双耳降噪语音S∈R2×Len和双耳听力图谱HL∈R2×N作为输入，预测综合双耳QS^bin和单耳质量分数{QS^L,QS^R}。其中，Len表示采样长度，N表示测试的频率点数。如图2所示，BiSQAFusion包含五个功能模块...

数据集
使用了两个公开可用的基准数据集来评估所提出的BiSQAFusion在各种听力损失情况和助听器系统配置下的泛化和鲁棒性。第一个数据集来自CPC1挑战赛，该数据集提供了由助听器算法处理的双耳语音，因此能够忠实再现助听器双耳输出的声学特性[25]。CPC1定义了两个评估轨道：Seen和Unseen，分别对应于听众是否可见（双耳特征级消融和层次化SSL融合验证）...

为了系统验证输入特征选择的合理性和层次化SSL聚合的必要性，在六种声学特征配置下进行了全面的比较实验，听力图谱作为固定的条件输入。首先比较了三个经典特征：幅度[12][15][16]、LMFB[18]和Gammatone FBE[4]，并与三种大规模SSL表示：Wav2Vec 2.0 Large1[47]进行比较...

结论
本文提出了BiSQAFusion，这是一个用于非侵入式双耳助听器语音质量评估的系统化多层次融合网络。通过深度整合SSL声学表示、听力图谱先验、交互线索和助听器配置标识符，该模型有效解决了该领域的两个关键挑战：缺乏专门的全面双耳质量评估架构以及在多种助听器处理条件下的有限鲁棒性。在架构上，

CRediT作者贡献声明
杨阳：撰写 – 原始草案，方法论。
梁瑞玉：监督，项目管理，资金获取。
倪叶：正式分析，数据管理。
邹 Cairong：可视化，验证，软件。
孙 Song：调查，概念化。
严 Jing：软件，数据管理。
周伟：验证，概念化。
丁 Weiping：资源，调查。
郝小帅：撰写 – 审阅与编辑，监督。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。