基于临床指导的多模态融合的双对比学习在语音驱动的严重睡眠呼吸暂停风险筛查中的应用

《Expert Systems with Applications》：Dual contrastive learning with clinically guided multimodal fusion for speech-based severe sleep apnea risk screening

　　摘要：人工智能在分析语音信号以用于无创健康筛查方面展现出巨大潜力。阻塞性睡眠呼吸暂停会降低日间警觉性，增加机动车事故和职业伤害的风险，因此亟需有效的检测方法。目前的诊断标准——夜间多导睡眠监测——成本高昂，不适合在基层医疗或社区环境中进行常规筛查。基于语音的方法可以通过短暂的清醒状态录音捕捉与OSA相关的气道变化，但由于不同说话者之间的差异较大，单一模态的方法难以在不同受试者之间通用。将临床元数据作为第二种模态是一种自然的扩展方式，但目前仍存在两个问题：现有方法缺乏将声学特征与临床特征在异构特征空间中对齐的明确机制；而且标准的融合策略会以对称方式合并这些模态，尽管它们在诊断中的作用并不平等——语音能够编码高维的发音特征，而临床属性则提供简洁的患者层面信息。我们提出了一种具有不对称性感知的多模态框架，用于通过清醒状态的语音和结构化的临床资料来筛查严重OSA风险。该框架针对基于语音的OSA筛查的特定特点，对现有的多模态表示学习技术进行了改进。首先，一种考虑患者特性的双对比学习策略在潜在空间中建立与严重程度相关的结构，从而解决因说话者差异导致的跨受试者泛化难题。其次，一个具有不对称性的、以临床信息为引导的融合模块通过逐通道调节的方式，让声学特征受到临床背景的影响，体现出发音特征与患者层面风险因素的不同作用。最后，一种统计序列聚合机制将段落级的预测结果整合为患者层面的决策。在针对睡眠前后收集的真实录音进行的10折患者交叉验证中，该框架在各种记录条件下均优于12种单模态基准方法以及多种多模态融合方法；经过从段落到患者的聚合处理后，其在睡眠前和睡眠后的患者层面准确率分别达到了85.71%和88.39%。所提出的框架为初步筛查严重OSA风险提供了一种低负担的方法，同时也凸显了所设计的双对比学习机制及以临床信息为引导的融合模块在整合语音声学特征与临床患者资料方面的价值。

引言：阻塞性睡眠呼吸暂停是一种常见但诊断不足的慢性呼吸系统疾病，其特征是在睡眠期间反复出现上气道阻塞现象（Gottlieb & Punjabi, 2020）。其临床后果不仅限于夜间呼吸紊乱，还会增加心血管代谢风险，如高血压、心律失常、心力衰竭和胰岛素抵抗，同时还可能导致神经认知功能受损以及生活质量下降（Lal et al., 2022; Young, Skatrud, & Peppard, 2004）。未经治疗的OSA还会导致明显的日间功能障碍：多项系统性回顾和元分析表明，患有此病的人发生机动车事故的风险大约是常人的两倍（Garbarino, Guglielmi, Sanna, Mancardi, & Magnavita, 2016; Tregear, Reston, Schoelles, & Phillips, 2009），此外还容易出现工作场所伤害、生产力下降以及长期工作能力丧失等问题（Sanna, 2013; Wang, Chen, Liu, Majumdar, & Tsai, 2025）。因此，OSA给公共卫生带来的负担十分沉重，而早期识别却依然困难。夜间多导睡眠监测作为诊断的金标准，需要专门的设备、训练有素的人员以及受控的睡眠实验室环境。由于其高昂的成本、有限的可用性以及漫长的等待时间，难以大规模应用，使得在社区和基层医疗机构进行常规筛查变得不切实际（Kosmadopoulos, Sargent, Darwent, Zhou, & Roach, 2014）。这些限制促使人们致力于开发智能、便捷且可扩展的筛查工具，帮助临床医生在无需专业设备的情况下识别出高风险人群。

近年来，信号处理和机器学习领域的进步带来了多种替代全夜多导睡眠监测的简化方案。脑电图和心电图可用于检测与呼吸暂停相关的觉醒反应和自主神经功能波动，脉搏血氧仪能够捕捉氧气饱和度下降的情况，而可穿戴式呼吸传感器则可以估算睡眠期间的气流动态（Ferreira-Santos, Amorim, Silva Martins, Monteiro-Soares, & Pereira Rodrigues, 2022; Gutiérrez-Tobal, álvarez, Crespo, Del Campo, & Hornero, 2018; Sheta et al., 2021）。虽然这些方法能够从较少的信号数据中推断出呼吸事件，但它们仍然依赖于需要精确放置的接触式设备，可能会干扰自然睡眠，且难以在临床或实验室环境之外使用。如果有一种筛查方式能够避免使用物理传感器，那么无疑能大幅提升大规模人群评估的可行性。

在这方面，语音逐渐受到更多关注（Espinoza-Cuadros et al., 2016）。与基于传感器的记录不同，语音可以使用普通智能手机在清醒状态下几分钟内即可采集，非常适合在社区层面进行筛查。其生理学依据也已有充分研究：OSA会导致上气道出现慢性结构变化，如软腭增大、咽壁侧部增厚以及咽旁脂肪沉积增加（Schwab, Gupta, Gefter, Metzger, Hoffman, Pack, 1995; Schwab, Pasirstein, Pierson, Mackley, Hachadoorian, Arens, Maislin, Pack, 2003），这些变化都会缩小气道内径并改变声道几何结构。这些改变会影响到共振特性和发音动力学；例如，OSA患者的高频特征频率较低，特征带宽较宽，这与其延长且更具柔韧性的声道特征一致（Fox, Monoson, & Morgan, 1989; Robb, Yates, & Morgan, 1997）。由于这些变化是结构性的而非由状态决定的，因此它们在清醒状态下依然存在，从而可以通过白天的录音进行检测。基于这些临床证据，早期的计算研究表明，从持续元音或标准化朗读文本中提取的手工制作的声学特征能够区分OSA患者与非OSA患者（Ding et al., 2021; Simply, Dafna, & Zigel, 2019）。最近的研究则运用深度学习技术，直接从原始语音中端到端地挖掘频谱-时间模式（Gao et al., 2026; Perero-Codosero, Espinoza-Cuadros, Antón-Martín, Barbero-Alvarez, & Hernández-Gómez, 2019），使得研究重点从手工特征工程转向了自动学习的表征方法。与此同时，像wav2vec 2.0这样的预训练语音基础模型（Baevski, Zhou, Mohamed, & Auli, 2020）——通过自监督目标在数十万小时的多元语言数据上训练而成——如今能够提供可迁移的表征，其中包含了丰富的音韵、韵律和副语言信息。这些模型已经改变了语音识别、说话人识别以及情绪分析领域的发展格局，但其在OSA严重程度评估中的应用仍然有限。

即便有了强大的声学编码器，仍然存在一个根本性的瓶颈：仅依靠语音无法捕捉到医生在评估OSA严重程度时通常会考虑的临床风险因素。体重指数、颈围以及标准化的症状评分——比如埃普沃思嗜睡量表和匹兹堡睡眠质量指数——都具有独立的鉴别价值，这些价值已在临床筛查实践中得到了广泛验证（Gottlieb & Punjabi, 2020）。在常规评估中，临床医生会将生理信号与这类针对患者的特定信息结合在一起进行分析；如果忽略这些补充信息，那么任何单一模态的系统所能达到的效果都会受到限制。将临床元数据作为第二种模态是自然而然的下一步，但这样做又会带来两个当前方法尚未解决的问题。

虽然临床元数据可以为基于语音的OSA筛查提供有用的患者层面信息，但将其整合到语音模型中并非简单的特征添加问题。目前那些基于清醒状态语音的OSA研究主要聚焦于声学建模，使用手工设计的描述符、针对特定任务的神经网络或预训练的语音表征（Ding et al., 2021; Goldshtein, Tarasiuk, & Zigel, 2010; Perero-Codosero et al., 2019; Simply et al., 2019; TaghiBeyglou et al., 2026）。相比之下，在基于清醒状态语音的严重OSA风险筛查中，结构化的临床资料尚未被系统地作为第二种模态进行建模。体重指数、颈围以及自我报告的睡眠症状评分等临床变量能够提供简洁的患者层面风险信息，而语音嵌入则是高维的、段落级的，且容易受到说话者和记录条件的影响。这种差异引发了关于表征层设计的问题：如何将患者层面的临床信息与段落级的声学特征联系起来，使得模型能够学习到与严重程度相关的模式，而不是主要依赖针对特定患者或说话者的简化路径？在临床语音数据量较小的情况下，这个问题尤为重要。每位患者会提供多个语音片段，但这些片段都共享相同的患者层面临床资料以及基于AHI得出的分类标签。因此，段落级的分类损失可能会通过在同一患者或同一记录中保持一致的特征来优化，而不一定能够形成可在不同患者之间迁移的表征结构。对比学习可以在分类损失之外，为表征学习添加额外的约束条件（van den, Li, & Vinyals, 2018; Khosla et al., 2020）。然而，在基于清醒状态语音和结构化临床资料文本来筛查严重OSA风险的特定场景中，同一患者内的不同语音片段并不能作为学习跨患者严重程度结构的有效依据，因为它们拥有相同的说话人身份、临床资料和分类标签。这就需要一种考虑患者特性的对比学习设计，即鼓励匹配的语音表征与临床资料表征之间建立跨模态对应关系，同时通过跨患者比较来学习与严重程度相关的结构，而非仅仅依靠患者内部相似性。

第二个挑战在于融合架构的设计。简单的拼接方式虽然可以将临床变量引入分类器，但它将声学特征和临床特征视为可比较的特征流，未能体现两者在粒度与信息作用上的差异：语音提供的是段落级的声学证据，而临床资料则提供稳定的患者层面风险背景信息。因此，融合模块不仅要结合这两种输入，还应允许临床背景信息在预测过程中影响声学特征通道的参数。这促使我们设计一种针对特定任务的声学-临床多模态框架，在该框架中，首先通过考虑患者特性的对比学习来约束共享的表征空间，然后再通过以临床信息为引导的特征融合机制，利用患者层面的临床背景信息来调整基于语音的声学特征，从而实现严重OSA风险的筛查。

为在一个统一框架内解决这两个问题，我们提出了一种基于多模态对比学习的方法，用于通过语音评估OSA的严重程度。一个预训练的语音基础模型可以从清醒状态的语音中提取声学表征，而一个专门针对临床领域的语言模型则可将结构化的患者属性编码到共享的语义空间中。一种跨模态对比目标能够在患者层面使这两种模态对齐，确保语音片段及其对应的临床资料在联合嵌入空间中处于相近的位置。另一种考虑严重程度因素的监督对比目标则进一步整理这个空间，使得相同严重程度的OSA样本无论属于哪位患者都会聚集在一起，从而直接解决跨受试者泛化的问题。在已对齐的表征基础上，一个以临床信息为引导的融合模块会利用临床嵌入信息逐通道调整声学特征——这是一种具有不对称性的设计，即临床背景信息决定语音特征的解读方式，而非作为权重相等的信号与其他信息混合。最后，一种统计序列聚合机制会将段落级的预测结果整合为可靠的患者层面严重程度判断。在针对睡眠前后收集的真实临床录音进行的10折患者交叉验证中，该框架在所有评估指标上均表现出色，优于众多强大的单模态和多模态基准方法。其主要贡献包括：•一种用于通过清醒状态语音筛查严重OSA风险的语音-临床多模态框架，该框架将预训练语音基础模型提取的声学表征与结构化的患者层面临床信息相结合；•一种针对临床语音数据设计的、考虑患者特性的双对比学习策略，由于同一患者的多个语音片段共享相同的临床资料和分类标签，该策略能够在对齐语音与临床表征的同时，促进不同患者之间出现与严重程度相关的结构，从而减少基于患者特定特征的简化学习；•一种具有不对称性感知的、以临床信息为引导的融合模块，该模块利用临床嵌入信息来调整声学特征通道，这一设计体现了两种模态的不同作用：语音提供高维的发音特征，而临床变量则提供简洁的患者层面风险信息；•在真实临床录音上进行的针对不同患者的实验评估，其中包括与传统的声学特征模型、深度音频模型、语音基础模型基准方法以及其他多模态融合方法的比较，同时还包含了消融实验和敏感性分析，用以了解各个组件的作用。

章节摘录：基于音频的睡眠呼吸暂停检测：OSA会改变上气道的生物力学特性，从而导致睡眠期间出现典型的呼吸紊乱现象。因此，一种自然的无创筛查方法就是分析睡眠时的呼吸声音和打鼾现象。最近的深度学习方法利用夜间音频记录来检测呼吸暂停-低通气事件，或估算呼吸暂停-低通气指数（AHI）。卷积神经网络已被应用于手机拍摄的睡眠音频，用于家庭环境中的OSA检测（Romero, Ma, Brown, & Hill）。

问题定义：我们将该任务定义为用于筛查严重OSA风险的监督多模态学习任务。对于每位受试者i，数据包含两种互补的模态：一组从清醒状态记录中提取的语音片段Xi={xi,1,xi,2,…,xi,Ki}，以及一份以结构化文本形式呈现的临床资料Pi（如年龄、BMI值以及睡眠问卷得分）。每位受试者都有一个二值的严重风险标签yi ∈ {0, 1}，其中1表示患有严重OSA，其定义为AHI≥30。这个二值数据集：最终共有112名患者被纳入分析，他们拥有完整的临床资料以及配对的语音记录。该研究群体的详细人口统计学特征和多导睡眠监测指标见表1。

评估方案：我们采用10折患者交叉验证方案。112名患者被随机分为10个互不重叠的组，每组约11至12名患者，这样可以确保同一患者的所有语音片段都被分配到同一组中。在每次迭代中，选取一个组来进行评估。整体性能比较：本小节旨在比较在10折患者级交叉验证方案下，不同模型类别在片段级严重OSA风险预测方面的表现。片段级评估非常重要，因为所提出的框架是基于短语音片段进行训练的，而后续的患者级汇总结果则取决于片段级严重风险概率的质量。不过，由于同一患者会产生多个语音片段，这些片段级结果主要用于……结论：鉴于OSA对公共健康的巨大负担，以及基于多导睡眠图诊断方法的局限性，迫切需要能够用于在确诊前进行临床分诊的智能且低负担的筛查工具。为此，本文提出了一种基于语音的严重OSA风险筛查的多模态对比学习框架。该框架将清醒状态下的语音记录与结构化的临床信息相结合，从而能够初步判断严重OSA的风险。CRediT作者贡献说明：王培正：概念设计、方法论、软件开发、形式分析、可视化、初稿撰写；阿纳布·马朱姆达尔：概念设计、监督指导、资源提供、审稿与编辑；刘文德：资源提供、数据整理；康俊鸿：资源提供、数据整理；乔恩·古德纳森：审稿与编辑；陈英英：资源提供、数据整理；刘一荣：数据整理、研究工作；李康云：资源提供、数据整理；陈祖涛：资源提供、数据整理。利益冲突声明：作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。王培正|阿纳布·马朱姆达尔|刘文德|康俊鸿|乔恩·古德纳森|陈英英|刘一荣|李康云|陈祖涛|李信谦|林义志|关义春|张宇祥|蔡成宇