NeuroWhisper:基于语音衍生的卷积-注意力编码器在脑电图信号睡眠分期中的应用评估
《Computers and Electrical Engineering》:NeuroWhisper: Evaluating speech-derived convolution–attention encoders for sleep staging from electroencephalogram signals
【字体:
大
中
小
】
时间:2026年07月26日
来源:Computers and Electrical Engineering 5.5
编辑推荐:
摘要:睡眠脑电图分析越来越需要高效的时间编码器,但由于夜间采集成本高昂且需要专家标注,脑电图数据集存在结构扩展限制。这使得基于数据的扩展方法不切实际,因此人们开始考虑利用序列基础模型作为可重复使用的时序骨干网络,用于睡眠阶段分类。本文提出了NeuroWhisper,这是一种基于卷
摘要:睡眠脑电图分析越来越需要高效的时间编码器,但由于夜间采集成本高昂且需要专家标注,脑电图数据集存在结构扩展限制。这使得基于数据的扩展方法不切实际,因此人们开始考虑利用序列基础模型作为可重复使用的时序骨干网络,用于睡眠阶段分类。本文提出了NeuroWhisper,这是一种基于卷积-注意力编码器的框架,可用于自动进行睡眠阶段分类。首先,将每个30秒的脑电图时段转换为对数梅尔频谱图,从而获得紧凑的时频表示;其次,卷积前端从频谱图中提取局部频谱-时间特征;接着,源自语音编码模型的堆叠自注意力层用于提取该时段内的时间依赖性;最后,将得到的表示进行时间聚合,并通过轻量级分类头映射到睡眠阶段标签。在PhysioNet Sleep-EDF数据集上的时间维度评估中,NeuroWhisper的准确率高达86.4%,宏观F1值为0.86,优于相同条件下的通用模型及领域专用模型。在针对特定受试者的评估中,准确率会随年龄增长而下降,但NeuroWhisper仍始终优于其他竞争模型,尤其在老年人群体中优势更为明显。模型规模扩大带来的收益逐渐递减,因为紧凑型模型能够在大幅降低计算成本的情况下实现与大型模型相当的受试者级性能。这些结果表明,卷积-注意力架构范式提升了数据有限的脑电图睡眠阶段分析的稳健性,而人口统计特征和受试者个体差异仍是限制因素。
引言:睡眠阶段划分是临床睡眠医学和群体研究中的核心任务。它能够反映睡眠结构、连续性、慢波活动、快速眼动表现以及觉醒程度等信息。这些指标被用于失眠、嗜睡症、睡眠呼吸暂停和REM行为障碍的诊断与治疗[1]。大规模队列研究显示,特定阶段的异常与心血管代谢疾病、认知功能衰退及神经退行性疾病风险相关[2]。传统的手动评分方法是根据美国睡眠医学会的标准,为每30秒的脑电图时段分配一个阶段标签[3]。这一过程耗时较长,即便是在经过培训的技术人员之间,评分结果也存在差异[4]。因此,自动化睡眠阶段分类方法对于确保结果的重复性以及将睡眠监测应用到大规模临床和研究场景中具有重要意义。
然而,自动化睡眠阶段分类的进展受到可用脑电图数据规模的根本限制。夜间采集脑电图成本高昂、耗时较长,且依赖于专家标注,这限制了标记数据集的规模和多样性。与文本、语音或视觉等领域不同,脑电图数据无法随意扩展,这使得很难从头开始可靠地训练高容量的时序模型。因此,在睡眠阶段分类的架构设计中,必须充分考虑严重的数据限制,以及那些会惩罚特定受试者过度拟合的评估标准。早期的自动化系统依赖于手工设计的频谱和统计描述符,包括频带功率、Hjorth参数、自回归系数以及小波特征,再结合支持向量机、随机森林和隐马尔可夫模型等分类器[5]。这类方法在控制良好的数据集上表现良好,但对脑电图拼接方式、受试者人口统计特征以及记录噪声的变化较为敏感。另一方面,基于深度学习的方法通过直接从信号中学习频谱-时间表示,减少了对特征工程的依赖。基于卷积神经网络的模型为多通道频谱图提供了强大的基准[6],CNN-LSTM混合模型则提升了时间整合能力[7][8],而基于注意力的架构在更大规模的数据集上也能展现出强劲的性能[9][10][11]。多项研究一致表明,时间维度评估与针对特定受试者的评估之间存在较大差距,这说明在受试者重叠情况下的高准确率并不一定能转化为受试者级别的泛化能力[12][13]。这种泛化缺陷在老年人身上更为明显,因为衰老会改变睡眠纺锤波、K复合波和慢波等关键的非REM脑电图特征,进而增加受试者间的差异性[14]。生理变化与有限的训练数据共同加剧了在针对特定受试者评估时的泛化问题。
睡眠脑电图的结构特性表明,具备强大时间先验的架构(即能够同时建模短时事件和更长范围时间背景的明确机制)可能具有优势。睡眠阶段划分需要检测诸如纺锤波和K复合波之类的短时事件,同时也需要考虑数秒范围内的更广泛背景信息[15]。睡眠脑电图与语音信号处理都存在这种局部瞬变现象与长时时间结构的结合。两者都属于非平稳时间序列,都能从时频表示中受益,而梅尔滤波组在两个领域中被广泛用于突出具有感知或生理意义的频率带[16]。从历史上看,基于梅尔频率倒谱系数、短时傅里叶变换特征以及隐马尔可夫模型序列的语音处理流程,与经典脑电图处理流程的发展轨迹相似[17]。随着深度学习的发展,这种相似性愈发明显。卷积神经网络通过学习局部频谱滤波器提升了声学建模能力,其在脑电图微事件检测中也取得了类似的效果。循环模型则提升了两个领域的时间建模能力。变换器在长上下文声学建模方面表现出色,后来也被应用于脑电图解码任务中[9][18][19][20]。这些发展表明,为语音处理开发的架构可能为脑电图分析提供有用的架构归纳偏差,尤其是在针对特定受试者且数据有限的评估场景中。用于语音的基础模型进一步增强了这一可能性。诸如wav2vec 2.0[19]、HuBERT[20]和Whisper[21]等最新架构,是在规模庞大且种类多样的音频语料库上训练而成的,这些语料库通常包含数十万至数十万小时的来自不同说话者、语言、录音设备及声学环境的语音记录。尤其是Whisper,是在约68万小时的多语言多任务音频数据上训练的,这些数据涵盖了多种噪声水平、声道特性和说话风格[21]。如此大的规模和多样性有助于学习稳定的卷积滤波器及分层时间表示,从而在处理含噪声的时频信号时提升优化稳定性。尽管这些模型是基于语音训练的,但其潜在的迁移优势源自其架构设计,而非语音特有的语义内容。它们的卷积前端能够捕捉短时频谱瞬变,而自注意力层则能整合更长时间范围内的信息,这种组合非常适合处理非平稳的时频数据。相比之下,脑电图数据集通常规模较小,采集成本高昂,且受试者间及设备间的差异较大。在如此多的限制条件下,嵌入强时间归纳偏差的架构有望在标记脑电图数据有限时提升优化稳定性。此前大多数脑电图迁移学习研究都依赖于在ImageNet上预训练的卷积网络[22]。虽然这类模型有助于复用空间特征,但它们主要编码的是图像特有的空间先验,因此在睡眠阶段分类任务中取得的提升较为有限[23]。而语音基础编码器在结构上与脑电图更为相似,因为它们被专门设计用于建模具有丰富瞬变结构的非平稳时频序列,因此更适合作为脑电图分析中的架构迁移候选方案。前述讨论指出了自动化睡眠阶段分类面临的两个长期挑战:一是如何在特定受试者及受年龄影响的变异条件下实现可靠的泛化,二是如何在数据严重受限的情况下进行架构设计。正是出于这些挑战,本研究设定了以下目标,每个目标都将通过明确的实验评估来加以解决:1. 评估在特定受试者及年龄变异条件下的泛化能力,量化在针对特定受试者的评估中睡眠阶段分类的性能,以及准确率随年龄组的下降情况;2. 研究架构归纳偏差的作用,量化卷积-注意力编码器架构及权重初始化对在针对特定受试者的评估中脑电图睡眠阶段分类性能的影响;3. 探讨容量与效率之间的平衡关系,研究模型规模如何影响受试者级性能及计算成本,同时确定紧凑型架构在数据有限条件下是否仍能保持性能。所提出的框架名为NeuroWhisper,采用以编码器为中心的结构化设计,用于评估从语音到脑电图的架构迁移效果。首先,将连续脑电图分割成标准的30秒时段,并将其映射为能够保留瞬变特征和持续频谱结构的时频表示;其次,使用Whisper编码器对每个时段进行编码,该编码器结合了用于提取局部频谱-时间模式的卷积前端,以及用于整合该时段内更长时间范围时间背景的堆叠自注意力层;最后,将得到的系列潜在表示聚合为固定维度的嵌入向量,再传递给轻量级分类头,在类别不平衡的监督条件下进行睡眠阶段预测。这一流程有意保留了原始编码器架构,从而能够在不依赖针对特定任务的架构调整的情况下,控制性地评估卷积和注意力驱动的时间先验对脑电图睡眠阶段分类泛化能力的影响。本研究做出了以下贡献:1. 提出了NeuroWhisper,这是一种脑电图睡眠阶段分类框架,它无需对语音基础模型的架构进行修改,即可重新利用其编码器架构,从而便于研究卷积-注意力时间归纳偏差在神经生理学时频建模中的应用;2. 在临床现实条件下,通过对特定受试者和按年龄分组的评估方案进行严格实证分析,量化了睡眠阶段分类的泛化能力下降情况及稳健性限制;3. 有充分证据表明,在脑电图数据有限的条件下,架构归纳结构对受试者级性能的影响,要大于进一步增大模型规模所带来的影响,同时还能显著降低计算成本。第2节回顾相关研究,第3节介绍所提出的NeuroWhisper方法,第4节展示实验及结果,第5节探讨研究结果及其意义,第6节对全文进行总结。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号