多模态生理信号学习用于临床睡眠呼吸事件识别

《Frontiers in Neurology》：Multimodal physiological signal learning for clinical sleep respiratory event recognition

　　

自动识别睡眠相关呼吸事件对于辅助睡眠障碍筛查、临床判读和长期生理监测具有重要意义。为克服现有方法在多模态生理信号互补建模、事件相关特征聚合以及类别不平衡学习方面的局限性，本研究提出了一种用于睡眠相关呼吸事件识别的多模态状态空间表示学习框架。该框架以神经生理信号特征矩阵和呼吸-声学相关特征矩阵为输入，采用双分支状态空间编码器分别提取不同模态的序列动态特征。此外，设计了跨状态令牌路由模块以实现细粒度的模态间信息交换，同时构建了事件查询原型融合模块从多模态序列表示中聚合事件相关判别特征。在训练阶段，联合采用类别平衡焦点边缘损失、睡眠阶段辅助监督和觉醒状态辅助监督，以提升模型对复杂睡眠片段和不平衡事件分布的适应性。在患者级五折交叉验证下，该方法在PSG-Audio公共数据集上取得了88.19%的Accuracy、84.51%的Precision、86.28%的Recall和92.71%的AUROC。在临床数据集上，取得了74.33%的Accuracy、77.51%的Precision、84.33%的Recall和90.51%的AUROC。这些结果表明该框架具有较好的整体性能，并为其学习互补性多模态生理表示以识别睡眠相关呼吸事件的能力提供了支持性证据。

多模态生理信号学习框架用于临床睡眠呼吸事件识别：研究解读

睡眠相关呼吸障碍是公共卫生和临床睡眠医学中的重要问题，其典型表现包括睡眠期间反复出现的呼吸暂停、低通气、血氧饱和度波动和觉醒反应。这些事件不仅会破坏睡眠连续性和睡眠结构，还与日间嗜睡、认知功能下降、心血管及代谢风险增加以及生活质量降低密切相关。因此，准确识别睡眠相关呼吸事件对于疾病筛查、风险评估和临床干预具有重要意义。在临床实践中，多导睡眠监测仍然是评估睡眠相关呼吸障碍的重要依据，但整夜记录通常包含长时间、多通道且高度复杂的生理信号，人工判读耗时费力，且容易受到临床经验差异和事件边界不确定性的影响。

近年来，深度学习方法逐步引入睡眠生理信号分析任务，在睡眠分期、呼吸事件检测和异常状态识别等方面展现出一定潜力。然而，现有方法仍存在若干局限。第一，部分方法主要依赖单一生理模态，难以充分利用神经生理状态变化与呼吸相关动力学之间的互补信息。第二，简单的特征拼接或晚期融合策略通常无法刻画不同模态在时间片段和状态转换层面的细粒度交互。第三，真实世界数据中的睡眠相关呼吸事件往往存在类别分布不平衡、事件边界模糊和显著的个体间差异，这可能削弱模型对复杂样本的稳定判别能力。因此，如何构建一个能够同时捕捉模态内动态依赖、模态间交互以及事件相关判别结构的模型框架，仍是自动睡眠呼吸事件识别中的关键问题。

针对上述问题，研究人员提出了一种多模态状态空间表示学习框架。该框架以神经生理信号特征矩阵和呼吸-声学相关特征矩阵为输入，采用双分支状态空间编码器分别建模不同模态的长程动态依赖。在此基础上，研究通过改编既有的门控交叉注意力机制，开发了任务特异的跨状态令牌路由模块，在令牌层面实现神经生理状态表示与呼吸-声学表示之间的对称双向信息交换，增强不同模态间的互补建模能力。同时，研究通过改编基于可学习查询的聚合机制，开发了事件查询原型融合模块，面向呼吸事件相关的多模态时间表示，使模型能够主动聚合与睡眠相关呼吸事件相关的判别信息。此外，研究引入睡眠阶段和觉醒状态辅助监督，引导模型学习具有更强临床上下文感知能力的表示。该设计旨在提升复杂睡眠片段的表示质量和事件识别稳定性，为自动睡眠呼吸事件分析提供更合理的建模策略。

为开展研究，研究人员采用了以下主要技术方法。输入特征方面，神经生理通道通过EDF标签的大小写不敏感匹配识别，重采样至128 Hz，经z-score标准化后在统一时间轴上排列为波形图，调整尺寸为224×224，缺失通道跳过而非填充。呼吸-声学模态选取气管音和麦克风信号，重采样至8 kHz，转换为对数幅度频谱图，采用512样本分析窗和384样本重叠。模型架构方面，采用双分支状态空间编码器（以Vision-Mamba为消融基线）、跨状态令牌路由模块和事件查询原型融合模块。训练策略方面，采用类别平衡焦点边缘损失结合睡眠阶段和觉醒状态辅助监督，使用AdamW优化器和余弦退火学习率调度，启用混合精度训练。数据来源方面，公共数据集采用PSG-Audio公开睡眠呼吸事件数据集，包含212名受试者的整夜睡眠监测记录；临床数据集采用达州中西医结合医院回顾性收集的83名患者记录，共54,370个片段。

研究结果方面，论文从多个角度验证了所提框架的有效性。

在与现有模型的对比实验中，研究在PSG-Audio公共数据集和临床数据集上，采用患者级五折交叉验证，将所提方法与任务特异方法、改编的睡眠分期模型和通用架构基线进行了系统比较。公共数据集上，该方法在Accuracy、Precision、Recall和AUROC四项指标上均取得最高平均值。临床数据集上取得了类似结果，表明该框架在不同数据环境下均保持了稳定的性能优势。

在消融实验分析中，研究通过分别移除跨状态令牌路由模块、事件查询原型融合模块或类别平衡焦点边缘损失，系统验证了各关键组件的贡献。移除CSTR导致公共数据集Accuracy和临床数据集Precision和AUROC显著下降；移除EQPF造成公共数据集Recall和临床数据集Accuracy最大下降；移除CBFML导致公共数据集AUROC和临床数据集Recall最大下降。这些结果表明三个组件对完整框架具有互补性贡献。

在混淆矩阵实验中，通过单个代表性测试折的可视化分析，研究发现所提方法的对角分布比基线更加集中，表明正常片段与呼吸事件片段之间的区分更清晰。该趋势在公共数据集上更为明显，而临床数据集的类别边界较为复杂，与真实世界数据的较高变异性一致。

在t-SNE可视化分析中，研究通过将测试样本的深度特征投影到二维空间，观察到基线方法的正常与异常片段特征存在明显重叠，而所提方法在两个数据集上均产生更紧凑的类内分布和更清晰的类间分离，且误分类样本集中于类边界区域。临床数据集的整体特征分布更为复杂，但所提方法仍表现出比基线更有组织的表示结构。

在AUROC曲线分析中，研究绘制了基线与所提方法在两个数据集上的ROC曲线。所提方法的曲线整体位于基线上方且更接近左上角区域，表明在大多数可比假阳性率范围内维持了更高的真阳性率。公共数据集上两条曲线分离更明显，临床数据集的判别模式则更具挑战性。

在统计学显著性分析中，研究基于全部五个测试折收集的患者级带外预测，以SleepNet为参照进行了患者级配对bootstrap分析。公共数据集上，四项指标的置信区间均高于零差值线，为性能提升提供了统计支持。临床数据集上，Accuracy、Precision和Recall的置信区间高于零，而AUROC差异的置信区间跨越零线，未达到统计学显著水平。

在预测不确定性分布分析中，研究通过小提琴图比较了正确分类和误分类样本的不确定性得分。正确分类样本通常比误分类样本表现出更低的不确定性，所提方法不仅降低了正确分类样本的不确定性，还使误分类样本的不确定性分布整体下移。临床数据集呈现更高的总体不确定性，但正确与误分类样本之间的区分依然可见。

在辅助睡眠阶段损失权重敏感性分析中，研究评估了不同λstage取值对框架性能的影响。λstage=0.05在两项数据集上均取得最优结果；较小的权重可能提供不足的睡眠阶段上下文引导，而过大的权重则可能使辅助任务过度影响共享表示，削弱主任务的优化重点。结果表明框架对辅助监督权重的变化保持了一定鲁棒性。

研究结论方面，该框架通过联合建模神经生理信号特征矩阵和呼吸-声学相关特征矩阵，实现了对睡眠相关呼吸事件的有效判别。方法上，研究构建了双分支状态空间编码结构以提取不同模态的序列动态特征，设计跨状态令牌路由模块和事件查询原型融合模块以增强模态间信息交互和事件相关表示聚合。类别平衡焦点边缘损失结合睡眠阶段和觉醒状态辅助监督的引入，使模型能够更好地适应复杂样本和不平衡事件分布。两个数据集上的实验结果表明该方法具有竞争力的整体性能，消融和可视化分析支持了各组件贡献。该研究为睡眠生理信号分析提供了一种多模态建模策略，在所评估的队列中展现作为睡眠呼吸事件识别辅助参考的初步潜力。鉴于单中心临床样本量有限且缺乏与个体临床专家的直接比较，临床效用或广泛推广性的确立仍需独立、多中心和前瞻性的进一步验证。