《Brain Sciences》：CSPT-SleepNet: An Automatic Sleep Staging Framework Integrating Center-Driven Sequence Supervision and Multimodal Pyramid Token Encoding
编辑推荐：
背景： 自动睡眠分期是睡眠结构分析和睡眠障碍诊断的基础。睡眠分期需要联合建模跨模态的互补信息、多尺度的生理特征以及连续睡眠周期（epoch）之间的时间关系。在以目标周期预测为任务的连续周期输入中，非目标周期主要提供上下文信息，但其真实标签作为辅助监督信号尚未得
背景： 自动睡眠分期是睡眠结构分析和睡眠障碍诊断的基础。睡眠分期需要联合建模跨模态的互补信息、多尺度的生理特征以及连续睡眠周期（epoch）之间的时间关系。在以目标周期预测为任务的连续周期输入中，非目标周期主要提供上下文信息，但其真实标签作为辅助监督信号尚未得到充分利用。方法： 本研究提出CSPT-SleepNet，一种整合中心驱动序列监督与多模态金字塔令牌编码的自动睡眠分期框架。多模态金字塔令牌编码器（Multimodal Pyramid Token Encoder）从脑电图（electroencephalogram, EEG）、眼电图（electrooculogram, EOG）和肌电图（electromyogram, EMG）信号中提取层次化多尺度特征，随后进行模态内、跨模态和跨周期建模，以实现中心周期的分类。在训练过程中，中心周期接收主要的分类监督，而非中心周期则基于其真实标签接收较弱的辅助监督，从而为预测目标提供具有阶段信息的上下文支持。结果： 在Sleep-EDF-20、Sleep-EDF-78和ISRUC-S3数据集上进行的受试者独立交叉验证中，CSPT-SleepNet分别取得了87.93%/83.53%、85.81%/80.87%和84.06%/82.86%的准确率（ACC）/宏平均F1分数（MF1）。在Sleep-EDF-20上进行的独立对照实验中，中心驱动序列监督相比等权序列监督，将ACC和MF1分别提升了0.60和0.91个百分点。完整模型具有341.8万个可训练参数，处理一个包含9个30秒周期的输入序列需要3.971亿次浮点运算。结论： CSPT-SleepNet为基于连续多模态输入的自动睡眠分期提供了一个有效框架。然而，N1期的识别仍具挑战性，在三个数据集上的F1分数介于55.3%至62.7%之间。
CSPT-SleepNet：一种整合中心驱动序列监督与多模态金字塔令牌编码的自动睡眠分期框架
一、研究背景与问题提出
睡眠是维持认知功能与生理稳态的基础生理过程。睡眠不足会损害工作记忆、抑制控制与认知灵活性等核心执行功能。通过刻画睡眠分期的组成与时间演进，睡眠分期为分析睡眠结构、评估睡眠质量以及支持睡眠障碍诊断提供了重要基础。在临床实践中，睡眠专家依据Rechtschaffen和Kales（R&K）规则或美国睡眠医学会（AASM）指南对多导睡眠图（PSG）记录进行分期，将记录划分为连续的30秒周期并逐一标注睡眠阶段。在常见的五阶段设定中，睡眠被分为清醒期（W）、三个非快速眼动期（NREM）阶段（N1、N2、N3）以及快速眼动期（REM）。然而，人工逐周期判读耗时且依赖专业知识，且存在判读差异，N1期的一致性尤其偏低。因此，准确、高效且可复现的自动睡眠分期对大规模睡眠研究与临床睡眠分析具有重要意义。
PSG记录通常包含同步的EEG、EOG和EMG信号。EEG提供脑节律与特征波形信息，EOG捕捉与眼动相关的电位，EMG反映肌肉活动与张力，这些信号为睡眠分期提供互补信息。此外，睡眠相关节律与特征波形在不同持续时间和频率范围内出现，而连续周期之间表现出与阶段转换相关的时间连续性和依赖性。因此，有效的自动睡眠分期需要联合表征多尺度生理特征、整合互补的多模态信息，并建模连续周期间的时间关系。
现有方法通常采用多尺度架构捕捉跨时间尺度的睡眠相关模式。早期方法如DeepSleepNet和AttnSleep采用不同感受野的并行卷积分支，而SleePyCo和SleepFC则将跨网络深度的特征聚合成层次化多尺度表示。近年研究将多尺度建模扩展到多模态PSG，如MMS-SleepNet和MMTSleepNet通过模态特定分支提取多尺度特征，CAT-Sleep和SleepMamba进一步结合多尺度表示与跨模态交互。然而，这些方法主要关注多分辨率特征提取和跨模态信息整合，对不同尺度间的显式层次关系探索较少。层次化架构通过渐进特征传播建立跨尺度连接，但重复降采样可能削弱短期局部信息。
在睡眠分期的时间建模方面，现有方法可分为目标周期预测和联合序列预测两类。目标周期预测方法使用连续周期分类预定义的目标周期，非目标周期主要提供上下文信息，其真实标签通常不用于直接分类监督。联合序列预测方法同时预测多个输入周期，使各周期标签共同参与模型优化，但通常不优先考虑特定周期。然而，使用多个周期的标签并不必然要求将其视为联合分类目标。因此，一个悬而未决的问题是：在目标周期预测框架内，能否利用非目标周期的真实标签来增强对应周期的阶段语义并更好地支持目标周期分类，而不将所有输入周期视为同等重要的分类目标，也不引入显式的转换先验。
二、研究内容与主要结论
针对上述问题，研究人员提出CSPT-SleepNet框架。该框架引入中心驱动序列监督策略，以中心周期分类为主要目标，对非中心周期施加较弱的辅助分类监督，从而在保持中心周期监督主导地位的同时，利用非中心周期的真实标签强化对中心周期分类的上下文支持。同时设计多模态金字塔令牌编码器（MPTE），结合层次化多尺度卷积、可学习的层级间降采样和细粒度补充分支，从EEG、EOG和EMG信号构建模态特定令牌表示。在此基础上构建包含模态内令牌上下文建模、跨模态交互和跨周期上下文建模的层次化信息处理流程，渐进聚合各模态内信息并整合互补的跨模态信息，同时建模连续周期间的时间关系，最终生成用于中心周期分类的层次化表示。
在Sleep-EDF-20、Sleep-EDF-78和ISRUC-S3三个公开数据集上进行的受试者独立交叉验证中，CSPT-SleepNet分别取得了87.93%/83.53%、85.81%/80.87%和84.06%/82.86%的ACC/MF1。在Sleep-EDF-20上的独立对照实验中，中心驱动序列监督相比等权序列监督将ACC和MF1分别提升0.60和0.91个百分点。完整模型具有341.8万个可训练参数，处理9个30秒周期的输入序列需要3.971亿次浮点运算。研究还发现N1期识别仍是主要瓶颈，三个数据集上的F1分数介于55.3%至62.7%之间。该研究为基于连续多模态输入的自动睡眠分期提供了有效框架，验证了利用非中心周期标签提供阶段信息上下文支持的可行性，以及层次化多尺度表示学习在模态内整合时间信息后再进行跨模态交互的结构化方式。
三、关键技术方法
研究人员采用以下主要技术方法：其一，设计多模态金字塔令牌编码器（MPTE），包含层次化金字塔分支、细粒度补充分支和多层级侧向特征对齐模块，通过深度可分离卷积块渐进提取层次化特征，并使用可学习的深度卷积进行层级间降采样；其二，采用模态内多头自注意力机制建模各模态内部令牌关系，引入可学习的模态CLS令牌聚合模态级上下文信息；其三，设计联合模态特征重校准（JMR）模块，通过轻量卷积生成特征级重校准权重并施加残差缩放；其四，采用跨模态多头自注意力实现模态间交互，生成跨模态周期令牌；其五，设计中心驱动序列监督策略，中心周期接收主要分类监督，非中心周期接收较弱辅助监督，同时辅以基础logit序列的辅助监督。数据来源包括Sleep-EDF-20（20名健康受试者）、Sleep-EDF-78（78名健康受试者）和ISRUC-S3（10名健康受试者）三个公开数据集。
四、研究结果
4.1 混淆矩阵分析。 研究人员通过三个数据集上的混淆矩阵分析发现，CSPT-SleepNet在W、N2、N3和REM上的召回率均超过80%，而N1的召回率显著低于其他阶段，是主要的识别瓶颈。误分类的N1样本主要被归为W、N2和REM，其中以N2最多。N2与N3之间存在不对称的误分类，N3样本更常被误判为N2。误分类集中在少数困难的阶段对上，而非广泛分布于各睡眠阶段。
4.2 整体性能比较。 在Sleep-EDF-20上，CSPT-SleepNet取得87.93%的ACC、83.53%的MF1和0.836的Cohen's κ。在Sleep-EDF-78上取得85.81%的ACC、80.87%的MF1和0.804的κ。在ISRUC-S3上取得84.06%的ACC、82.86%的MF1和0.795的κ。多随机种子实验显示标准偏差较小，表明训练稳定性良好。N3在Sleep-EDF-78上的F1分数为80.7%，低于若干对比方法，主要与N2-N3的局部混淆有关。
4.3 睡眠催眠图与错误模式分析。 研究人员对Sleep-EDF-20中受试者19第一晚的记录进行了分析。预测序列在大多数区间与人工判读一致，长段W、N2和REM区间以及整体阶段演进得到较好保留。误分类集中在短暂阶段片段、快速局部转换和相邻阶段频繁交替处，表现为对周围阶段的持续预测、局部标签替换或边界偏移。
4.4 中心驱动序列监督的对比评估。 在Sleep-EDF-20上，中心驱动序列监督相比等权序列监督和仅中心监督取得最佳ACC、MF1和κ，差异具有统计学意义。相比等权监督，N1和REM的F1分别提升2.4和1.5个百分点。归一化对照实验验证了非对称监督权重的有效性。阶段转换分析显示，中心驱动监督将转换起始准确率（TOA）提升3.35个百分点，误检率降低5.51个百分点，虚假率仅增加0.76个百分点，在转换识别、转换计数和误检/虚假转换之间取得更好平衡。
4.5 模型组件与多模态融合消融研究。 移除层次化金字塔路径导致最大性能下降，ACC和MF1分别降低0.97和1.14个百分点。将可学习层级间降采样替换为固定最大池化使ACC和MF1分别降低0.48和0.43个百分点，移除细粒度补充分支则分别降低0.61和0.67个百分点。多模态融合比较显示，从输入级融合到模态特定表示学习和显式跨模态交互存在一致性改进，JMR在基于注意力的融合基础上进一步提升ACC和MF1各0.40和0.45个百分点。移除时间残差校正（TRC）使ACC和MF1各降低0.46和0.45个百分点。
4.6 模态贡献分析。 仅使用EEG时模型取得86.01%的ACC和81.22%的MF1。添加EOG或EMG均能提升整体性能，其中EEG+EOG优于EEG+EMG。两种辅助模态的改进主要体现在N1和REM上。三模态输入取得最高整体性能，N1的F1相比EEG+EOG提升3.4个百分点。N3的F1在各模态组合中变化较小，保持在87.9%至88.3%的窄范围内。
4.7 参数敏感性分析。 输入上下文长度S从3增加到9时性能逐步提升，S=9取得最高ACC、MF1和κ，S=11时三项指标均下降。相比独立周期级参考模型，S=3时N1和REM的F1分别提升5.0和4.2个百分点。非中心辅助监督权重λnc从0.0增加到0.3时性能提升，λnc=0.3取得最佳效果，继续增加至0.5时性能略有下降。
五、讨论与结论
讨论部分指出，CSPT-SleepNet在三个数据集上均取得一致的强整体性能，ACC介于84.06%至87.93%之间，MF1介于80.87%至83.53%之间，κ介于0.795至0.836之间。中心驱动序列监督通过利用非中心周期的真实标签提供阶段信息上下文支持，在保持中心周期分类主导地位的同时改善分类性能和转换行为。MPTE通过层次化多尺度表示学习在模态内整合时间信息后再进行跨模态交互，为多模态PSG建模提供了结构化途径。N1识别仍是主要挑战，其过渡性位置和与其他阶段的特征重叠导致识别困难。
研究结论为：CSPT-SleepNet为基于连续多模态输入的自动睡眠分期提供了有效框架，通过中心驱动序列监督、多模态金字塔令牌编码以及层次化信息处理流程，在三个公开数据集上取得了具有竞争力的分类性能。尽管如此，N1期识别仍然具有挑战性，在三个数据集上的F1分数介于55.3%至62.7%之间，提示该阶段仍需进一步研究改进。
