MSANet：面向基于EEG的驾驶员疲劳识别的多尺度时空自适应网络

《Frontiers in Neuroscience》：MSANet: a multi-scale spatiotemporal adaptive network for EEG-based driver fatigue recognition

　　

基于脑电图（EEG）的驾驶员疲劳识别仍具有挑战性，因为疲劳相关模式分布于多个时间尺度，通道间关系随样本变化，并且个体间差异使跨被试迁移复杂化。为解决这些问题，研究人员提出了一种用于基于EEG的驾驶员疲劳识别的多尺度时空自适应网络（MSANet）。该框架引入多粒度补丁时间门（MGPTG）以建模局部连续的时间上下文，引入稳定图节点增强（SGNE）以在动态图构建前增强通道节点特征，并引入自适应分类器门（ACG）以组合基于余弦和仿射的决策几何。MSANet在两个公开模拟驾驶EEG数据集上使用跨被试迁移方案进行评估，其中目标被试样本以0.5的分层比例划分为标记自适应子集和留出测试子集。MSANet在数据集I上达到83.64%的准确率（ACC）和83.74%的F1分数（F1），在数据集II上达到74.64%的ACC和72.92%的F1。结果表明在数据集I上具有较强数值性能，在数据集II上具有竞争性性能。此外进行了被试级统计分析，以区分平均性能差异与在各被试间一致支持的差异。消融结果显示，在评估设置下移除MGPTG、SGNE或ACG后平均性能降低。这些发现支持进一步评估所提出的阶段特异性时间、图节点和分类机制，用于基于EEG的驾驶员疲劳识别中的跨被试迁移。

研究人员围绕基于脑电图（electroencephalography, EEG）的驾驶员疲劳识别开展研究。驾驶员疲劳会损害警觉性、反应速度和决策能力，增加驾驶错误与交通事故风险。现有驾驶员监测方法主要依赖车辆行为、视觉线索或生理信号；车辆和视觉指标方便，但易受道路条件、光照、遮挡和个体驾驶风格影响。相比之下，EEG直接反映与觉醒和注意相关的神经活动，并可能在明显驾驶绩效下降前揭示疲劳相关变化。传统EEG疲劳识别依赖谱功率、熵、小波系数和手工连接特征，但依赖预定义特征表示和分类器设计。近期深度学习方法转向多维表示学习，包括动态图建模、时间-通道注意、时间-空间-谱融合和脑区感知图学习等。尽管有进展，跨被试迁移仍具挑战，因为EEG分布随个体显著变化；跨被试卷积和残差收缩模型、动态图和未见驾驶员框架已被开发。NHGNet提供了强动态图公式，但动态图构建本身不能解决时间-图管线的所有建模需求，尤其是局部连续时间建模、邻接前节点表示和最终决策几何。研究人员指出三个问题：常规多尺度时间建模未明确捕获相邻区间局部连续证据；无显式节点增强阶段时，紧凑通道节点表示直接用于图构建可能影响动态邻接估计；单一分类器几何在目标被试自适应改变学习表示的幅度和方向时可能不足。因此提出MSANet，旨在通过阶段特异性机制改进基于EEG驾驶员疲劳识别的跨被试迁移。

研究人员开展的研究为：提出MSANet，一种多尺度时空自适应网络，集成三个组件：多粒度补丁时间门（multi-granularity patch temporal gate, MGPTG）、稳定图节点增强（stable graph node enhancement, SGNE）和自适应分类器门（adaptive classifier gate, ACG）。在时间-图骨干中，MGPTG通过重叠多粒度补丁门控建模压缩前局部连续时间上下文；SGNE在动态邻接估计前进行有界残差节点增强；ACG在图卷积后通过门控双几何分类组合归一化余弦和仿射决策空间。研究在两个公共模拟驾驶EEG数据集上采用跨被试迁移协议评估。结论是MSANet在数据集I上取得较强数值性能，在数据集II上具有竞争性；消融显示移除MGPTG、SGNE或ACG在评估设置下降低平均性能。其意义在于支持进一步评估所提出的阶段特异性时间、图节点和分类机制用于跨被试迁移。

关键技术方法：研究采用MSANet，含多尺度时间编码、MGPTG、时间加权与池化、时间残差校准（TRC）、SGNE、动态邻接构建、图卷积网络（GCN）和ACG。训练中采用时间分割重组（TSR）作为仅训练增强，约五倍扩增训练集。数据来源：数据集I来源于Cao et al. 发布的持续注意驾驶数据集，保留11名被试，每试次1×30×384，即3 s EEG；数据集II基于Min et al. 描述的模拟驾驶EEG数据，含12名被试，划分为非重叠1 s窗口，表示为1×30×128。两数据集均保留30个EEG通道，采样率128 Hz。评估采用跨被试迁移协议，目标被试样本按0.5分层为标记自适应子集和留出测试子集；源域分层10折外交叉验证，每折内3折内验证；留出目标测试不用于训练、微调、验证、早停或模型选择。

4.1 与现有方法比较：通过将MSANet与EEGNet、BPR-STNet、ICNN、NHGNet、LGGNet和DCAMNet六个基线在相同跨被试迁移协议下比较。数据集I上MSANet达到83.64% ACC、83.72% PRE、84.78% SEN、82.41% SPE和83.74% F1；相对最强指标特异性基线分别提高1.31、0.82、0.89、0.50和1.11个百分点。数据集II上MSANet达到74.64% ACC、77.50% PRE、74.05% SEN、78.23% SPE和72.92% F1；最强竞争值为DCAMNet的74.57% ACC和77.22% PRE、LGGNet的73.87% SEN、EEGNet的78.17% SPE、NHGNet的72.00% F1，相应优势为0.07、0.28、0.18、0.06和0.92个百分点。Friedman检验显示两个数据集七模型总体差异显著（数据集I p=0.0022，数据集II p<0.001）。Holm校正后，数据集I中MSANet与BPR-STNet（p_adj=0.0117）和LGGNet（p_adj=0.0342）差异显著；数据集II中与BPR-STNet（p_adj=0.0029）和ICNN（p_adj=0.0049）差异显著；其余比较未达显著。基线指标间差异也表明需联合使用ACC、PRE、SEN、SPE和F1。

4.2 消融研究：通过移除MGPTG、SGNE或ACG构建消融变体，并在相同数据划分、优化过程和跨被试迁移协议下训练评估。数据集I中，移除ACG在ACC、PRE和SPE上下降最大，移除SGNE在SEN和F1上下降最大，移除MGPTG也降低五项指标。数据集II中，移除MGPTG在PRE、SEN和F1上下降最大，移除ACG在ACC和SPE上下降最大，移除SGNE也降低五项指标。总体上，移除任一模块均降低性能，但降幅在两数据集间不同。

讨论部分总结：MSANet在两个不同时间窗和标签协议的数据集上取得竞争性跨被试疲劳识别性能；数据集I平均性能更强，数据集II相对若干强基线的数值优势较小。被试级统计分析表明，Holm校正后显著差异仅限部分基线比较，因此应解释为具有选择性统计支持的优势，而非对所有方法的一致优越。与现有卷积和图方法相比，MSANet主要在时间-图管线不同阶段引入专门机制：LGGNet和NHGNet主要强调空间或动态图表征学习，DCAMNet侧重跨谱、空间和时间维度的自适应特征提取；MSANet额外引入MGPTG、SGNE和ACG。消融结果提示三组件具有互补作用，移除MGPTG的下降在较短1 s片段的数据集II更明显；移除SGNE降低性能，与其在图构建前增强节点表示的作用一致；ACG消融与结合余弦和仿射分类几何的收益一致。这些观察描述模块功能模式，不应解释为特定生理机制。局限性包括：使用标记目标被试数据自适应，因此评估的是带目标自适应的跨被试迁移，而非对完全未见被试的严格被试独立泛化；两个数据集均来自模拟驾驶环境且仅做二分类警觉/疲劳判别；被试级结果变异和与若干强基线统计分离有限，需要更大更异质数据集验证；学习到的邻接矩阵代表模型导出的通道关系，不应直接解释为生理功能连接；年龄相关视角下可靠疲劳监测可能对老年驾驶员相关，但当前数据集无年龄分层老年驾驶员队列，因此不能解释为年龄特异性有效性。

研究结论翻译：在本研究中，研究人员开发了MSANet用于基于EEG驾驶员疲劳识别中的跨被试迁移。该框架分别集成MGPTG以进行局部连续时间建模，SGNE以在动态图构建前进行节点增强，以及ACG以进行门控双几何分类。在两个公共EEG数据集上，MSANet在数据集I上显示强数值性能，在数据集II上显示竞争性性能。被试级统计分析在Holm校正后识别出部分选定基线比较的显著差异，其余比较未达统计显著。这些发现与评估迁移设置下提出的阶段特异性建模框架一致，同时表明优越性并非在所有比较方法中一致。未来工作将聚焦更严格的被试独立评估、真实驾驶场景，以及在更大更异质数据集上的验证，包括专用老年驾驶队列，以检查框架跨年龄组的稳健性。