基于图神经网络与Transformer的实时多模态疲劳检测新方法FatigueNet及其在生物信号处理中的应用

《Scientific Reports》：FatigueNet: A hybrid graph neural network and transformer framework for real-time multimodal fatigue detection

本研究针对现有疲劳检测模型信号多样性不足和复杂信号间依赖关系处理能力弱的问题，开发了一种结合图神经网络(GNN)与Transformer架构的混合模型FatigueNet。该系统通过处理心电图(ECG)、皮肤电活动(EDA)、肌电图(EMG)和眼眨信号，实现了多模态生物信号的动态特征提取，在MePhy数据集上达到90.2%的检测准确率，单窗口处理延迟仅50毫秒，显著优于现有基准模型5%以上，为实时健康监测提供了创新解决方案。

　　

在现代快节奏生活中，疲劳已成为影响人类健康和工作效率的重要问题。这种复杂的生理状态不仅表现为认知功能下降和体力不支，还伴随着情绪波动和神经系统功能紊乱。尤其在高风险领域如驾驶、医疗手术和工业操作中，疲劳可能导致灾难性后果。尽管当前可穿戴健康监测设备能够采集多种生理信号，但传统机器学习方法严重依赖手动特征提取，难以捕捉生物信号中复杂的非线性和跨模态关联模式。

针对这一挑战，伊朗马赞德兰大学的研究团队在《Scientific Reports》发表了创新性研究成果，开发了一种名为FatigueNet的新型多模态疲劳检测框架。该系统通过整合图神经网络(GNN)和Transformer架构，成功解决了生物信号多样性和复杂 interdependence 两大技术难题。

研究采用的关键技术方法包括：1)使用MePhy多模态数据集（包含60名参与者的ECG、EDA、EMG和眼眨信号），2)基于滑动窗口（20秒窗口，5秒步长）的多域特征提取技术，3)图神经网络构建动态邻接矩阵建模信号间相关性，4)Transformer编码器捕捉长时序依赖关系，5)元学习门控自适应融合(MGAF)机制实现动态权重分配，6)多类支持向量机(MSVM)分类器进行疲劳等级划分。

特征提取

研究团队设计了全面的特征工程框架，从时域、频域、时频域、混沌和分形五个维度提取特征。时域特征包括心率变异性(HRV)、R波振幅(RA)和正常间期(NN)等 cardiac 参数，以及肌电信号的均值绝对值和过零次数。频域分析涵盖超低频(ULF)、甚低频(VLF)、低频(LF)和高频(HF)功率谱密度。特别值得注意的是，通过连续小波变换(CWT)捕捉非平稳模式，结合Lyapunov指数和近似熵等非线性动力学指标，全面量化了疲劳状态的生理信号特征。

GNN模块

该模块创新性地将不同生物信号传感器表示为图节点，通过动态定义的邻接矩阵捕获模态间依赖关系。研究采用基于相关系数的自适应拓扑结构，使用多尺度图滤波器和注意力增强卷积，有效学习了短程和长程连接中的层次化依赖关系。节点特征通过L2归一化处理确保了不同数据集特征分布的一致性，ReLU激活函数引入了必要的非线性变换能力。

Transformer模块

该组件通过自注意力机制处理特征映射序列，专门捕捉疲劳模式中的长期时间依赖性。模型采用可学习的权重参数和位置先验知识，自适应调整传感器信号间的边缘权重，显著增强了对关键交互关系的敏感性。

MetaNet与MGAF

这是研究的核心创新点，通过元学习框架动态优化多模态特征融合。MetaNet作为轻量级神经网络，根据特征嵌入和元学习参数输出权重，MGAF组件则将多模态特征划分为独立流并进行序列聚合。这种设计允许系统在运行时根据信号质量或任务需求自动调整操作，大大提升了实用性和鲁棒性。

实验结果显示，FatigueNet在训练阶段达到95.0%的准确率，测试阶段保持90.2%的优异性能，显著超越ResNet-50(77.4%)、CNN-LSTM(78.8%)和TAGformer(83.2%)等基准模型。单模态测试表明ECG信号单独使用可达82.1%准确率，证明心脏信号在疲劳检测中的重要性。消融实验进一步验证了各组件的贡献：移除GNN导致准确率下降4.3%，移除Transformer降低3.8%，而禁用MetaNet+MGAF融合机制则造成8.5%的性能损失。

实时性能测试表明，系统处理20秒数据窗口仅需50±3毫秒，完全满足可穿戴设备的实时监控需求。t-SNE可视化分析显示，模型能够将不同疲劳等级的特征在高维空间形成明显聚类，特别是极度疲劳状态表现出高度紧凑和分离的集群分布。

研究讨论指出，FatigueNet的成功源于其独特的混合架构设计：GNN组件捕获ECG、EMG、EDA和眼眨信号间的动态跨模态关系，Transformer编码器提供长时序注意力机制，而元学习驱动的MGAF模块确保了对部分传感器失效情况的稳健性。损失函数结合交叉熵和L2正则化及重构一致性约束，有效防止了疲劳状态快速变化时的过拟合现象。

该研究的局限性主要在于需要多传感器同步数据，在基础设施有限或单传感器部署环境中应用受限。未来工作将集中于开发嵌入式平台的模型优化、在线伪影过滤技术、以及多年龄和健康状况数据集的扩展验证。

总之，FatigueNet代表了疲劳检测技术的重大进步，通过创新性地融合图神经网络和Transformer架构，实现了多模态生物信号的精准分析和实时处理。这项技术不仅对医疗健康监测具有重要价值，在交通运输、航空安全和工业生产等领域同样具有广阔应用前景，为预防疲劳相关事故和提高人类工作效率提供了强有力的技术支撑。