基于功能结构的多模态图神经网络在疲劳检测中的创新应用

针对现有疲劳检测方法忽视多模态信号功能连接的问题，研究人员提出融合EEG和ECG的新型图神经网络框架。通过提取EEG差分熵(DE)和ECG心率变异性(HRV)特征，构建跨模态交互图，结合Laplacian特征值与SVD分解，创新性设计通道可分离卷积模块。实验证明该模型在64通道和17通道配置下，二分类和四分类任务中均取得最优性能（准确率最高达92%），为疲劳状态识别提供了新范式。

　　

疲劳是引发35%-45%事故的隐形杀手，尤其对驾驶员等高风险职业构成严重威胁。尽管现有研究已采用脑电图(EEG)和心电图(ECG)等生理信号进行监测，但传统方法存在三大瓶颈：多模态信号简单拼接忽视功能连接、个体差异导致泛化性不足、非线性信号特征提取不充分。这些缺陷使得疲劳检测的准确性和实用性大打折扣。

针对这些挑战，天津大学的研究团队在《Brain Research Bulletin》发表创新成果。他们巧妙结合虚拟现实(VR)技术构建生态效度更高的"边界规避任务"(BAT)，通过Unity引擎开发三维无人机操控实验，同步采集45名参与者的64通道EEG和ECG数据。研究团队开创性地提出多模态功能结构图神经网络(MF-GNN)，通过差分熵(DE)和心率变异性(HRV)特征的双流输入，利用拉普拉斯特征值与奇异值分解(SVD)挖掘跨模态交互规律，设计通道内外可分离卷积模块动态生成频段-通道相关矩阵。实验显示，该模型在64通道配置下二分类准确率达92%，四分类达86%，显著优于现有方法。

关键技术包含：1) 基于Unity和PICO 4 VR头显的沉浸式实验范式；2) EEG五频段(δ/θ/α/β/γ)DE特征与ECG九项HRV指标提取；3) 拉普拉斯矩阵与SVD分解的跨模态权重计算；4) ChebyNet图卷积动态分配通道权重。

数据采集与预处理
创新性采用VR环境下的边界规避任务，通过63导EEG和单导ECG同步采集，经0.5-45Hz带通滤波和ICA去噪后，分割为300秒片段。EEG分解为δ(1-4Hz)、θ(4-8Hz)、α(8-14Hz)、β(14-30Hz)、γ(30-45Hz)五个子频段计算DE特征，ECG则提取包括LF/HF比值在内的9项HRV时频域指标。

特征工程创新
突破性地计算EEG内部通道与EEG-ECG跨模态皮尔逊相关系数矩阵，通过Laplacian特征值归一化获取脑内权重λ_EEG^norm，对脑心互作矩阵SVD分解得到左奇异矩阵U，最终融合特征表示为[EEG×λ_EEG^norm×λ_EEG×ECG^norm, ECG]。

网络架构突破
设计通道内外可分离卷积模块：深度卷积独立处理各通道特征，点卷积整合跨通道信息。创新应用ChebyNet图网络，通过K阶切比雪夫多项式T_k(x)近似图滤波器g(Λ_C)=Σθ_kT_k(Λ?_C)，动态学习邻接矩阵?_C=2A_C/λ_C,max-I_N的拓扑关系。

多维度验证
模态消融实验证实EEG+ECG联合特征准确率比单模态平均提升12.5%；特征消融显示DE+HRV组合使F1-score提高17%；架构消融证明图神经网络模块对二分类任务贡献率达89%。频段分析揭示全频段组合优于任何单频段，其中α和β波段对疲劳识别最敏感。

这项研究开创性地建立了多模态生理信号的功能连接分析框架，其核心价值体现在三方面：首先，通过Laplacian-SVD跨模态分析破解了"脑-心"交互密码，使疲劳识别准确率突破90%大关；其次，可分离卷积与ChebyNet的动态权重机制，成功解决了传统方法对个体差异敏感的问题；最后，17通道配置下仍保持71%的四分类准确率，为可穿戴设备应用奠定基础。该成果不仅为疲劳检测提供了新范式，其构建的多模态图神经网络框架更可拓展至抑郁症、癫痫等脑疾病研究领域，具有重要的临床转化前景。