基于时序关系建模与多模态对抗对齐网络的飞行员工作负荷评估新方法

《IEEE Journal of Translational Engineering in Health and Medicine》：Temporal Relation Modeling and Multimodal Adversarial Alignment Network for Pilot Workload Evaluation

本研究针对飞行员工作负荷评估中生理信号时序动态特性捕捉不足及多模态特征融合困难等问题，提出了一种结合Transformer时序关系建模与对抗对齐融合的深度学习框架（TRM-MAAN）。通过脑电图（EEG）和肌电图（EMG）多模态数据融合，在八名飞行员模拟飞行实验中实现了91.90%的平均识别准确率，显著优于基线模型。该工作为飞行安全监测和飞行员健康管理提供了创新技术方案，对临床疲劳监测、心理状态评估等领域具有转化价值。

　　

在民航飞行中，飞行员需要在高压力环境下持续进行复杂操作，工作负荷的失衡已成为威胁飞行安全的重要因素。统计显示，75%的民航安全事故与人为因素相关，其中多数源于机组人员操作失误。传统工作负荷评估方法主要依赖主观量表（如NASA-TLX）或飞行参数分析，但前者易受个体经验干扰，后者无法直接反映心理生理状态。虽然生理信号（如脑电图EEG、肌电图EMG）能客观反映飞行员实时状态，但现有方法存在时序特征提取不充分、多模态数据分布差异大等瓶颈，制约了评估精度和实时性。

为解决上述问题，安徽大学研究团队在《IEEE Journal of Translational Engineering in Health and Medicine》发表研究，提出时序关系建模与多模态对抗对齐网络（TRM-MAAN）。该框架通过Transformer模块捕捉生理信号长程依赖，利用对抗训练消除模态间分布差异，在EEG与EMG多模态融合任务中实现91.90%的识别准确率，为飞行员工作负荷的精准评估开辟了新途径。

关键技术方法包括：1）基于Transformer的多模态特征提取模块，通过多头自注意力机制捕获全局时序特征；2）对抗对齐融合模块，通过模态分类器与特征融合模块的对抗训练减少分布偏移；3）ConvNeXt块构建的特征融合网络优化模态间特征交互。实验数据来源于8名飞行员在模拟飞行任务中同步采集的EEG（32通道）和EMG（32通道）信号，经5折交叉验证评估模型性能。

模型结构优化验证

通过控制变量实验确定多模态特征融合模块的最优深度。如图3所示，当ConvNeXt块数量设置为3时，模型达到峰值性能（91.90±1.72%），过多或过少的块数均会导致精度下降，表明网络深度需与数据集规模相匹配。

多模态对比实验

与MHyEEG（74.81±10.68%）和Husformer（78.14±4.23%）相比，TRM-MAAN的准确率提升13-17%（p<0.05）。如表4所示，该模型在F1分数（91.86±1.75%）、AUC（95.32±2.15%）等指标上均显著优于基线，证明其能有效克服模态间分布偏差。

消融实验分析

移除对抗对齐机制（TRM）使准确率下降9.76%，而仅使用时序卷积替代Transformer（MAAN）导致精度降低5.75%（图5）。单模态实验中，单独使用EEG或EMG的准确率分别为89.75±2.41%和85.62±3.37%，验证多模态融合的必要性。

个体差异与实时性能

如图6所示，多数被试者三类工作负荷识别准确率超80%，但被试1和8的高负荷样本易误判为中负荷，反映个体生理差异影响。实时性方面（表5），TRM-MAAN单样本处理延迟仅12.77ms，GPU内存占用374.1MB，优于对比模型。

神经机制可视化

EEG地形图（图7）显示不同负荷下顶叶激活模式差异：中负荷时顶叶响应最强，而高、低负荷激活模式相似。这表明工作负荷强度与脑区活动存在非线性关联，为认知机制研究提供线索。

该研究通过创新性地整合Transformer时序建模与对抗对齐机制，显著提升了多模态生理信号的工作负荷评估性能。虽然存在小样本数据局限性和个体差异挑战，但提出的框架为实时监测飞行员认知状态提供了技术支撑，在临床疲劳监测、精神障碍评估等领域具有转化潜力。未来将通过扩大数据集、引入更多模态数据及增强模型泛化能力进一步推动应用落地。