《Journal of Safety Science and Resilience》:Early warning of operators’ thermal-discomfort-induced cognitive impairment via ECG-fNIRS monitoring and dynamic spatio-temporal graph learning model
编辑推荐:
热不适显著损害认知功能,导致人为失误乃至严重系统事故。现有基于生理监测的认知评估深度学习方法常忽视神经生理信号的时空动态性,主要聚焦实时分类。为此,研究人员提出DCATT(扩散卷积注意力模型),一种面向热应激下操作员异常认知状态多步预测的时空框架,含三个关键模
热不适显著损害认知功能,导致人为失误乃至严重系统事故。现有基于生理监测的认知评估深度学习方法常忽视神经生理信号的时空动态性,主要聚焦实时分类。为此,研究人员提出DCATT(扩散卷积注意力模型),一种面向热应激下操作员异常认知状态多步预测的时空框架,含三个关键模块:(1)在功能脑网络上执行扩散图卷积以捕捉动态脑活动并增强短期预测;(2)多头自注意力聚合长程时间依赖以改善长期预测;(3)以位置编码为查询的交叉注意力机制,将先验生理嵌入自适应投影为未来认知状态的稳定隐表示。在热应激多模态操作员数据集上评估,DCATT提前30秒预测认知损伤准确率达72%,AUC为72.4%,F1分数为67.4%,分别超越当前基准4.2与5.6个百分点。模型兼具可解释性,能高亮任务相关脑区,并在跨被试、传感器噪声及通道缺失条件下展现鲁棒泛化能力。DCATT为应急场景下认知损伤预警与动态风险管理提供可行框架,尤其提升Industry 5.0时代人-信息物理系统中过程安全与生产力。
研究背景与问题提出
在高风险工业领域,人为失误是系统事故的主因之一,核电厂50%–70%的失效与之相关。认知功能在应急环境中易受环境应力影响,热应激会显著削弱注意力、决策与情境意识。早期人因可靠性分析(HRA)从数学模型转向认知模型,Industry 5.0时代可穿戴传感与深度学习推动从静态事后评估转向动态实时认知状态预测。现有生理监测驱动的认知识别研究分三流:物理信息模型可解释但难捕捉高维非线性;数据驱动模型表达力强却掩盖神经生理机制;神经科学启发的脑图模型虽引入脑拓扑,但多依赖静态或注意力生成图,且几乎均聚焦状态分类而非时间预测。三方面局限交汇:可解释性与表达能力难兼顾、脑空间动态建模不足、缺乏早期预警所需的时序预测能力。
研究开展与总体结论
研究人员开展一项融合神经工效学先验与动态时空深度学习的研究,构建DCATT框架,在热湿暴露下基于60秒生理历史(前6步×10秒)预测未来40秒(后4步×10秒)二元认知状态(Normal/Abnormal)。结论显示:DCATT在受试者依赖模式下准确72.22%、AUC 72.43%、F1 67.41%;受试者独立模式AUC 55.18%、F1 51.96%,较Graph WaveNet、STAEformer、AGCRN、Conformer等基线最优AUC提升约4.2个百分点、F1提升5.6个百分点;外部SEED情绪识别数据集上亦达SOTA,验证跨域泛化。该文发表于《Journal of Safety Science and Resilience》,意义在于将物理信息图扩散与位置编码交叉注意力投影结合,为安全关键场景提供可解释、抗噪、多步前瞻的认知崩溃预警工具。
主要关键技术方法(≤250字)
研究人员招募38名志愿者完成7种25–44℃热湿场景实验,同步采集前额叶8/22通道fNIRS(采样10/13.3 Hz)与3导联ECG;认知标签由行为准确率与反应时经GaussianMixture无监督聚类得Normal/Abnormal。特征工程上,fNIRS节点取6类ALFF(振幅低频波动)特征、边取CORR/CORRz/COH/PLV四种动态功能连接矩阵,ECG取14项时频域HRV特征;滑动窗10秒/步长10秒。模型端采用Encoder-Decoder:编码器含Linear嵌入、n层ST块(多头时间自注意力+扩散GCN+Add&Norm)、图读出、位置编码为查询的多头交叉注意力时间投影;解码器拼接fNIRS与ECG隐表示后经Linear输出多步概率,以平均交叉熵训练,SGD+CosineAnnealing+EarlyStopping,超参由5折CV网格搜索确定。
研究结果(保留小标题)
- 2.
Methodology
定义前P步动态fNIRS图序列G=(N,X,E,A)与ECG序列S到后Q步认知状态?的映射;通过滑动窗得片段,提取ALFF节点与四类功能连接边构成图,ECG取HRV特征向量。DCATT编码器以Linear初嵌→ST块(时间自注意力共享跨节点时间模式、扩散GCN以归一化top-3稀疏功能连接矩阵为转移算子模拟马尔可夫随机游走、Add&Norm残差层归一)→图均值读出→位置编码查询交叉注意力直接将历史生理嵌入投至未来Q步隐表示;ECG支路以1×1卷积代GCN。解码器拼接双模隐表示经两层Linear得分类 logits。标签由GaussianMixture对准确率与反应时聚类,排除SpectralClustering不平衡及MeanShift等过分割算法。
- 3.
Results
3.1 Baseline comparison
Cognitive数据集受试者依赖模式中DCATT AUC 72.43%、F1 67.41%居首(Conformer准确率73.01%略高但AUC/F1低);受试者独立模式DCATT准确率62.88%、AUC 55.18%、F1 51.96%,显著优于Conformer(p=0.007/0.040,Cohen's d 3.45/2.80)。t-SNE显示DCATT隐空间两类分离最清晰。SEED数据集受试者依赖DCATT准确率69.00%、AUC 84.23%、F1 68.02%;受试者独立准确率53.78%、AUC 75.67%、F1 52.46%,F1显著优于全部基线(p<0.001至0.018)。
3.2 Ablation study
移除扩散GCN改none/1×1 conv/self-attn/vanilla GCN/GAT/static graph均降AUC与F1,证物理信息动态扩散空间建模必要;时间自注意力换LSTM/Transformer在Cognitive全集下降,SEED跨被试下Transformer暂优但整体注意力共享时间模式更稳;时间投影换linear微降、cross-time attn大跌;融合换plus/cross-attn均降;去图稀疏归一化亦降。-long-horizon(Q=6)分析中空间模块助短于30秒、时间模块助长于30秒、位置编码投影保长程稳定。
讨论与结论翻译浓缩
讨论指出,DCATT以动态功能连接为扩散转移矩阵,比全可学图省参且高亮热应激下性能退化脑区;位置编码作查询避免自回归误差累积,支持并行多步稳定预测;在跨热强度、跨被试、Sensor噪声与缺通道下鲁棒。结论:研究人员提出DCATT,统一动态脑网络建模、可解释空间扩散与horizon感知时间投影,于热湿应激操作员认知异常预警中达SOTA(提前30秒准确率72%、AUC 72.4%、F1 67.4%),并在SEED上验证泛化,为Industry 5.0人-信息物理系统提供主动安全管理框架。