脑心协作跨模态注意力网络（BH-CMA）用于应激认知状态解码

《Brain Research Bulletin》：BH-CMA: A cross-modal attention network based on brain-heart collaboration for stress cognitive state decoding

　　

心理应激已成为心血管疾病、情感障碍和认知衰退的重要风险因素。客观、持续地评估心理应激对于心理健康监测、自适应人机交互和智能健康管理具有重要意义。脑电图（EEG）捕捉与认知加工和应激反应相关的皮层活动，而源自心电图（ECG）的心率变异性（HRV）反映自主神经调节，对应激期间的生理变化敏感。因此，EEG和HRV为表征中枢和自主神经系统中的应激相关变化提供了互补信息。传统方法通常将EEG和HRV的生理学特征与支持向量机等分类器相结合，但这类方法会扁平化输入，模糊EEG在频带、电极位置和时间窗上的组织结构，且难以建模非线性时序依赖和模态间交互。为应对这些局限，本研究提出一种基于脑心协作的跨模态注意力网络BH-CMA，用于应激认知状态解码。BH-CMA以同步EEG和HRV作为双模态输入。EEG分支建模频率、时间和头皮空间关系，HRV分支则建模时序自主神经动态。随后，EEG表征作为查询（query），通过多头跨模态时序注意力从同步HRV中检索互补信息。线性保持残差分类器保留原始生理输入中的稳定判别信息，同时允许深度通路学习非线性修正。该模型在急性应激诱导和认知负荷定义的四种状态下，采用留一被试交叉验证进行评测。本研究的主要贡献如下：（1）研究人员开发了模态特异性编码器，在保留EEG的频率、时序和头皮空间组织的同时，对HRV的时序自主神经动态进行建模；（2）研究人员设计了EEG引导的跨模态时序注意力，将互补的HRV信息与EEG表征相整合，并设计了线性保持残差分类器，结合稳定的线性判别与非线性修正；（3）研究人员在跨被试设置下对四种应激认知状态评估了BH-CMA，并分析了其在类别、被试、急性应激条件和认知负荷水平上的性能。

论文解读文章

研究背景与问题

随着工作强度和认知需求的持续增加，心理应激已成为心血管疾病、情感障碍和认知功能下降的重要风险因素。持续的应激还会损害个体对环境需求的响应能力，导致认知表现和适应性降低。因此，客观、持续地评估心理应激对于心理健康监测、自适应人机交互和智能健康管理至关重要。生理信号能够提供关于皮层和自主神经响应的可测量信息，因而被广泛用于应激识别。其中，脑电图（EEG）可以捕捉与认知加工和应激反应相关的皮层活动，而源自心电图（ECG）的心率变异性（HRV）则反映自主神经调节，对应激期间的生理变化高度敏感。两者为表征中枢和自主神经系统中的应激相关变化提供了互补信息。

然而，现有研究存在若干不足。传统的应激识别方法通常将EEG和HRV的生理学有意义特征与支持向量机、逻辑回归或随机森林等分类器相结合。这些方法虽能提供紧凑且可解释的生理表征，但常规分类器通常在分类前将输入扁平化，这一操作模糊了EEG在频带、电极位置和连续时间窗口上的信息组织方式，且其建模非线性时序依赖以及EEG与HRV之间交互作用的能力有限。虽然深度学习和多模态融合方法已被探索，但许多现有方法在模态表征被大幅压缩或扁平化之后才进行跨模态交互，这可能移除了EEG在交互前的频率、时序和头皮空间组织。此外，EEG和HRV具有不同的生理结构——EEG包含明确的频率和头皮空间组织，而HRV通过时序自主神经动态自然呈现——对两者应用相同的编码策略可能引入非生理意义的结构。跨被试识别还受到个体变异性的强烈影响，而完全非线性的模型可能忽略生理输入中已经存在的稳定判别信息。

研究方法概述

为解决上述局限，研究人员提出了脑心协作跨模态注意力网络BH-CMA。该方法包含两个主要技术模块：一是模态特异性编码器，分别针对EEG和HRV设计。EEG编码器通过保留特征类型（相对频带功率RBP和微分熵DE）、七个频带（delta、theta、alpha、beta1、beta2、beta3、gamma）、五个时间窗口和59个电极通道的四维张量结构，并使用三维卷积（Conv3D）沿特征类型-频率轴和时序轴提取局部模式，再通过头皮网格上的二维卷积（Conv2D）进行空间编码。HRV编码器则将八个HRV指标视为时序token，通过一维卷积（Conv1D）和Transformer编码器建模时序自主神经动态。二是EEG引导的跨模态时序注意力机制，以EEG编码后的表征作为查询（Query），从HRV的时序token中通过多头交叉注意力检索互补信息，实现HRV信息根据当前EEG表征的动态整合。最终，线性保持残差分类器在保留原始生理输入经时间平均后的线性logits基础上，为每个类别添加独立的门控非线性校正，使深度通路能够精炼而非取代已有的决策面。实验数据来源于公开数据集，包含由急性应激诱导和认知负荷定义的四种应激认知状态。

研究结果

2.1 总体架构

BH-CMA接受同步EEG和HRV作为双模态输入，EEG输入维度为B×T×C×M×F（B为批次大小，T=5为时间窗口数，C=59为电极数，M=2为特征类型数，F=7为频带数），HRV输入维度为B×T×D_H（D_H=8为HRV指标数）。模型实现从输入到四类输出的映射，并通过Softmax获得概率预测。

2.2 模态特异性编码器

EEG编码器首先通过Conv3D沿特征类型-频率轴和时序轴提取局部模式，保留EEG的多维组织结构，随后通过头皮网格上的Conv2D进行空间编码，生成空间编码后的EEG表征。HRV编码器将每个时间窗口的8个HRV指标视为token序列，通过Conv1D和Transformer编码器建模时序依赖，生成HRV token序列表征。

2.3 EEG引导的跨模态时序注意力

该模块利用EEG空间编码后的表征作为Query，与HRV token序列的Key和Value进行多头交叉注意力计算。通过这种方式，模型能够根据当前的EEG表征动态地从HRV中检索和整合最相关的时序信息，实现脑心信息的协同融合。

2.4 线性保持残差分类器

分类器包含两条路径：一条是直接对原始EEG和HRV输入进行时间平均后计算的线性logits，另一条是经过深度多模态通路提取的高层表征。最终为每个类别独立学习一个门控权重，将线性logits与深度通路的非线性校正相结合，使得深度通路能够在不丢失已有稳定判别信息的前提下进行精细调整。

2.5 训练策略

模型采用交叉熵损失函数进行端到端训练，并在留一被试交叉验证设置下评估性能。

讨论与结论

讨论部分指出，BH-CMA通过模态特异性编码保留了各模态的生理组织结构，避免了统一编码带来的信息损失。EEG引导的跨模态注意力机制能够根据EEG表征动态选择HRV中的相关信息，优于简单的特征拼接或平均融合。线性保持残差分类器的设计确保了深度通路不会破坏原本存在于特征空间中的稳定线性判别边界，从而在跨被试场景下表现出更好的泛化性。实验结果表明，该模型在四种应激认知状态的分类任务中取得了优越性能，并且在不同类别、不同被试、不同急性应激条件和不同认知负荷水平下均保持了稳定的表现。

研究结论：本研究提出的BH-CMA网络通过脑心协作的跨模态注意力机制，有效整合了EEG和HRV的互补信息，在跨被试的应激认知状态解码中展现出优异性能。该工作为心理应激的客观评估提供了新的技术方案，并为理解中枢与自主神经系统在应激下的协同响应机制提供了计算框架。