编辑推荐：
为解决 EEG 和 fNIRS 模态特征融合效果不佳等问题，研究人员开展基于 EEG 和 fNIRS 的注意力状态分类研究。提出 EFDFNet 框架，结果显示其提升了分类准确率。该研究有望为 EEG-fNIRS 多模态融合设新基线。
在探索人类认知功能的旅程中，注意力状态的精准分类至关重要。它就像一把钥匙，能解锁学习效率提升、注意力训练康复辅助以及飞行员认知过载预警等多个重要领域的大门。目前，测量注意力状态的方法主要分为主观和客观两类。主观测量依赖问卷和心理测试，如同雾里看花，无法提供实时、客观又准确的结果。而客观测量凭借对生理信号的解读，成为更可靠的途径，其中脑电图（EEG）和功能近红外光谱技术（fNIRS）备受瞩目。
EEG 以其无创、便携、低成本和使用方便等优势，广泛应用于注意力及其他认知过程的研究。过往研究发现，P300 波的振幅会随工作量增加而减小，α 波段功率降低、θ 波段功率升高也能反映工作量的变化，这些都成为基于 EEG 信号分类注意力状态的重要线索。不过，EEG 也有 “短板”，它容易受到运动伪影和电噪声的干扰。fNIRS 则有着出色的空间分辨率，能提供光学数据，还能抵抗上述干扰，可它的时间分辨率较差，血流动力学响应存在延迟，这给实时脑机接口（BCI）应用带来了挑战。
尽管多模态算法在 BCI 研究中有所探索，但 EEG 和 fNIRS 的模态特征融合效果总是差强人意。现有的融合方法，要么局限于手动提取和拼接特征，无法充分挖掘两者间的相互作用；要么在深度学习的应用中，存在计算复杂、难以处理模态间动态交互等问题，导致综合多模态分类研究进展缓慢。在这样的背景下，为了突破困境，国内研究人员踏上了探索之旅，他们的研究成果发表在《Biomedical Signal Processing and Control》上。
研究人员提出了一种全新的 EEG-fNIRS 多模态深度融合框架（EFDFNet），还开发了用于 EEG 模态注意力状态分类的网络 EMCNet。为开展研究，研究人员在方法上进行了精心设计。EFDFNet 由 EEG 编码结构（EMCNet）、fNIRS 编码结构（PfNIRSNet）和基于特征解缠的深度融合模块（DFBlock）组成。其中，EMCNet 有机整合了卷积神经网络（CNN）、Mamba 和 Transformer。先通过 CNN 提取 EEG 的时空特征，再利用并行 Mamba 结构增强特征感受野，Mamba 中的门控机制能有效去除冗余信息，之后借助交叉注意力机制进行深度融合，进一步强化对全局时间依赖关系的学习。针对 fNIRS 在深度学习中容易过拟合的问题，研究人员基于 fNIRSNet 提出了空间特征保留策略，在卷积过程中维持 fNIRS 的通道顺序结构。研究使用了心算（MA）、词语生成（WG）和运动想象（MI）三个数据集进行实验，这些数据集为验证模型性能提供了关键支持。
分类性能
研究人员在 MA、WG 和 MI 数据集上对 EFDFNet 的性能进行评估，并与其他先进算法对比。结果显示，在仅使用 EEG 模态时，EMCNet 在 MA、WG 和 MI 数据集上的分类准确率分别达到 86.11%、79.47% 和 75.77%。经过多模态融合后，EFDFNet 将这些准确率分别提升至 87.31%、80.90% 和 85.61%。从数据中还能看出，MA 和 WG 数据集的主导模态是 EEG，而 MI 数据集的主导模态是 fNIRS。在这三个数据集上，融合方法使性能分别提升了 1.2%、1.43%。这一结果充分表明，多模态融合能有效提升分类效果，EFDFNet 在注意力状态分类任务中展现出了卓越的性能。
研究结论与讨论
EFDFNet 成功地利用深度融合策略，将 EEG 和 fNIRS 的特征结合起来，有效解决了以往拼接方法中存在的计算冗余和性能局限问题。其中的 EMCNet 将 Transformer 和 Mamba 有机融合，有望成为注意力状态识别领域的新基线。在空间特征保留策略的引导下，fNIRSNet 也提升了分类性能。这项研究为 EEG-fNIRS 多模态融合研究开辟了新道路，为后续相关领域的研究提供了重要参考，在认知科学、康复医学以及 BCI 技术应用等多个方面都有着广阔的应用前景，为推动生命科学和健康医学领域的发展贡献了重要力量。
