《Engineering Applications of Artificial Intelligence》：Dual-bone dynamic time–frequency masking transformer-based framework for emotion recognition from functional near-infrared spectroscopy signals
编辑推荐：
•DTFMformer通过深度与显式交互耦合时频动态。•双域自适应掩蔽策略提升了神经解码的鲁棒性。•具有交叉注意力的Transformer解码器捕获长程域依赖关系。•DTFMformer在NEMO、PP和MF数据集上分别达到了86.17%、87.50%和80.60%的准确率。
- •
DTFMformer通过深度与显式交互耦合时频动态。
- •
双域自适应掩蔽策略提升了神经解码的鲁棒性。
- •
具有交叉注意力的Transformer解码器捕获长程域依赖关系。
- •
DTFMformer在NEMO、PP和MF数据集上分别达到了86.17%、87.50%和80.60%的准确率。
引言
情感识别对于人类和智能系统都至关重要（Pillalamarri和Shanmugam，2025）。基于问卷、面部表情（Xiang等人，2024，Kumar和Misra，2024，Kumar和Misra，2025）和语音（Zhang等人，2019）的传统方法容易受到主观性和环境干扰的影响。作为替代方案，非侵入式脑成像技术能够捕捉情感诱发过程中的神经活动（Si等人，2024a），为情感状态提供更客观的评估，并为未来情感脑机接口的研究提供潜在见解（Houssein等人，2022）。功能性近红外光谱（fNIRS）通过测量皮层血红蛋白变化来表征与情感相关的神经活动（Si等人，2024b），并具备便携性、空间分辨率和抗运动性方面的优势（Chu等人，2025b）。然而，非线性相互作用、时间非平稳性、频率相关的生理波动以及个体间差异显著，使得基于fNIRS的可靠情感解码面临挑战（Qiu等人，2026）。
为克服这些局限性，现有的非线性信号处理方法在经典范式与当代深度学习之间建立了理论桥梁。早期研究主要依赖手工特征提取后配合传统分类器，如支持向量机（SVM）。概率学习方法，如高斯过程回归（GPR）（Aigrain和Foreman-Mackey，2023，Jin和Xu，2025），以及集成学习方法（Xu，2020，Xu和Zhang，2021）在捕捉复杂非线性关系和提升鲁棒性方面展现了强大的能力。同时，基于小波时频分析的方法（Xu，2018，Nfissi等人，2025，Kumar和Bansal，2022）已被广泛探索用于提取多尺度生理模式。随着计算神经科学的进展，更强大的表征学习方法被引入。深度学习架构，包括CNN、RNN和Transformer（Wang等人，2023，Huan Wang等人，2025，Nie等人，2022），能够自动学习层次化表征，而基于图的方法（Hou等人，2022，Yi等人，2025）则对分布式脑区之间的非欧几里得依赖关系进行建模。最近，多分支架构，如双分支联合网络（DBJNet）（Si等人，2023）和多尺度时频融合模型（MsTFFM）（Yunxiang Ma等人，2025），进一步探索了互补时序与频谱信息的融合。这些高质量的研究成果充分展示了迁移学习、掩蔽/复杂分类中的深度学习以及高效频域变换的巨大潜力（Kumar和Bansal，2023，Kumar和Misra，2024，Hazmoune和Bougamouza，2024）。
尽管取得了巨大成功，前述表征学习范式存在两个被忽视的不足。第一，这些方法依赖于固定的表征策略，缺乏动态自适应性，限制了其处理非平稳时间变化的能力。典型的情感诱发血流动力学响应本身表现出逐试次变异和慢变瞬态。在没有生理考量的情况下直接掩蔽高波动片段，可能会无意中破坏具有信息量情感模式。虽然先进的鲁棒表征和自适应机制已在其他领域得到成功探索，如用于鲁棒语音情感识别的胶囊增强神经网络（CENN）（Zhang等人，2024）、时序感知建模（Peng等人，2025）以及动态事件触发控制机制（Chu等人，2025a），但fNIRS框架在很大程度上缺乏这种细粒度的自适应能力。这些观察促使我们开发一种由生理先验引导的动态、样本自适应掩蔽策略，在调节不稳定时间模式的同时保留信息丰富的神经血管响应。
第二个挑战在于捕获全局长程依赖关系和耦合时频动态的能力有限。现有的多分支方法通常独立建模时序和频域表征，或通过单层简单特征拼接进行整合。简单拼接假设异构表征可以直接组合，而忽略了时间波动与频谱特征之间的动态交互和相互约束，导致分布估计无效且判别力次优。受近期多尺度协同融合网络的进展启发（Zhang等人，2019），我们旨在建立时频域之间深度、结构感知的交互，用定向交叉注意力机制替代简单拼接，以捕获复杂的全局神经血管状态。
为克服这些挑战，我们提出了一种双骨动态时频掩蔽Transformer（DTFMformer）框架，用于基于fNIRS信号的鲁棒情感识别。我们设计了一个动态时序掩蔽模块（DTMM），能够自适应地识别时间不稳定的高变异性模式并执行掩蔽表征学习；以及一个动态频率插值与掩蔽模块（DFIMM），整合血流动力学先验以增强判别性频谱特征。这些双域特征进一步通过统一的Transformer解码器（UTD）进行表征，以捕获全局依赖关系。最后，两条分支通过多头交叉注意力（MHCA）机制进行融合，以建模时序动态与频谱结构之间的交互。
综上所述，我们的贡献如下：（1）我们提出了DTFMformer，一种用于fNIRS情感识别的新型双骨动态时频掩蔽Transformer，显式建模耦合的时频神经血管动态。（2）我们设计了由时间变异性与血流动力学先验引导的自适应掩蔽模块，执行鲁棒的掩蔽表征学习，在保留信息丰富的神经生理特征的同时减少对不稳定局部模式的过度依赖。（3）我们开发了一个带有交叉注意力机制的统一Transformer解码器，用于捕获长程依赖关系并有效整合互补的时序和频谱表征。（4）在公开数据集和两个自采集数据集上的大量实验证明了DTFMformer的优越性，全面的消融研究验证了各组件的有效性。
章节摘要
情感识别中的表征学习与融合
fNIRS信号中与情感相关的血流动力学响应在时域和频域表现出截然不同但内在耦合的模式。时域特征捕捉信号的瞬时变化与动态特性，而频域特征则揭示潜在的周期性与生理波动。早期研究主要关注时域的序列建模。例如，卷积神经网络-长短期记忆网络等循环架构……
方法
与情感相关的fNIRS信号表现出耦合的时频特征，但其非平稳波动和个体间血流动力学变异性为鲁棒表征学习带来了挑战。为解决这些挑战，我们提出了一种基于DTFMformer的框架，旨在通过层次化架构整合时序动态与频谱结构。如图1所示，DTFMformer由四个主要组件构成：时序掩蔽分支（TMB）、……
实验范式
我们使用一个公开数据集和两个独立的自采集数据集来评估所提模型的有效性和泛化性。公开数据集来源于NEMO数据库（Spapé等人，2023），包括31名参与者（18名男性，12名女性，1名非二元性别；年龄21–52岁， 31.7， 7.5）的情感感知任务fNIRS记录。如图2(a)所示，该任务使用国际情感图片系统（IAPS）的图片来……
使用POMS量表进行情感状态标注与行为验证
POMS量表用于评估受试者在七个维度上的情感反应，包括紧张、愤怒、疲劳、抑郁、精力、恐慌和自尊。参与者在每种姿势条件后立即完成POMS评估。紧张、愤怒、疲劳、抑郁和恐慌为负向情感维度，精力和自尊为正向情感维度。根据POMS量表的行为结果，三种不同的情感状态被可靠地……
讨论与结论
在本研究中，我们解决了基于fNIRS的情感识别面临的挑战，包括非平稳时间变化、受试者间血流动力学变异性以及复杂的时频耦合。为克服这些局限，我们引入了DTFMformer，一个双骨动态时频掩蔽Transformer框架。与简单地拼接时序和频谱特征的传统多分支方法不同，所提出的双骨架构对它们的互补性……
CRediT作者贡献声明
Chu Mengxiang： 撰写 – 审阅与编辑，撰写 – 初稿，可视化，方法论，形式分析。Cheng Xingxing： 撰写 – 审阅与编辑，撰写 – 初稿，可视化，方法论，形式分析。Wang Xichen： 撰写 – 审阅与编辑，撰写 – 初稿，可视化，形式分析，数据管理。He Jialiang： 撰写 – 审阅与编辑，撰写 – 初稿，可视化，方法论，形式分析，数据管理。Du Siyi： 可视化，……
利益冲突声明
作者声明不存在可能影响本文所报道工作的已知竞争性经济利益或个人关系。
致谢
作者感谢匿名审稿人提供的宝贵建议。本研究已获得陕西师范大学学术委员会批准（编号：202409023），用于力量姿势数据集，以及西北大学医学伦理委员会批准（编号：240704075），用于正念数据集。所有程序均按照《赫尔辛基宣言》进行。
本研究由以下项目资助：国家自然科学基金（12571457，62506298）；科技……
Chu Mengxiang | Cheng Xingxing | Wang Xichen | He Jialiang | Du Siyi | Li Xiangyu | Li Xiaohan | An Yuetong | Li Xiao | He Xiaowei | Yu Jingjing | Guo Hongbo
