基于多模态深度学习框架的嗅觉神经电生理信号解码：TACAF模型在EEG与呼吸信号融合中的应用

推荐：本研究针对传统嗅觉EEG分析中时间窗划分经验性强、多模态融合不足的问题，开发了Token Alignment and Cross-Attention Fusion（TACAF）框架，通过小波特征选择与呼吸信号同步融合，显著提升愉悦/厌恶气味的分类性能（准确率提升12.3%），为食品开发与医疗应用提供新工具。

　　

人类嗅觉系统与记忆、情绪密切相关，但传统研究方法面临两大瓶颈：一是脑电图（EEG）分析依赖经验性时间窗划分，可能掩盖细微动态特征；二是忽视呼吸节律对嗅觉感知的调控作用。尽管已有研究利用功率谱密度（PSD）或差分熵（DE）进行气味分类，但这些方法需要人工特征提取，且单模态EEG难以全面反映嗅觉的时空特性。

为解决这些问题，新加坡的研究团队开发了Token Alignment and Cross-Attention Fusion（TACAF）模型。该研究招募20名受试者（年龄31.95±8.97岁），采集EEG与呼吸信号，通过小波变换自适应划分时间窗，并创新性地引入时间令牌语义对齐（TTSA）模块实现多模态同步。实验表明，TACAF在留一交叉验证（LOSO）中准确率达89.7%，较传统方法提升显著。相关成果发表于《Neural Networks》。

关键技术

1. 数据采集：Wilmar International Pte Ltd提供的20例非吸烟者EEG+呼吸信号；
2. 特征工程：小波变换提取时频特征，替代经验性时间窗；
3. 模型架构：空间学习模块捕获EEG拓扑特征，多头自注意力（MHSA）建模时间动态；
4. 多模态融合：TTSA模块对齐呼吸与EEG的时序标记（Token）；
5. 可视化：显著性映射定位关键脑区（如初级嗅觉皮层）。

研究结果

1. 方法对比：TACAF在Subject-Dependent（SD）和LOSO实验中均超越EEGNet、3DCNN-BiLSTM等基线模型，尤其在长时气味暴露场景下优势显著；
2. 嗅觉适应：持续刺激导致分类性能下降12.5%，证实神经适应性现象；
3. 呼吸相位分析：吸气阶段EEG特征区分度更高（p<0.01），验证呼吸-嗅觉耦合机制；
4. 模态贡献：消融实验显示呼吸信号使准确率提升7.2%；
5. 可解释性：额叶与边缘系统区域在显著性映射中权重最高，符合嗅觉情绪编码理论。

结论与意义
该研究首次系统整合呼吸信号与EEG时空特征，突破传统单模态分析的局限。TACAF框架的创新性体现在：

1. 方法学层面：小波变换与TTSA模块为神经信号分析提供自适应时序对齐范式；
2. 应用价值：为食品风味评价、情绪障碍诊疗（如抑郁症嗅觉功能障碍）提供量化工具；
3. 理论贡献：通过呼吸-EEG耦合证据，深化了对嗅觉时空编码（spatio-temporal coding）机制的理解。未来可扩展至跨模态感知研究，如嗅觉-视觉联合刺激场景。