《Brain Sciences》：Align and Fuse: A Transformer-Based Framework for EEG-Augmented Visual Recognition
编辑推荐：
背景：将人类神经信号与计算视觉系统相结合，为更鲁棒的视觉识别提供了一条有前景的路径，但在统一系统中同时区分粗粒度和细粒度类别的混合粒度识别仍然具有挑战性，原因在于脑电图（EEG）与视觉数据的异构特征空间。方法：研究人员提出“Align and Fuse”，一个
背景：将人类神经信号与计算视觉系统相结合，为更鲁棒的视觉识别提供了一条有前景的路径，但在统一系统中同时区分粗粒度和细粒度类别的混合粒度识别仍然具有挑战性，原因在于脑电图（EEG）与视觉数据的异构特征空间。方法：研究人员提出“Align and Fuse”，一个两阶段基于Transformer的框架。阶段1使用带有硬负样本加权（Hard Negative Weighting）的难度感知多模态监督对比损失构建共享语义空间，明确针对易混淆的类别对。阶段2采用带有共同注意力（co-attention）的多模态Transformer融合对齐后的特征进行分类。结果：在80类EEG-ImageNet基准上，该框架在时间分离控制协议下达到了91.12%的Top-1准确率，优于对应的仅视觉（89.08%）和标准Transformer（89.95%）基线。在原始分层随机分割下达到92.56%的Top-1准确率；在40类EEGCVPR数据集上准确率达到95.82%。跨被试实验在四个未见被试上获得平均90.92%的Top-1准确率，且Grad-CAM分析表明对齐后的EEG信号将模型注意力转向语义相关区域。结论：将难度感知对齐与解耦的多模态融合相结合，在评估协议下通过利用互补的刺激相关信息支持EEG增强识别。由于推理时需要EEG特征，该框架被定位为人机协同（human-in-the-loop）的EEG增强识别系统，而非独立的视觉模型。
**论文解读文章**
**研究背景、问题与意义**
当前计算机视觉系统在标准物体识别任务上已取得显著进展，但面对混合粒度识别（mixed-granularity recognition），即统一模型需同时区分广泛不同的粗粒度类别与高度相似的细粒度类别时，仍面临困难。传统深度模型往往难以捕捉细微的、类别界定的细节，而混合粒度挑战进一步要求更高的灵活性和鲁棒性。与此同时，人类的视觉系统能够无缝整合低层感觉输入与高层语义感知，即使在模糊或细粒度相似条件下也能准确识别。这种差异启示研究人员：非侵入性神经信号，特别是脑电图（EEG），或许能为计算视觉模型提供互补的刺激相关信息，帮助解决视觉歧义。然而，现有EEG-图像对齐方法通常优化全局跨模态匹配，未明确强调易混淆的细粒度类别；标准的监督对比学习也未对难负样本进行显式重新加权；此外，若多模态融合训练未保持对齐后的几何结构，对齐收益可能被不稳定的跨模态优化削弱。为克服这些局限，本研究提出“Align and Fuse”框架，旨在通过难度感知对齐与深度融合同时提升性能。该论文发表在《Brain Sciences》。
**主要关键技术方法**
本研究采用两阶段框架。阶段1：使用预训练的ResNet-101（冻结骨干网络）作为视觉编码器，EEGConformer作为EEG编码器，通过投影层将特征映射到128维共享空间，并使用带硬负样本加权（Hard Negative Weighting）的多模态监督对比损失进行对齐训练，其中温度系数τ=0.07，批大小64，Adam优化器。阶段2：冻结两阶段编码器，采用多模态Transformer（L=4块，8注意力头）进行融合，利用共同注意力机制建模跨模态交互，最终通过两层MLP分类头进行预测，损失函数为带标签平滑的交叉熵。数据来源：EEG-ImageNet数据集（16名被试，80类，63580对EEG-图像对）和EEGCVPR数据集（6名参与者，40类，11964对保留EEG-图像对）。图像增强包括随机裁剪、翻转、颜色抖动，EEG信号添加高斯噪声。训练基于PyTorch 2.1.0和NVIDIA RTX 3090 GPU。
**研究结果**
**4.1 主要结果与分析**
在EEG-ImageNet原始分层随机分割下，完整框架达到92.56% Top-1准确率，优于仅视觉基线（89.17%）和标准Transformer基线（91.24%）。在EEGCVPR上，框架达到95.82% Top-1准确率，优于最佳仅视觉模型（Inception-v3，92.95%）和标准Transformer（95.10%）。跨被试实验（训练集为被试1-12，测试集为被试13-16）显示，框架平均准确率90.92%，高于仅视觉（89.17%）和标准Transformer（90.02%），表明无需被试特定校准即可推广。
**4.2 泄漏控制与EEG配对控制分析**
在时间分离分割下（按类别内呈现顺序划分），框架仍保持积极增益：EEG-ImageNet上Top-1准确率91.12%，高于仅视觉（89.08%）和标准Transformer（89.95%）。同类别错配EEG控制（用同类别另一EEG试次替代正确配对）将准确率从91.12%降至90.25%，表明约57%的增益来自类别级而非严格试次级信息；不同类别打乱EEG控制性能降至87.65%，低于仅视觉基线，证明类别不一致的EEG会引入冲突信息。
**4.3 统计显著性分析**
对关键比较进行配对t检验，经Holm–Bonferroni校正后，所有五个计划比较均显著，平均差异范围为0.71至2.04个百分点，配对样本Cohen's d效应量为中等至大（0.49至1.63）。
**4.4 细粒度类别性能分析**
在乐器子集上，框架对细粒度类别（如排箫、长笛、大提琴）的准确率显著提升，优于Cudlenco等人融合方法和仅视觉基线。t-SNE可视化显示框架有效解开了视觉嵌入中的细粒度簇，混合类别间混淆矩阵中对角线外误分类大幅减少（如排箫与长笛误分类从9%降至3%）。
**4.5 消融研究**
逐步添加多模态融合、CLIP风格对比对齐、监督对比学习（SCL）及硬负样本加权（HNW），Top-1准确率从仅视觉的89.17%依次提升至91.24%、91.52%、91.85%和92.56%，说明HNW带来额外0.71%提升。超参数敏感性分析表明HNW在评估范围内稳定有效。
**4.6 通用性与鲁棒性分析**
更换视觉骨干（GoogLeNet、Inception-v3、DenseNet-121）均获得一致性提升（+2.85%至+3.79%）；更换EEG编码器（双向LSTM、EEGNet）同样带来改进（如EEGNet+2.15%），表明框架不依赖特定编码器架构。
**4.7 视觉分析**
Grad-CAM可视化显示，框架的注意力图更集中于语义相关区域（如鲨鱼身体而非背景水），而仅视觉基线则激活环境纹理。
**4.8 EEG贡献的时间分析**
通过遮蔽不同时间窗口（40-120ms、120-200ms、200-300ms、300-440ms），遮蔽200-300ms窗口导致最大准确率下降（1.30%），表明中潜伏期EEG响应贡献更强。
**讨论与结论**
讨论部分指出：本研究系统地解决了混合粒度识别中两个关键瓶颈——学习细粒度类别判别表征与实现深度多模态融合。所提出的硬负样本加权机制通过批次内成对相似度计算，计算成本主要由批大小控制，且超参数跨数据集固定，避免额外搜索。然而，两阶段设计部分缓解了神经噪声转移风险，但点对点对齐并非唯一方案，未来可纳入拓扑保持约束。EEG贡献的时间分析为探索性结果，而非确定性神经机制证据。局限性包括：被试数量有限、数据集存在块设计偏差、实时部署需同步采集等问题。尽管如此，框架为未来人机协同场景（如BCI辅助视觉检查）提供了方向。
研究结论翻译如下：本研究提出了“Align and Fuse”，一个两阶段基于Transformer的框架，有效整合EEG信号与视觉表征用于混合粒度识别。通过结合难度感知多模态对比学习与解耦的多模态Transformer融合阶段，该框架在时间分离的EEG-ImageNet控制协议下达到91.12% Top-1准确率，在原始分层随机分割下达到92.56%；在40类EEGCVPR数据集上达到95.82%。跨被试实验和Grad-CAM分析为框架的鲁棒性及其将视觉注意力转向语义相关区域的能力提供了额外证据。结合额外的时间分离和错配EEG控制，这些结果突出了人机协同EEG增强识别的潜力，未来研究应在更随机化、更自然的EEG-图像协议下进一步验证该框架。
