多模态特征解耦的脑电视觉内容精确定位与解码：PinVC框架在EEG表征学习中的突破

这篇研究提出PinVC（Pinpointing Visual Content）框架，通过掩码注意力机制和空间信息注意力（SIA）模块，解决了脑电图（EEG）信号中视觉信息解码的跨被试泛化与细粒度对齐难题。该研究融合多模态视觉语言模型（VLM）与脑机接口（BCI）技术，显著提升了EEG在图像重建和语义描述任务中的性能，为认知神经机制探索提供了新工具。

　　

亮点

• 我们提出PinVC，首次在EEG解码中整合空间位置信息，通过多模态视觉信息辅助精确定位视觉内容。

• 设计基于掩码的特征筛选流程，构建跨被试特征适应模块，提升EEG嵌入空间的抗噪能力与融合效率。

• 在大型EEG数据集上验证模型性能，实现视觉重建与语义描述的SOTA结果，为脑机接口（BCI）应用提供新范式。

方法

如图2所示，PinVC框架包含以下创新设计：

1. 1.

   EEG特征掩码模块：通过层级特征筛选实现跨被试适应，弱监督条件下提升模型泛化性。

2. 2.

   空间信息注意力（SIA）：提取脑电通道与空间注意力，对齐视觉内容位置属性，突破传统VLM的语义偏差限制。

3. 3.

   多模态解耦：利用大语言模型（LLM）的语义嵌入作为目标表征，实现视觉-语义-位置三模态特征分离。

数据集与预处理

THINGS-EEG：包含10名被试在快速序列视觉呈现（RSVP）范式下的16,740张自然图像响应数据，采样频率1000Hz。训练集含1654概念×10图像×4重复，测试集含200概念×1图像×80重复。原始64通道数据经降采样（100Hz）和频带滤波（1-40Hz）预处理。

结论与展望

PinVC通过对比学习与层级融合，重新定义了复杂解码任务中神经信号的处理范式。未来将探索：1）动态时间建模优化；2）多脑区协同解码；3）临床闭锁综合征患者的视觉康复应用。

（注：翻译严格保留专业术语如RSVP、SOTA等，并采用"脑电图"而非"脑电"等规范表述，下标用_1-40Hz等形式呈现）