基于多视角感知扩散模型的脑电图驱动三维物体解码技术研究

针对脑电图(EEG)信号难以解码三维(3D)视觉对象的关键问题，研究人员创新性地提出EEG-to-3D框架，通过多任务优化策略提取隐含3D感知的EEG编码，结合神经辐射场(NeRF)与多视角感知扩散模型，首次实现从2D视觉刺激诱发的EEG信号中重建高保真3D物体，为神经科学与计算机视觉的跨学科融合开辟新途径。

　　

在人工智能与神经科学迅猛发展的今天，人类视觉系统对三维世界的理解能力仍远超机器系统。尽管已有研究证实可通过脑电图(EEG)信号重建二维(2D)视觉刺激图像，但如何从2D刺激诱发的EEG中解码三维物体，始终是横亘在神经解码领域的巨大挑战。这一挑战的核心在于：大脑虽能通过2D图像感知3D形态（如遮挡关系、表面深度等），但EEG信号中隐含的3D表征既需保留语义信息，又需包含视角一致性等几何特征。

中国研究人员在《Engineering Applications of Artificial Intelligence》发表的这项研究，开创性地提出EEG-to-3D框架。该工作首次证明：通过多任务优化策略提取的EEG编码，能够驱动多视角感知扩散模型优化神经辐射场(NeRF)参数，从而生成与真实物体高度相似的3D重建结果。这一突破不仅验证了EEG信号隐含3D感知能力的神经科学假说，更搭建起神经科学与计算机视觉的跨学科桥梁。

关键技术方法包含：1) 采用EEG-ImageNet和Things-EEG两个公开数据集；2) 两阶段框架设计——第一阶段通过EEG信号重建与语义分类的多任务优化提取潜在编码，第二阶段利用条件扩散模型生成多视角一致的NeRF表征；3) 引入128通道actiCAP 128Ch²采集的EEG信号作为输入。

神经科学分析
通过综述Sinha等学者的经典实验，证实人类视觉系统能从2D刺激中提取3D形状、遮挡关系等特征，这些神经活动可被EEG捕获，为解码提供生物学依据。

方法概述
两阶段框架中，多任务优化策略同时学习EEG信号的局部时空特征（通过掩码重建）和全局语义特征（通过分类任务），而扩散模型则通过逐步去噪过程约束NeRF的多视角生成质量。

实验结果
在EEG-ImageNet数据集上，该方法生成的3D物体在结构相似性(SSIM)和峰值信噪比(PSNR)指标上显著优于基线模型，且多视角投影保持语义连贯性，证实EEG编码可有效传递3D几何信息。

结论与意义
该研究首次实现从2D视觉刺激诱发的EEG信号中解码3D物体，其创新性体现在：1) 多任务优化策略突破单一语义解码局限；2) 扩散模型与NeRF的结合解决视角一致性问题；3) 为脑机接口与三维重建的融合提供新范式。研究获得国家重点研发计划(2017YFE0118200)和国家自然科学基金(62471437)支持，开源代码已发布在GitHub平台。