基于多视角脑拓扑对比自学习的无监督神经解码与脑连接推断框架

本文创新性地提出了一种基于多视角对比自监督学习（MVCSL）的无监督脑拓扑推断框架（BTI-MVCSL），突破传统图神经网络（GNN）对人工定义脑拓扑的依赖。该框架通过“指导者-学习者”双视角拓扑生成与一致性优化机制，实现了功能磁共振成像（fMRI）数据中脑区（ROIs）动态连接关系的自动挖掘，在多个公共数据集上显著提升了解码性能，为脑机接口（BCI）和脑疾病研究提供了可解释的无监督学习新范式。

　　

Highlight

突破性采用无监督范式实现动态脑拓扑推断，首次将多视角对比学习机制引入脑连接分析领域。

Introduction

神经解码是指将大脑活动或神经相互作用转化为外部设备可理解信号的过程，其核心在于解析脑信号并揭示这些信号如何表征外部世界信息[1]。开展神经解码对于人工视觉、脑机接口（BCI）和虚拟现实设备等技术发展至关重要，并将帮助科学家更全面地理解大脑工作机制。凭借功能磁共振成像（fMRI）的非侵入性和高时空分辨率特性，它已成为探索脑功能和解码神经活动的强大工具[2]。深度学习的快速发展极大推动了基于fMRI的神经解码性能，并为捕捉大脑中复杂的拓扑组织模式提供了新视角和工具。

图神经网络（GNNs）作为强大的深度图表示挖掘工具，在生物学、化学和推荐系统等领域日益受到关注[3][4]。GNN的有效性与两个重要输入密切相关：图拓扑和节点特征。对于脑数据，感兴趣脑区（ROIs）的相互作用可视为图拓扑，而ROIs中的信息变化可抽象为节点特征。GNN符合大脑拓扑的非结构化特性，并已成功应用于神经解码[5][6]。基于脑拓扑，GNN通过消息传递神经网络（MPNN）聚合相邻ROIs的特征，从而提炼全局脑表征。现有基于GNN的脑解码方法通常基于先验知识预定义脑拓扑，并假设预定义拓扑足够可靠。然而当大脑执行任务时，并非单个神经元独立工作，而是多个神经元形成功能组协同工作。这些神经元群通过复杂连接网络相互作用形成特定神经活动模式。大脑会快速重组该复杂网络中ROIs的功能连接强度和信息通路以整合各类信息。相比之下，严重依赖下游解码任务的预定义拓扑无法捕捉这种快速重组，导致脑功能模拟不准确，限制了解码性能和泛化能力[7]。

为解决上述问题，图拓扑学习（GTL）致力于通过GNN推断和更新脑拓扑，并已成为有前景的解决方案[8]。具体而言，GTL结合下游解码任务（如疾病评估）同时优化GNN参数和脑拓扑。现有GTL方法主要包括概率驱动方法[7]、参数驱动方法[9][10]和相似性驱动方法[8][11]，为拟合不同ROIs间复杂交互铺平了道路。然而这些GTL方法仅专注于监督解码场景，高度依赖大量带有昂贵专家知识的全标注fMRI数据。对标签的高度依赖性意味着所学脑拓扑包含更多下游解码任务特定信息，而通用知识的缺乏将限制其泛化能力[12]。因此，开发可解释的无监督脑拓扑推断框架以学习通用脑表征，对于多种神经解码任务具有重要意义。这自然带来两个问题：i) 如何设计高效图学习器以构建合适的待学习拓扑？ii) 如何开发新学习机制以优化待学习拓扑？

因此，我们提出了一种新型无监督GTL学习框架，称为基于多视角对比自监督学习的脑拓扑推断框架（BTI-MVCSL），该框架可在无监督情况下自动推断脑解码过程中的拓扑变化，同时辅助提升解码性能。具体而言，BTI-MVCSL首先开发了脑拓扑推断（BTI）模块，该模块提供了一系列图学习器，包括基于多层感知机（MLP）的BTI、基于GNN的BTI、基于注意力的BTI和基于参数的BTI。探索多种图学习器在不同解码任务上的性能对于提高解码效率和准确性具有重要意义，因为不同的图学习器可能适用于不同类型的解码任务。进一步提出了多视角对比自监督学习（MVCSL）模块，该模块在保证脑拓扑分布平衡的同时，促进挖掘脑拓扑中蕴含丰富信息的隐藏连接。此处的多视角指的是从原始fMRI序列生成的“指导者”视角脑拓扑和由BTI生成的“学习者”视角脑拓扑。此外，MVCSL还融合了创新的自学习机制（SLM），该机制能够自适应调整“指导者”视角拓扑，为优化“学习者”视角拓扑提供持续指导。

Method

基于多视角对比自监督学习的脑拓扑推断框架（BTI-MVCSL）概览如图1所示，整体伪代码详见https://github.com/baisechundu/BTI-MVCSL。BTI-MVCSL包含三个主要创新功能：(a) 开发脑拓扑推断模块（BTI）以构建“学习者”和“指导者”视角脑拓扑；(b) 设计多视角对比自监督学习模块（MVCSL）以实现...

Dataset and Preprocessing

我们在国际公开的人类连接组计划数据集（HCP）[28]上评估了BTI-MVCSL的性能，该数据集主要包含两部分：任务相关数据（Task-HCP）和静息态数据（Rest-HCP）。我们同时在两者上测试了所提出的BTI-MVCSL。

具体而言，对于Rest-HCP，我们选择了第一个会话并排除了数据长度小于1200的样本，共有1096名受试者数据（年龄22-35岁，593名男性和498名女性）用于性别解码任务...

Conclusion

现有GTL方法仅专注于监督解码场景，严重依赖大量全标注fMRI数据和昂贵的专家知识。为解决该问题，我们提出了一种新的基于GNN的脑解码框架BTI-MVCSL。BTI-MVCSL旨在无需数据标签的情况下动态刻画脑拓扑，主要包含两个新模块以改进现有用于fMRI数据分析的图SSL方法：i) 脑拓扑推断（BTI）通过...更新交互