面向自闭症谱系障碍诊断的动态多尺度拓扑学习与跨模态图融合

《Neuroscience》：Dynamic multi-scale topology learning and cross-modal graph fusion for autism spectrum disorder diagnosis

　　

• •
  我们提出了用于ASD诊断的动态多尺度拓扑学习。
• •
  跨模态图融合将fMRI和sMRI数据整合用于ASD。
• •
  焦点损失在模型优化过程中强调难以分类的样本。

引言

孤独症谱系障碍（ASD）是一种复杂的神经发育障碍，其特征为社会交往能力受损、兴趣受限、重复性行为以及感官敏感等合并症状（Lai等，2014年）。虽然症状在儿童时期最为明显，但ASD的影响会贯穿个体的整个生命周期（Gotham等，2012年）。传统上，医生依赖行为评估来诊断ASD，例如孤独症诊断观察量表（ADOS）和孤独症诊断访谈修订版（ADI-R）（Frigaux等，2019年）。然而，这些方法高度主观，会受到临床医生经验、行为以及父母的影响，存在显著的误诊风险（Lord C，2012年）。因此，开发自动化诊断系统已成为提高ASD诊断准确性的当务之急。

计算机辅助诊断（CAD）已被广泛研究，通过应用不同的神经影像学数据来协助识别病变并提高ASD诊断的准确性（Shah等，2024年）。例如，Wang等（2022年）应用支持向量机（SVM）分类对静止态功能磁共振成像（rs-fMRI）功能连接进行多站点特征选择以用于ASD诊断。Bahathiq等（2024年）将灰狼优化与机器学习模型相结合应用于结构磁共振成像（sMRI）形态数据，建立了早期诊断生物标志物。Amen等（2017年）利用随机森林框架处理单光子发射计算机断层扫描（SPECT），识别了小脑和前扣带皮层生物标志物。然而，传统的基于机器学习的CAD方法依赖于专家精选的特征选择，可能引入分类偏差。此外，这些方法经常忽视编码区域间连接模式的脑网络拓扑结构。

虽然卷积神经网络（CNNs）在医学图像分析中展现出可观的前景，但它们在处理非欧几里得数据结构（如本质上不规则的脑连接图）时面临固有的局限性。为了解决这些局限性，图神经网络（GNNs）利用图拓扑结构和节点特征通过邻居聚合来更新节点表示。图卷积网络（GCNs）将卷积操作扩展到图结构数据，并在脑网络分析中显示出前景（Ktena等，2018年）。然而，跨模态异构特征的一致性以及缺乏模型可解释性仍然是重大挑战。Zhu等（2023年）提出了一种具有自适应贡献学习的对比多视图GCN，以整合来自rs-fMRI数据的双模态功能连接特征。Zhao等（2022年）开发了一种自注意力GCN，结合低阶和高阶功能网络进行ASD分类。Wang等（2022年）引入了MAGE方法，使用GCN进行特征提取和堆叠集成进行分类。Ma等（2024年）提出了全脑和关键网络连接，并带有基于注意力的读出层来增强ASD分类。此外，图同构网络（GINs）通过捕获图结构增强了GNN的判别能力，其中Kim等将梯度加权类激活映射整合到神经可解释性中，用于与性别相关的脑网络分析（Kim和Ye，2020年，Xu等，2018年）。图注意力网络（GATs）采用注意力机制来建模节点间依赖关系，包括基于Pearson相关性的GAT用于ASD诊断（Veli?kovi?等，2017年，Yang等，2021年）以及关系感知GAT整合fMRI和表型数据（Gu等，2023年）。对于大规模图，GraphSAGE通过邻居采样实现可扩展性。Jemima等（2024年）提出了用于ASD分类的Transformer图融合模型。然而，这些方法无法从异构脑影像数据中提取判别性和生物学可解释的特征，限制了其临床效用。此外，这些多模态研究依赖于简单的特征拼接或单模态主导策略，无法充分捕获结构性和功能性脑网络之间的互补和共识信息。

因此，我们提出了用于ASD诊断的动态多尺度拓扑学习与跨模态交互图融合网络（DMTL-Net）。具体来说，我们从sMRI构建结构放射组学相似性网络（RSN），从fMRI构建功能连接网络（FCN）。与传统的形态学特征（如灰质体积或皮层厚度，这些特征孤立地描述每个脑区）不同，基于放射组学的RSN还捕获了多尺度微观结构纹理信息，并将区域间结构相似性编码到与FCN拓扑同源的神经网络中，从而能够实现二者的联合融合。为实现平衡的多模态融合，我们采用了两种互补策略：跨模态包容性整合以保留模态独特特征，以及跨模态共识过滤以保留共享连接模式。与传统的图联合、图交集或基于门控的融合方法不同，后者通过单一固定操作合并模态，这些双路径策略构建了两个互补图并联合学习，从而在不丢弃模态特定信息的情况下平衡灵敏度和特异性。融合后的脑网络随后被输入动态多尺度拓扑学习子网络，该子网络捕获局部和全局拓扑表示以进行最终分类。此处，"动态"一词指的是通过可学习注意力权重以及通道级和空间级重加权对多尺度拓扑表示进行自适应的训练时精炼，而不是指连接本身随时间波动的时变动态功能连接。该子网络包含一个具有自适应核选择的多尺度特征提取器，以获得不同尺度的节点特征，随后是学习跨模态特征相关性的通道级和空间级自适应重加权模块。这些重加权模块是对图注意力层的补充，而非替代：图注意力层建模每个模态图内的节点间依赖关系，而通道级和空间级重加权则选择性地跨模态校准特征。与最近的跨注意力、自适应图学习、共享或私有表示学习和动态拓扑学习等方法不同，每种方法仅解决多模态图学习的一个方面，DMTL-Net联合整合了包容性和共识图融合、动态多尺度拓扑学习以及跨模态通道级和空间级融合，其主要进步在于这种协同组合，而非任何单一机制。主要贡献如下：

(1) 提出了双路径多模态图融合方法，利用跨模态包容性整合和共识过滤来平衡结构和功能模态间的特异性和灵敏度。

(2) 提出了动态多尺度拓扑学习网络，将自适应多尺度特征提取与通道级和空间级融合机制相结合，用于全局和局部特征表示。该框架提取跨不同模态和尺度的信息，在增强跨模态特征交互的同时最大限度地减少信息损失。

章节摘要

多模态神经影像中的机器学习

结构MRI与功能MRI的结合已成为脑疾病诊断中有价值的策略，提供了形态结构和功能连接模式的互补视角。fMRI和sMRI的特征提取主要关注四种类型的信息。一种类型是从定义的兴趣区域测量的灰质体积。另一种类型是通过基于体素的形态学分析获得的灰质密度估计。第三种类型包括

数据集

本研究使用了自闭症脑影像数据交换（ABIDE）数据集，该数据集总共包含419名个体，其中179名为正常发育对照（TC），240名为ASD个体，如表1所述。所有参与者都接受了静止态功能磁共振成像（rs-fMRI）和T1加权MRI扫描。该数据集提供了每组的详细人口统计学和认知信息，包括性别、年龄、全量表智商（FIQ）、言语智商（VIQ）和操作智商（PIQ）。

数据预处理

该

与现有方法的比较

我们在ABIDE数据库上将我们方法的表现与几种最先进的策略进行了比较，详见表2。我们的方法专注于融合结构和功能连接网络，并增强ASD与TC的分类。比较方法分为两类。第一类使用单模态MRI（sMRI或fMRI）作为输入，第二类使用多模态MRI（结合sMRI和fMRI）作为输入。所有方法均

讨论

在本研究中，我们提出了用于ASD诊断的动态多尺度拓扑学习与跨模态交互图融合网络（DMTL-Net），使用了多模态结构和功能MRI数据。与竞争的多模态方法相比，DMTL-Net取得了最高的准确率和AUC。这种优越的性能可归因于三个互补的设计选择。首先，跨模态包容性整合和共识过滤共同保留了并集和交集

结论

在本工作中，我们提出了DMTL-Net，一种用于ASD诊断的动态多尺度拓扑学习与跨模态图融合网络。在ABIDE数据集上的评估显示，DMTL-Net优于最先进的方法，消融结果证实了通道级和空间级注意力模块的互补贡献。模型推导出的候选脑区与既定的ASD神经生物学发现广泛一致。总体而言，联合建模结构和

CRediT作者贡献声明

华东张：撰写——初稿，可视化，调查。Junyong Zhao：软件，形式分析。邵琪吴：软件，方法学，数据整理。Krisztián Szigeti：验证，资源。Kellermayer Miklós：资源，调查。Jiande Sun：验证，监督。Jianping Qiao：撰写——审阅与编辑，监督，项目管理，资金获取，概念构思。

未引用参考文献

Liu等，2024a，Liu等，2024b，Lord，2012，Wang等，2022a，Wang等，2022b，Xia等，2013。

利益冲突声明

作者声明，他们没有已知的竞争性经济利益或个人关系，这些关系可能会被认为影响了本文所报告的工作。

Huadong Zhang|Junyong Zhao|Shaoqi Wu|Krisztián Szigeti|Kellermayer Miklós|Jiande Sun|Jianping Qiao