基础模型与多模态神经影像学相结合:一种基于生成式 transformers 的阿尔茨海默病诊断框架
《Neurocomputing》:Foundation models meet multimodal neuroimaging: A generative transformer-based framework for Alzheimer’s disease diagnosis
【字体:
大
中
小
】
时间:2026年05月13日
来源:Neurocomputing 6.5
编辑推荐:
卢卡·泽达 | 安德烈亚·洛多 | 塞西莉亚·迪·鲁贝托 | 阿尔茨海默病神经影像学研究计划
卡利亚里大学数学与计算机科学系,Via Ospedale 72,09124,卡利亚里,意大利
**摘要**
不完整的神经影像数据仍然是阿尔茨海默病诊断中的一个主要挑战,因为
卢卡·泽达 | 安德烈亚·洛多 | 塞西莉亚·迪·鲁贝托 | 阿尔茨海默病神经影像学研究计划
卡利亚里大学数学与计算机科学系,Via Ospedale 72,09124,卡利亚里,意大利
**摘要**
不完整的神经影像数据仍然是阿尔茨海默病诊断中的一个主要挑战,因为许多患者只接受了部分推荐的影像检查。本研究通过提出一个基于生成式变换器的框架来解决这一限制,该框架旨在支持在缺失模态情况下的多模态分析。我们在统一的阿尔茨海默病分类基础模型框架内系统地研究了多模态性能和公平性,并引入了一种生成方法,该方法结合了结构磁共振成像(MRI)、扩散张量成像(DTI)和正电子发射断层扫描(PET)数据,并利用基于ControlNet的扩散模型在数据不可用时合成解剖学上一致的替代模态。这些合成图像仅作为不完全模态条件下的训练时增强策略使用,而不是替代临床采集的数据。通过低秩适应(Low-Rank Adaptation)调整的视觉变换器用于高效的特征提取,而临床变量则通过专用投影模块进行整合。实验结果表明,在某些复杂的多模态环境中,基于变换器的融合头部可以改善简单的聚合策略,在结合生成式增强和临床数据时,在多类分类中实现了较高的F1分数。然而,这些好处并不普遍适用:在最佳情况下,基于单一模态的体积PET基线仍然更优,而且生成式增强的效果受到配置的显著影响,在某些设置下会带来积极效果,而在其他设置下则会大大降低性能。
**1. 引言**
神经退行性疾病在老年医学中是一个重大挑战,无论是从临床还是社会角度来看都是如此。随着阿尔茨海默病(AD)和其他形式痴呆症的发病率不断上升,迫切需要能够利用现有丰富多模态数据的强大诊断和预测工具[1] [2]。阿尔茨海默病神经影像学研究计划(ADNI)已成为该领域的核心数据集,提供了结构性和功能性神经影像数据以及扩散成像、正电子发射断层扫描(PET)和全面的临床及人口统计评估[3] [4]。尽管该数据集被广泛采用,但仍存在一些方法论挑战尚未解决,特别是在公平性、模态整合和处理不完整数据方面[5]。
本文探讨了老年医学背景下神经退行性疾病分析的三个关键方面。首先,我们讨论了基于ADNI的分类任务中的公平性问题,认识到人口统计和采集相关偏差可能会无意中影响预测性能,并阻碍模型在不同患者亚组间的泛化能力[5] [6]。其次,我们通过比较单模态和多模态学习策略,研究了不同模态(包括结构磁共振成像(MRI)、PET、扩散张量成像(DTI)和临床变量)的相对贡献和协同作用。这样的分析有助于了解不同信息来源在检测和监测神经退行性过程中的互补性。最后,我们提出了使用基于图像转换的扩散模型来应对缺失数据的挑战,这种挑战往往起着关键作用[7] [8]。通过学习为训练时增强合成合理的替代模态表示,生成方法可以在多模态数据不完整的情况下提供额外的支持,尽管其效果很大程度上取决于合成数据的使用方式。
通过这三个视角,我们的研究旨在提高使用ADNI数据的方法论严谨性,并为衰老人群中神经退行性的多模态表征提供新的见解。除了技术上的相关性外,这些贡献还旨在促进更加公平、可解释且具有临床适用性的老年医学机器学习模型。
本研究通过提出一个统一的框架来应对不完整模态可用性的多模态分类挑战,该框架结合了经过LoRA调整的基础编码器(特别是DinoV3 [9] 和RadioDino [10]),以及基于ControlNet的模态转换和结构化的亚组级别评估。
手稿的结构如下:第2节回顾了与研究主题相关的最新进展。第3节概述了本研究使用的数据集、材料和方法论,第4节详细描述了所提出的方法。第5节介绍了实验评估,分为初步结果(5.2节)和后续分析(直至临床整合讨论的5.7节)。第6节提供了公平性评估,第7节讨论了工作的局限性和潜在的未来方向。第8节总结了我们在解决多模态神经退行性疾病识别这一差距过程中获得的见解。
**2. 相关工作**
神经退行性疾病的研究,特别是阿尔茨海默病的研究,从神经影像学、临床和人口统计数据整合的角度受益匪浅。本节回顾了这一领域的基础资源、方法论挑战和进展。我们首先介绍了阿尔茨海默病神经影像学研究计划及其在促进大规模多模态分析和临床试验生物标志物开发中的关键作用(2.1节)。然后讨论了由于人口统计和采集偏差导致的公平性问题及其对预测模型泛化能力的影响(2.2节)。接下来,第2.3节概述了单模态神经影像方法,强调了它们各自的贡献和局限性。第2.4节介绍了多模态神经影像框架,这些框架旨在通过整合多种影像和临床数据来源来提供更全面的疾病表征。最后,第2.5节讨论了神经影像研究中常见的数据缺失问题,并回顾了旨在减轻其不利影响的先进插补和生成建模技术。
**2.1. ADNI和神经退行性疾病分析**
阿尔茨海默病神经影像学研究计划已成为研究衰老人群中神经退行性疾病最具影响力的资源之一。通过提供包括结构MRI、PET、DTI以及广泛的临床和认知评估的大规模纵向数据,ADNI使得整合疾病进展的解剖学、功能学和临床视角的模型开发成为可能[11] [12] [13]。其在多个站点之间的标准化协议进一步促进了计算神经影像研究中的可重复性和广泛采用。虽然协议协调一直是ADNI计划的核心目标,但不同阶段的采集异质性仍然存在。早期版本(如ADNI1)允许更大的扫描仪硬件和场强灵活性,包括1.5T和3T T1加权MRI采集,而后期版本(如ADNI3)则将新采集限制在3T扫描仪上。因此,整合的ADNI数据集在扫描仪特性和采集协议上表现出不可忽视的变异性。这种异质性更接近真实的临床成像条件,突显了开发在扫描仪场强和采集设置差异下仍具有鲁棒性的模型的重要性。
许多研究依赖于ADNI进行分类任务,包括区分健康对照组、轻度认知障碍和阿尔茨海默病,以及预测疾病转化风险和监测疾病进展[14] [15]。这些应用突显了ADNI在老年医学机器学习流程基准测试中的实用性,为单模态和多模态方法提供了参考点。该数据集还促进了不同成像模态之间的比较,使研究人员能够量化MRI、PET、DTI和临床信息的相对贡献。尽管取得了这些进展,ADNI的几个局限性在文献中仍然反复出现:人口统计和站点特定的不平衡可能会引入偏差,限制模型的泛化能力;模态的异质性导致数据集不完整,使得下游分析复杂化。这些挑战强调了需要公平意识的建模、鲁棒的多模态融合以及处理缺失数据的原则性策略,这构成了本研究的重点[16]。
**2.2. 神经影像学和ADNI分类中的公平性**
在将机器学习应用于医学成像时,公平性变得越来越重要,因为人口统计和采集相关的偏差可能导致不同患者群体间的模型性能不平等。在神经影像学背景下,这些偏差可能源于年龄、性别、教育水平或站点特定的成像协议等因素,所有这些因素都可能系统性地影响预测结果,限制计算工具的临床可靠性[17] [18]。在ADNI中,由于数据集的异质性组成,公平性问题尤为突出。研究表明,不同人口统计亚组和成像站点之间的样本量不平衡可能导致模型在主要队列上高度准确,但在代表性不足的群体中可靠性较低。此外,扫描仪特定的伪影和采集差异的普遍存在引发了关于领域偏移的担忧,这可能会将疾病相关信号与技术变异混淆[19]。为解决这些问题,人们开发了平衡采样、领域适应、基于偏差的正则化训练目标和亚组性能评估等策略。虽然这些方法提高了模型的鲁棒性,但在基于ADNI的分类任务中,公平性考虑仍然不足。在这项工作中,我们将公平性作为分析的核心要素,系统地检查亚组性能,并整合缓解策略,以确保神经退行性疾病的预测模型在老年人群中既准确又公平[20] [21]。
**2.3. 单模态神经影像分析**
单模态神经影像分析是许多神经退行性疾病计算方法的基础,许多研究通常专注于单一模态以简化建模和解释。结构MRI被最广泛使用,提供了关于阿尔茨海默病及相关疾病相关的脑萎缩模式的详细解剖信息。同样,PET能够量化淀粉样蛋白和tau蛋白的沉积[22] [23],而DTI则用于捕捉白质通路中的微结构变化。这些单模态方法为理解神经退行性的机制和进展提供了重要见解。例如,基于MRI的分类器在区分健康对照组、轻度认知障碍和阿尔茨海默病方面始终表现出强大的性能[24] [25]。PET成像在识别早期病理变化方面特别有价值[26],而DTI则揭示了连接性的改变,补充了结构信息[27] [28]。每种模态都为疾病过程提供了独特的视角,各自提供了临床相关的信息。然而,单模态分析存在显著局限性:单一模态往往只能捕捉疾病生物学的一个方面,遗漏了重要的补充信息。此外,单模态模型可能对扫描仪变异或预处理流程等混淆因素更敏感,从而降低跨队列的泛化能力。这些挑战强调了超越单模态策略、采用更综合方法的重要性,同时也要承认单模态神经影像分析在塑造我们对神经退行性疾病理解方面所起的基础性作用。
**2.4. 多模态神经影像分析**
在单模态基础之上,多模态神经影像分析作为一种强大的策略应运而生,用于捕捉神经退行性的互补方面。通过整合结构MRI、PET、DTI和临床信息,多模态方法旨在提供更全面的疾病过程表征。早期研究通过简单串联结合了成像和非成像变量,而最近的工作则探索了先进的融合技术,包括多分支神经网络、基于注意力的机制和联合嵌入框架[29] [30] [31]。这些研究表明,多模态模型在诊断和预测任务中通常优于单模态模型。例如,将MRI与PET结合使用已被证明可以提高早期病理变化的检测能力[32]。临床和人口统计变量通过将影像发现与患者层面的背景联系起来,进一步增强了预测性能。这些结果共同证明了多模态学习在老年医学中的协同潜力[33]。
尽管有这些优势,多模态神经影像在方法论上仍面临挑战:数据不完整性普遍存在,因为并非所有患者都接受了所有影像检查,因此在应用严格纳入标准时样本量会减少。融合策略也可能出现过拟合或模态不平衡问题,即某一来源主导了预测结果,而牺牲了其他来源的信息。解决这些限制需要处理缺失数据的鲁棒技术和更原则性的整合策略。在本研究中,我们系统地评估了多模态和单模态方法在ADNI分类中的优势和劣势[34] [35]。
**2.5. 神经影像学中的缺失数据**
缺失数据是大规模神经影像研究中的普遍挑战,包括ADNI,其中并非所有参与者都接受了所有影像检查或完成了所有临床评估。这些缺失会降低统计功效,引入偏差,并使下游分析复杂化,尤其是在依赖多重来源完整信息的多模态流程中。处理缺失数据的传统方法包括简单的插补方法(如均值替代或基于回归的预测),以及更复杂的矩阵完成技术。虽然这些策略可以在一定程度上缓解问题,但它们往往无法捕捉到不同模态之间的复杂关系,并且如果数据缺失是非随机的,还可能引入额外的偏差。尽管有几项工作旨在最大化互信息[36]、[37]、[38],但最近的研究开始使用深度生成模型,包括变分自编码器(VAEs)、生成对抗网络(GANs)和基于扩散的模型,通过利用可用数据之间的相关性来学习缺失模态的合理表示[34]、[39]、[40]。在更广泛的医学成像领域,也提出了如HeMIS[41]这样的方法,它创建了特定于模态的嵌入,通过汇总统计信息来增强对缺失模态的鲁棒性,而无需进行显式插补。对于健康记录,已经提出了M3Care[42]等方法来克服与生成方法相关的问题。尽管这些方法很有前景,但它们也带来了挑战。模型训练可能计算量很大,确保合成或插补数据准确反映真实的生物信号仍然不简单。尽管如此,这些方法为处理缺失数据提供了一个原则性的框架,使得在神经退行性疾病研究中能够进行更完整和更可靠的分析。在这项工作中,我们研究生成模型作为一种训练时的增强策略,以支持在缺失模态条件下的多模态学习,而不是直接替代不可用的临床采集数据。
3. 材料与方法
本节概述了所提出的研究中使用的材料和方法,组织结构如下:第3.1节介绍了用于多模态神经成像分析的基础模型,第3.2节详细介绍了基于低秩适应的适配策略,第3.3节介绍了使用ControlNet的生成模态转换流程,第3.4节描述了ADNI数据集的特点。
3.1. 基础模型
在这项工作中,基础模型被用作神经成像数据分析的支柱。由于它们能够从大规模数据集中学习到可泛化的表示,这些模型为神经退行性疾病研究中的下游任务提供了一个稳健的起点。预训练的视觉变换器被用来从DTI、MRI和PET数据中提取成像生物标志物。随后对这些模型进行了微调,以便在多类(MC)设置中区分阿尔茨海默病患者、轻度认知障碍患者和认知正常的对照组,或者在二元(B)设置中区分阿尔茨海默病患者和对照组。这种方法减少了对手工特征的依赖,并能够更全面地表示疾病相关的模式。特别是,使用基础模型有助于在不同队列中进行更好的泛化,并减轻了采集协议引入的变异性,这对于阿尔茨海默病检测研究的可重复性至关重要。
3.2. 低秩适应
为了高效地微调大型基础模型以用于阿尔茨海默病检测,采用了低秩适应(LoRA)[43]。LoRA将可训练的低秩分解矩阵引入到预训练变换器的注意力层中,大大减少了训练过程中需要更新的参数数量。LoRA不是微调自注意力机制的完整权重矩阵,而是将这些矩阵分解为在适应过程中学习的低维组件,而原始权重保持不变。这种设计允许模型用最少的额外参数捕获任务特定信息,从而实现更快的收敛速度、更低的内存需求,并在将大型基础模型适应到神经成像等特定领域时提高可扩展性。这种方法使得基础模型能够在无需完全重新训练的情况下适应神经成像数据,从而降低了计算成本,并在处理标记有限的数据集时减少了过拟合的风险。在本研究中,LoRA被应用于视觉变换器框架,能够在保留大规模预训练期间学到的通用表示的同时,提取与阿尔茨海默病相关的成像生物标志物。这种策略使模型能够专用于下游分类任务,区分阿尔茨海默病患者和认知正常的对照组,以及处理包括轻度认知障碍在内的MC设置。
3.3. ControlNet用于模态转换
为了应对神经成像数据的异质性并减少缺失模态的影响,将ControlNet[44]整合到了流程中。ControlNet通过将生成过程条件化为结构先验(如解剖学或特定于模态的特征),实现了神经成像模态之间的受控图像到图像的转换。在这种设置中,模型在生成目标模态的逼真表示时,会从源模态中提取的结构信息获得指导。这种机制确保了转换过程中的解剖一致性,同时适应了特定于模态的对比度,以反映目标领域的成像特征。通过明确区分结构和模态信息,ControlNet为合成缺失模态、协调异构数据集以及促进多模态神经成像研究中的下游分析提供了一个稳健的框架。在本研究中,ControlNet被用于在DTI、MRI和PET之间进行转换。这种转换允许在某一模态不可用时合成互补的成像数据,从而缓解数据稀疏性问题,并确保跨患者的一致多模态表示。通过生成模态一致的替代神经成像数据,ControlNet提供了一种在缺失模态条件下进行训练时增强的机制。在当前工作中,其下游效果取决于配置:在某些设置中它支持多模态学习,而在其他设置中则可能引入有害的变异性并降低性能。
3.4. ADNI数据集
用于准备本文的数据来自阿尔茨海默病神经成像倡议(ADNI)数据库(adni.loni.usc.edu)。ADNI于2003年作为公私合作伙伴关系启动,由首席研究员Michael W. Weiner博士领导。ADNI的最初目标是测试是否可以通过结合序列磁共振成像(MRI)、正电子发射断层扫描(PET)、其他生物标志物以及临床和神经心理评估来衡量轻度认知障碍(MCI)和早期阿尔茨海默病(AD)的进展。当前的目标包括验证临床试验的生物标志物,通过增加参与者队列的多样性来提高ADNI数据的通用性,并向科学界提供关于阿尔茨海默病诊断和进展的全面数据。ADNI已经经历了多个阶段(ADNI1、ADNI-GO、ADNI2、ADNI3和当前的ADNI4),不断扩展其队列并整合了最先进的成像技术、生物标志物检测和认知评估方法。当前的ADNI4阶段侧重于招募更多样化的参与者群体,增加高级成像模态的使用,并收集纵向数据以更好地理解不同人口统计学和临床亚组中的阿尔茨海默病进展。ADNI数据的全面性和公开性使其成为开发和验证神经成像生物标志物、机器学习模型和其他阿尔茨海默病研究计算方法的基石资源。所有实验都是使用从LONI图像数据档案下载的ADNI数据进行的,包括ADNI1、ADNI-GO、ADNI2、ADNI3和ADNI4。数据访问时间为2025年8月。患者筛选(仅限首次访问、跨访问诊断一致)和所有预处理步骤都是使用我们代码仓库中提供的公开脚本实现的,从而能够精确复制队列构建。
4. 提出的方法
本节介绍了用于多模态神经退行性疾病分析的提出方法,概述了一个旨在最大化可重复性和诊断准确性的系统工作流程。数据预处理步骤,包括队列筛选和切片生成,详见第4.1节。第4.2节描述了用于评估单切片和单模态性能的基线模型的建立。第4.3节介绍了随后的多模态集成实验和融合策略,第4.4节介绍了用于重建缺失模态的生成增强方法。第4.5节讨论了临床和人口统计特征的整合,第4.6节概述了最终的多模态融合流程。这些组件共同构成了一个统一的框架,用于在模态不完整的情况下研究多模态阿尔茨海默病分类。
4.1. 数据处理
我们提出的方法系统地解决了可能由于所谓的数据泄漏现象而影响实验有效性并导致人为提升性能的多个问题。具体来说,我们旨在实现两个关键目标:(i)提供一个可重复结果的蓝图,以及(ii)提供一个全面且高效的多模态、基于基础模型的神经退行性疾病分析解决方案。为了实现第一个目标,我们收集了ADNI数据库中直到ADNI4的最新版本的所有患者数据。然后,我们仅选择了应用于相应患者数据的最常见预处理技术。MRI或DTI数据没有应用ADNI提供的以外的任何额外预处理。PET切片级别的表示已经由ADNI预处理过;对于我们的实验,我们将这些切片组合成完整的3D体积,然后将其重新切片到三个正交平面。所有切片都是使用选定轴的中间切片获得的。采用这种中间切片方式主要是为了与本研究中使用的预训练2D基础编码器保持兼容性,并在模态、融合策略和缺失模态设置之间保持统一的实验协议。同时,它放弃了跨平面的空间相关性,可能会忽略与阿尔茨海默病相关的体积模式。接下来,我们筛选队列,仅包括首次访问的扫描,以便设计一个以筛查为导向的解决方案,而不是关注由于大脑组织已经广泛受损而可能信息较少的晚期诊断。另一个关键的筛选步骤是排除那些在不同访问中诊断发生变化的患者,以及标记为不确定的病例,以确保诊断信息的可靠性。这个筛选步骤移除了423名患者,约占总队列的%。我们承认这一标准排除了诸如从MCI转换为AD的临床相关病例,可能会略微改变潜在的人口统计和临床分布。应用这些过滤器后,最终合并的数据集包括1841名不同模态的独特受试者。对于成像数据,最终步骤因模态而异。对于MRI和DTI数据,我们生成轴向、矢状和冠状切片。对于PET数据,由于切片级别的表示已经可用,我们首先为每个患者重建一个完整的3D体积,然后将其重新切片到三个正交平面。我们在图2中报告了我们的方法概览。
4.2. 基线建立
为了研究神经退行性疾病分析是否受益于多模态方法,我们首先进行了一组基线实验,以评估不同数据粒度级别的性能。具体来说,我们在成像数据上训练模型,同时按切片类型分离样本。这使我们能够评估单个切片是否足以进行分析,或者结合多个视图是否可以提高分类性能。在我们的方法中,我们使用了两个基础模型:DinoV3[9],一个在广泛数据集上预训练的新型通用模型,以及RadioDINO[10],一个在大型放射学数据集上预训练的DINO启发式基础模型。没有包括基于卷积的基础模型,以便在所有模型上应用相同的低秩适应参数,从而增强我们实验的公平性和可重复性。此外,我们在两个不同的场景中进行了单切片、单模态分类实验:(i)CN vs. MCI vs. AD,即MC,以实现细粒度分析;(ii)CN vs. AD,即B,以关注更具体的诊断设置。
4.3. 多模态分析
为了全面评估多模态整合的影响,我们设计了结合不同粒度级别信息的实验。特别是,我们考虑了基于每种模态的单独切片方向(例如,轴向PET、矢状MRI)的配置,以及所有切片的模态组合。这使我们能够区分单切片、单模态输入与多模态和多切片融合的贡献。完整的配置集合在表1中进行了总结。从这一点开始,我们将使用表1中提供的实验名称来引用每种配置。
4.4. 生成增强分类
为了解决缺失或不完整多模态数据的问题,我们引入了一种生成增强策略,旨在从现有数据中重建缺失的成像模态。这种方法使得患者之间的一致多模态表示成为可能,并防止了缺乏完整成像信息的病例被排除。我们基于每个患者至少有一种可用成像模态的假设。基于这一前提,我们采用了一个模态转换框架,能够通过条件扩散模型生成缺失模态的合成对应物。具体来说,我们采用了ControlNet架构[44],它通过将去噪过程条件化为从源模态中提取的结构信息来扩展基于扩散的生成模型。这种条件化机制在适应图像对比度和外观以匹配目标模态的同时,强制保持解剖学的一致性。在我们的实现中,我们使用了标准的HuggingFace diffusers ControlNet配置,其中条件化通过U-Net下采样和中间块的默认ControlNet残差分支进行注入,没有自定义的逐层限制。在整个模态转换实验中,条件化比例固定为1.0。因为这个流程需要文本输入,所以在训练和推理过程中,我们对每个样本都使用了相同的固定提示,即“-”。从未使用过任何诊断信息、人口统计信息或患者特定信息作为文本条件化。因此,没有任何标签信息能够通过文本分支泄露,所有有效的条件化都纯粹来源于源模态的图像。
在训练过程中,每个模态对都是独立建模的,源模态作为输入,目标模态作为监督信号。模型学习对应解剖区域之间的映射,同时保持空间对齐。ControlNet训练的完整目标函数如下:
其中表示来自目标模态的输入图像,表示对应的真实目标图像,表示用于条件化的源模态,是从随机抽取的扩散时间步,是通过前向扩散过程获得的在该时间步的噪声潜在表示,是在潜在表示上添加的高斯噪声以产生,表示网络预测的噪声。损失对应于预测噪声和实际噪声之间的均方误差,而条件化信息是通过ControlNet架构直接强制执行的,而不是作为额外的损失项。
ControlNet模型进行了20,000次迭代训练,批量大小为32,分辨率为,使用AdamW优化器,权重衰减为0.01。采用了具有500步线性暖身的恒定学习率调度器,初始学习率设置为。参数是在初步的定性分析后选择的。图像使用标准的ImageNet均值和标准差进行了归一化,以保持与预训练的ControlNet权重的兼容性,这在预训练的扩散模型迁移学习中是常见的做法。没有对这些统计数据进行额外的医学图像验证。所有图像还进行了部分对齐,以确保大脑在所有受试者中占据一致的视野范围。
一旦训练完成,基于扩散的转换模型就能为缺少一种或多种成像类型的患者生成合成模态。这些生成的表示随后被整合到下游分类模型中作为额外输入,有效地扩展了数据集,并使得即使在患者信息不完整的情况下也能实现多模态融合。为了进一步研究在合成增强下观察到的退化现象,我们在额外的消融研究中引入了两个修改。首先,我们将之前的统一分类目标替换为加权合成损失公式,其中表示在真实输入上计算的损失,表示在合成输入上计算的损失,并且在优化过程中减少了合成样本的贡献。其次,我们明确了合成数据的使用策略。在非选择性策略下,无论相应的真实模态是否已经可用,都会引入合成模态。在仅缺失策略下,只有当相应的真实模态不可用时才会使用合成模态。这使我们能够区分减少合成样本优化权重的效果与限制其使用于真正缺失的模态的效果。
在所提出的框架中,生成增强被用作训练时的策略,以在模态不完整的情况下扩展多模态监督。它的目的是为了在真实模态不可用时提供辅助的合成输入,以支持学习。本研究中使用的所有数据都是根据ADNI数据使用协议获得的,这些数据完全由去标识化的、公开可用的研究数据组成。合成图像的生成仅作为内部训练增强策略,用于处理缺失的成像模态,并且不涉及原始ADNI数据或衍生数据集的重新分布。此外,不会发布或分享合成图像;也不会分发能够生成ADNI衍生图像的预训练生成模型。
除了成像信息外,我们还结合了非成像的临床数据,以增强模型捕捉个体患者差异性和可能与成像模态中无法直接观察到的疾病相关因素的能力。具体来说,我们利用了ADNI数据库中的两个关键表格信息来源:PTDEMOG和AMAS问卷。PTDEMOG表格包含了年龄、性别、用手习惯和教育水平等人口统计和基线信息。AMAS问卷提供了多个认知子量表,用于评估一般知识、记忆、注意力、语言和执行功能。在本研究中,包括了所有可用的子量表和人口统计变量,以最大化捕获的信息量,但排除了PTADBEG、PTCOGBEG和PTADDX变量,以防止数据泄露,因为它们的值与AD或MCI诊断的年份直接相关。数据经过预处理,仅保留每位患者的第一次就诊记录,缺失值被替换为-4,类似于其他相关ADNI数据表中的处理方式,分类条目在''字符处进行分割,以确保每个特征只有一个值。没有因为缺乏临床数据而排除任何样本。这种预处理确保了所有人口统计和认知子量表都可以被整合到投影头中,最大化了提供给模型的信息量。在本研究中,PTDEMOG和AMAS的临床和人口统计特征以原始形式使用,没有进行显式的缩放或标准化。我们注意到,在将结果推广到具有不同特征分布的外部队列时需要谨慎。
为了处理这些结构化特征,我们设计了一个轻量级的投影头,将表格数据映射到与成像表示相同的潜在空间。让表示给定受试者的临床特征向量,其中。临床信息通过一个投影头被纳入,该投影头将映射到与成像表示相同的嵌入空间,维度为。这种映射是通过一系列线性变换实现的,包括归一化和非线性激活:
其中表示GELU激活函数,LN表示层归一化。在第一次线性变换之前,对输入特征应用了概率为的Dropout。中间扩展到遵循在transformer前馈块中常用的标准维度缩放,这里采用这是一种实用的架构选择,用于在投影回之前增加中间容量,而不涉及任何明确的特征解耦属性。得到的嵌入与成像派生嵌入的维度对齐,可以作为多模态融合阶段的额外token进行整合。这种设计使得在统一的嵌入空间内联合整合成像和临床信息成为可能,并为在可用时整合额外的结构化变量提供了模块化接口。这种整合策略允许网络联合考虑结构、代谢和人口统计线索,捕捉神经退行性进展的更全面视图。它还为将来扩展框架时整合额外的基于问卷的特征提供了一个灵活的接口。
4.5. 临床和人口统计整合
除了成像信息外,我们还结合了非成像的临床数据,以增强模型捕捉个体患者变异性和可能与成像模态中无法直接观察到的疾病相关因素的能力。具体来说,我们利用了ADNI数据库中的两个关键表格信息来源:PTDEMOG和AMAS问卷。PTDEMOG表格包括年龄、性别、用手习惯和教育水平等人口统计和基线信息。AMAS问卷提供了评估一般知识、记忆、注意力、语言和执行功能的多个认知子量表。在本研究中,包括了所有可用的子量表和人口统计变量,以最大化捕获的信息量,但排除了PTADBEG、PTCOGBEG和PTADDX变量,以防止数据泄露,因为它们的值与AD或MCI诊断的年份直接相关。数据经过预处理,仅保留每位患者的第一次就诊记录,缺失值被替换为-4,类似于其他相关ADNI数据表中的处理方式,分类条目在''字符处进行分割,以确保每个特征只有一个值。没有因为缺乏临床数据而排除任何样本。这种预处理确保了所有人口统计和认知子量表都可以被整合到投影头中,最大化了提供给模型的信息量。在本研究中,PTDEMOG和AMAS的临床和人口统计特征以原始形式使用,没有进行显式的缩放或标准化。我们注意到,在将结果推广到具有不同特征分布的外部队列时需要谨慎。
为了处理这些结构化特征,我们设计了一个轻量级的投影头,将表格数据映射到与成像表示相同的潜在空间。让表示给定受试者的临床特征向量,其中。临床信息通过一个投影头被纳入,该投影头将映射到与成像表示相同的嵌入空间,维度为。这种映射是通过一系列线性变换实现的,包括归一化和非线性激活:
其中表示GELU激活函数,LN表示层归一化。在第一次线性变换之前,对输入特征应用了概率为的Dropout。中间扩展到遵循在transformer前馈块中常用的标准维度缩放,这是作为一种实用的架构选择,用于在投影回之前增加中间容量,而不意味着任何明确的特征解耦属性。得到的嵌入与成像派生嵌入的维度对齐,可以作为多模态融合阶段的额外token进行整合。这种设计使得在统一的嵌入空间内联合整合成像和临床信息成为可能,并为在可用时整合额外的结构化变量提供了模块化接口。这种整合策略允许网络联合考虑结构、代谢和人口统计线索,捕捉神经退行性进展的更全面视图。它还为将来扩展框架时整合额外的基于问卷的特征提供了灵活的接口。
4.6. 融合头
最终的多模态表示整合了来自所有启用成像编码器的嵌入以及从表格数据获得的临床投影。为了得出诊断输出,我们探索了两种不同的融合头,它们在执行跨模态融合和信息聚合的方式上有所不同。
- **平均头**。在这种配置中,模型计算从每个成像编码器提取的CLS tokens与对应于表格临床数据的嵌入的简单平均值。具体来说,对于每种模态的嵌入,融合后的嵌入计算如下:
其中表示启用的模态数量加上临床嵌入的数量。这种方法假设相关的诊断信息分布在各个模态中,通过全局token平均化增强了鲁棒性和可解释性。它没有引入额外的可学习参数。
- **带有CLS Token的Transformer头**。在这种配置中,成像和临床嵌入集由一个由六个编码器层组成的专用TransformerEncoder处理。每个层包含一个具有8个注意力头的多头自注意力机制,隐藏维度等于,并且应用了0.1的Dropout。一个可学习的CLS token被添加到输入序列的前面。所有token都添加了可学习的位置嵌入,并应用了注意力掩码,使得CLS token能够关注所有模态token,从而使模型能够学习基于注意力的全局表示进行分类。对应于CLS token的Transformer输出被传递给最后的线性层进行预测。具体来说,给定一个嵌入序列,其中表示批量大小,表示模态数量加上CLS token,每个Transformer层计算:
其中表示两层前馈网络,带有GELU激活函数。六层Transformer融合头包含大约33.1M参数,这比RadioDino small中的22M这样的较小视觉Transformer模块要大,但选择它是为了平衡组合的多模态输入能力和分类性能。
这两个头都共享一个最终的线性分类层,将结果嵌入投影到疾病标签空间。这种双头设计允许对简单的聚合机制和基于注意力的推理进行公平比较,提供了不同融合策略如何影响多模态可解释性和泛化能力的见解。这使得框架能够联合考虑结构、代谢和人口统计线索,捕捉神经退行性疾病的全面视图。我们在图3中报告了整个架构的完整描述。
下载:下载高分辨率图像(315KB)
下载:下载全尺寸图像
图2. 患者选择和数据准备工作流程的概述。该图概述了对ADNI队列的筛选,只保留首次就诊且诊断一致的用户。然后详细说明了特定模态的图像处理,生成MRI和DTI的轴状、矢状和冠状切片,以及PET扫描的重新切片,从而创建了一个标准化的多模态分析数据集。
下载:下载高分辨率图像(237KB)
下载:下载全尺寸图像
图3. 结合临床数据和神经成像模态(PET、MRI和DTI)的提出的多模态架构,通过基础模型编码。临床特征通过单独的编码器处理,而成像模态生成专门的CLS tokens。该架构支持两种融合策略:用于简单聚合的平均头和基于Transformer的融合,用带白色文字的黑色框表示,最终得出MC或B分类结果。
与已建立的多模态融合策略的关系
本工作中评估的融合策略是有意选择的,旨在代表多模态学习中的两种互补且广泛采用的范式:无参数聚合和基于可学习的注意力整合。简单线性聚合特定模态的表示长期以来一直被用作多模态设置中的基线,并且与经典的多视图学习方法密切相关,包括典型相关分析,这些方法旨在通过共享或相关的潜在表示来结合来自多个模态的信息。通过在对共享特征空间中预训练的编码器提取的特定模态嵌入进行平均,CLS平均头提供了一种与相关性无关但计算效率高的融合机制,这种机制已被广泛采纳为先前多模态研究中的强大基线。相比之下,基于Transformer的融合头通过自注意力显式地建模跨模态交互,这与更近期的注意力驱动的多模态融合架构一致,这些架构以数据驱动的方式学习模态交互。我们的框架不是重新实现特定于任务的多模态融合网络(这些网络通常依赖于手工制作的特征或特定于模态的优化方案),而是在一个统一的基础模型设置中评估这两种代表的融合极端。这种设计允许在保持所有实验中一致的编码器、训练程序和评估协议的同时,控制性地比较融合复杂性的影响。在当前框架中,多模态融合是在统一的token序列上进行的,而不是通过特定于模态的交叉注意力分支进行的。
5. 实验评估
在本节中,我们对提出的多模态框架进行了全面的实验评估,用于阿尔茨海默病的特征描述。我们首先描述了我们的训练协议和超参数,然后使用单一模态方法(MRI、DTI和PET)获得了基线结果。随后,我们评估了我们的多模态融合策略,比较了基于平均值的聚合和基于Transformer的头在各种模态组合和切片方向上的表现。接着,我们评估了我们的生成增强方法处理缺失数据的有效性,展示了如何通过生成数据来提高分类性能。最后,我们将临床数据整合到我们的框架中,并分析了每种数据整合对整体诊断准确性的贡献。所有实验都使用严格的交叉验证协议进行,以确保结果的稳健性和可重复性。本节首先在第5.1节详细描述了分类训练协议和超参数,然后在第5.2节进行了训练策略选择和初步的消融研究。第5.3节报告了使用单模态方法的基线结果,第5.5节评估了多模态融合的性能。第5.6节分析了生成式增强技术在处理缺失模态方面的影响,最后,第5.7.5节评估了在生成式框架内整合临床和人口统计数据的效果。
5.1 分类训练协议和超参数
所有实验都在PyTorch环境中实现,并在GPU上执行,具体使用的是按需提供的A100 80GB GPU,生成实验大约使用了70个GPU小时。对于其他所有实验,我们使用了配备消费级4060ti 16GB GPU的内部工作站,大约使用了40个GPU天。我们采用了重复的分层组内交叉验证方案,每组内进行多次验证,每种配置下共进行了25次模型拟合。为了确保结果的稳健性和可重复性,种子值初始化为42,并在每次验证时递增1。在模型评估中,首先根据受试者标识符将数据分为训练集和测试集。在训练集内,应用了重复的分层组内交叉验证,使用受试者标识符作为分组依据,并根据受试者的诊断结果进行分层。属于同一受试者的所有切片和访问记录被分配到同一组,以防止受试者级别的信息泄露,同时保持各组之间的类别平衡。尽管这种方法具有确定性,但它确保了实验过程的可控制变异性,并允许精确复制实验协议。
5.2 基线模型
HuggingFace Hub提供的Vision Transformers作为骨干模型,输入图像被调整到指定像素大小,并使用标准ImageNet统计信息进行归一化。优化过程采用AdamW算法,学习率为某个值,并采用余弦退火调度。批量大小设置为32,每个组经过30个训练周期,损失函数使用交叉熵损失。这些超参数的选择基于类似多模态神经成像任务的先前研究[46]以及初步实验的结果,这些结果表明这些参数能够实现稳定的收敛并 satisfying 的性能。对于LoRA[43]参数,我们使用了原始的PEFT实现,dropout率为0.1,秩为8,alpha值为8,并选择了“all-linear”作为目标层选择方法。应用了梯度裁剪,裁剪规范为3.0,并可选地启用了混合精度训练以加速训练同时减少内存使用。在统计测试中,我们报告了使用所有25次运行(覆盖所有组和重复次数)计算得到的值,而某些值则仅基于重复次数(忽略个别组)来计算。这种区分明确了是考虑所有模型拟合结果还是仅考虑独立的重复次数来估计显著性。
5.3 基线结果
使用单一模态方法得到的基线结果在第5.3节中报告,多模态融合性能在第5.5节中进行评估。第5.6节分析了生成式增强技术在处理缺失模态方面的影响,最后第5.7.5节评估了在生成式框架内整合临床和人口统计数据的效果。
5.4 训练策略选择和初步消融研究
我们的第一步是通过消融研究系统地确定最稳健和最具泛化能力的训练策略,以DTI轴向切片作为参考设置,因为这是首个也是最简单的单切片实验。具体来说,我们比较了LoRA适配、完全微调和仅头部微调方案在DinoV3和RadioDino模型变体上的效果。如表2所示,LoRA适配取得了最一致的优势。例如,在DTI轴向数据集上,经过LoRA适配的DinoV3基础模型在MC和B指标上均取得了更好的F1分数。RadioDino基础模型也显示出类似的模式(LoRA: 分别为/),证实了基于LoRA的适配不仅稳定了训练过程,还提升了相对于传统微调策略的性能。基于这些结果,后续的所有多模态实验统一采用了LoRA作为适配协议。
5.5 多模态结果
单模态方法为评估分类流程提供了直接且易于解释的基线,这得益于来自成熟数据集的广泛基准测试。然而,仅依赖于一种模态会不可避免地限制模型捕捉跨不同成像类型之间的互补或协同模式的能力。我们对DTI、MRI和PET以及轴向、冠状和矢状平面上的多种广泛使用的卷积架构进行了基准测试。总体而言,性能强烈依赖于模态和解剖方向,没有一种架构能够在所有设置中始终占据主导地位。DenseNet-121和EfficientNet-B0在DTI和MRI的MC分类中通常取得最强性能,而B指标的表现往往更高且更稳定,特别是在MRI轴向切片上。PET表现出最大的变异性和最高的绝对性能,尤其是在冠状视图上,DenseNet-121的F1(B)分数达到了某个值。表3系统总结了所有单模态和单切片实验的性能。在DTI和MRI模态中,DinoV3和RadioDino变体的性能大体相当,DTI轴向的顶级MC F1分数由DinoV3 small获得,MRI轴向的顶级B F1分数由DinoV3 base获得。尽管如此,不同模型在不同模态和解剖平面上的优势各不相同,这突显了多方面评估的重要性。
5.6 生成特定训练设置
5.6.2 生成特定训练设置在第5.6节中单独提供。有趣的是,在CN与MCI与AD的对比任务中,通过使用所有模态的轴向切片获得了最佳结果,其性能仅比单独使用所有PET切片高出一小部分。这些结果表明,在当前的队列和输入设置中,PET可能在多模态信号中占据主导地位。这种现象不仅体现在多模态实验中,也体现在第5.3节报告的单切片结果中。表5显示了使用CLS均值进行多模态分析的分类结果。结果以重复分层组k折交叉验证的平均值±标准差形式报告,每次交叉验证包含5折和5次重复,每种配置产生25个模型拟合结果。
表6展示了在完整PET体积上训练的3D CNN和基于Transformer的模型的性能。更新的Swin和ViT结果表明,当适当优化时,体积变换器基线模型可以取得有竞争力的性能,尽管在仅使用PET的设置中,3D ResNet模型总体上仍然是最强的基线。结果以MC和B分类任务的平均值±标准差形式报告,每次交叉验证包含5折和5次重复,每种配置产生25个模型拟合结果。
在B分类任务中,PET再次占据主导地位,当使用所有PET切片时,获得了最高的F1分数82.48%。相比之下,增加更多的模态并不总是能提高性能,有时甚至会降低性能。例如,在使用Transformer头的完整多模态设置中,性能下降到了低于PET-Full的水平,而其他多模态组合也表明性能很大程度上取决于所选的模态集。这些结果表明,在当前的队列和输入设置中,PET提供了最强的区分信号,而MRI和DTI并不总能提供足够的互补信息来抵消额外的融合复杂性。一个合理的解释是,信息量较少或更不完整的模态,加上缺失模态的机制,引入了融合头无法完全抑制的变异性。因此,提出的多模态策略不应被解释为统一优于最强的单模态PET模型的替代方案。相反,当前框架的贡献在于为在异构模态可用性下的多模态分析提供了一个统一的测试平台,其中灵活性、跨配置的受控比较以及对失败模式的明确表征是核心目标。
值得注意的是,多模态结果在MC任务中比单切片基线提高了个百分点,在B任务中提高了个百分点。虽然这种改进可能看起来微不足道,但在筛查环境中,所提出的方法仍然可以在模态不完整的情况下支持更灵活的诊断建模。
然而,在比较所有场景时,我们观察到使用所有模态和所有切片并不一定会产生最佳结果。在某些情况下,这种配置的表现不如更有针对性的设置,这表明简单聚合所有可用信息可能会引入噪声或冗余,而不是提高分类性能。为了进一步研究融合策略,我们按照第4.6节描述的方法使用了基于Transformer的头部。鉴于在所有可能配置中训练此类模型的计算成本很高,我们将这项分析限制在MC和B分类任务中表现最好的CLS Mean配置上,如表7所总结的。这种选择允许Transformer头部实验作为未来扩展的实际且计算上可行的基线。
表7比较了表现最佳的多模态配置的分类结果,对比了CLS均值融合头部和Transformer融合头部。Transformer头部在最复杂的全多模态场景中显示出显著的改进,而CLS均值头部在单模态和跨切片融合中表现更好。结果以重复分层组k折交叉验证的平均值±标准差形式报告,每次交叉验证包含5折和5次重复,每种配置产生25个模型拟合结果。
表8对在PET-Full配置中使用Transformer融合头进行二分类时合成数据使用策略进行了消融研究。非选择性表示无论相应的真实模态是否已经可用,都使用合成模态;而仅缺失则仅限于真实模态不可用的情况。结果表明,控制合成数据的引入时机比单独进行损失减轻更有效,仅缺失的使用一致性地优于相应的非选择性加权设置。
总体而言,Transformer融合头部与CLS均值方法相比表现出互补的行为。虽然在较简单的设置(例如单模态或跨切片实验)中CLS均值头部表现更为稳健,但Transformer头部在更复杂的多模态场景中显示出一致的优势。例如,在全多模态配置中,当结合了所有模态和切片类型时,Transformer头部在MC和B分类任务中的表现分别提高了和。尽管相比相应的完整CLS均值配置有所改进,但在B任务中的全多模态Transformer结果仍然低于最强的单模态PET-Full基线,这表明多模态融合在这种情况下并不总是有益的。根据使用全部25次运行的成对t检验,这两种改进都是统计上显著的。当仅考虑5次独立重复时,MC的改进仍然显著,而B的改进则不再显著。同样,在DTI-PET配置中,Transformer融合头部在整体上获得了最佳的MC结果,表明该模型在整合互补模态时受益于联合特征细化。
5.6 生成增强分类为了有效地缓解缺失数据的问题,我们遵循这样的推理:每个患者必须至少与一种成像模态相关联。因此,我们训练了一个成像转换模型,以便将一种模态转换为另一种模态。通过利用现有的配对模态,我们使用其中一个作为ControlNet的输入,另一个作为生成模态的真实值。我们对每对可能的模态对重复进行训练-生成过程。在保留的总数据的测试集上,每对的完整生成指标在表11中报告,同时还报告了图像生成评估中常用的几个指标。图4展示了测试集上生成图像的可视化示例。
下载:下载高分辨率图像(791KB)
下载:下载全尺寸图像
图4. 生成数据增强中模态到模态转换的视觉示例。每一列显示一个源模态、相应的生成目标以及真实目标图像。行代表不同的解剖平面(轴向、冠状、矢状)。转换是通过在DTI、PET和MRI数据对之间使用基于ControlNet的条件完成的。生成的图像保留了解剖结构,同时捕捉了特定模态的强度模式,展示了模型合成辅助信号的能力,但其效果在跨模态支持不完整多模态数据学习时强烈依赖于配置。
训练超参数如下:迭代次数为次,批量大小为,图像分辨率为。我们使用L2损失作为生成方法的指导目标。通过使用ImageNet的标准值对图像进行均值-标准差规范化,并裁剪图像以使头部区域接触所有边界,以克服患者之间的姿势差异。
我们使用表11作为选择填充缺失数据的最佳生成模型组合的指南,该指南由所有选定指标的平均值指导。对于MSE等指标,较低的值表示更好的性能,我们从中减去该指标值;而对于PSNR,我们应用了min-max规范化将值缩放到范围内。
我们重复了表7中报告的实验,这次将生成的数据包含在训练集中(表9)。除了使用基于Transformer的头部的PET-Full实验外,大多数指标没有显著改进,该实验在MC分类中获得了新的最高F1分数。与使用基于Transformer的头部的相应未增强PET-Full配置相比,观察到的改进在所有25次运行(包括-k折子运行)和5次独立重复中都是统计上显著的。
表9比较了使用合成生成模态增强训练数据后,使用均值和Transformer融合头部的分类结果。Transformer头部在所有配置中都一致优于Mean头部,特别是在基于PET和全多模态设置中。这些结果表明,生成增强的效果强烈依赖于融合策略和配置,CLS均值显示出明显的下降,而Transformer头部则表现更为稳定。结果以重复分层组k折交叉验证的平均值±标准差形式报告,每次交叉验证包含5折和5次重复,每种配置产生25个模型拟合结果。
一个明显的观察是,简单地平均CLS标记是不够的:虽然填充缺失数据提供了更多信息,但也引入了噪声,导致泛化能力较差。尽管性能略有下降,但基于Transformer的头部仍然获得了接近表7中的结果。这可以通过数据量来解释:PET模态在所有模态中样本数量最多,因此加倍其训练数据是有益的。相反,对于像MRI这样的模态,当合成数据超过真实数据时,真实样本的稀缺导致结果较差。在几种设置中,这种下降非常明显。特别是,在PET-Full中,CLS均值二分类的F1从下降到,在Axial-Cross中从下降到,这表明多模态融合在这种情况下并不总是有益的。尽管如此,根据使用所有25次运行的成对t检验,这两种改进都是统计上显著的。当仅考虑5次独立重复时,MC的改进仍然显著,而B的改进则不再显著。同样,在DTI-PET配置中,Transformer融合头部总体上获得了最佳的MC结果,这表明该模型在整合互补模态时受益于联合特征细化。
5.6 生成增强分类为了提供一种清晰有效的缺失数据问题缓解方法,我们遵循这样的推理:每个患者必须与至少一种成像模态相关联。因此,我们训练了一个成像转换模型,以便将一种模态转换为另一种模态。通过利用现有的配对模态,我们使用其中一个作为ControlNet的输入,另一个作为生成模态的真实值。我们对每对可能的模态对重复进行训练-生成过程。在包括每对数据的一部分的保留测试集上,生成指标在表11中报告,同时报告了图像生成评估中常用的几个指标。图4展示了测试集上生成图像的可视化示例。
下载:下载高分辨率图像(791KB)
下载:下载全尺寸图像
图4. 生成数据增强中模态到模态转换的视觉示例。每一列显示一个源模态、相应的生成目标和真实目标图像。行代表不同的解剖平面(轴向、冠状、矢状)。转换是通过在DTI、PET和MRI数据对之间使用基于ControlNet的条件完成的。生成的图像保留了解剖结构,同时捕捉了特定模态的强度模式,展示了模型合成辅助信号的能力,但其效果在跨模态支持不完整多模态数据学习时强烈依赖于配置。
训练超参数如下:迭代次数为次,批量大小为,图像分辨率为。我们使用L2损失作为生成方法的指导目标。图像通过使用ImageNet的标准值进行均值-标准差规范化,并裁剪图像以使头部区域接触所有边界,以克服患者之间的姿势差异。
我们使用表11作为选择最佳生成模型组合来填充缺失数据的指南,该指南由所有选定指标的平均值指导。对于MSE等指标,较低的值表示更好的性能,我们从中减去该指标值;而对于PSNR,我们应用了min-max规范化将值缩放到范围内。
我们重复了表7中报告的实验,这次将生成的数据包含在训练集中(表9)。除了使用基于Transformer的头部的PET-Full实验外,大多数指标没有显著改进,该实验在MC分类中获得了新的最高F1分数。与使用基于Transformer的头部的相应未增强PET-Full配置相比,观察到的改进在所有25次运行(包括-k折子运行)和5次独立重复中都是统计上显著的。
表9比较了使用合成生成模态增强训练数据后,使用均值和Transformer融合头部的分类结果。Transformer头部在所有配置中一致优于Mean头部,特别是在基于PET和全多模态设置中。这些结果表明,生成增强的效果强烈依赖于融合策略和配置,CLS均值有明显的下降,而Transformer头部的行为更为稳定。结果以重复分层组k折交叉验证的平均值±标准差形式报告,每次交叉验证包含5折和5次重复,每种配置产生25个模型拟合结果。
一个明确的观察是,简单地对CLS标记进行平均是不够的:虽然填充缺失数据提供了更多信息,但也引入了噪声,导致泛化能力较差。尽管性能略有下降,但基于Transformer的头部仍然获得了接近表7中的结果。这可以通过数据量来解释:PET模态在所有模态中样本数量最多,因此将其训练数据加倍是有益的。相反,对于像MRI这样的模态,当合成数据超过真实数据时,真实样本的稀缺导致了较差的结果。在几种设置中,这种下降非常明显。特别是在PET-Full中,CLS均值二分类的F1从下降到,在Axial-Cross中从下降到,这证实了当合成特征与真实特征竞争时,非选择性合成增强可能是有害的。
5.6.1 选择性合成增强消融为了更好地理解观察到的下降是否是由于无差别地使用合成模态引起的,我们进行了额外的消融实验,重点是PET-Full配置下的二元CN与AD设置中的Transformer融合头部。在这项分析中,我们比较了通过和两种使用策略的合成损失权重:一种是非选择性策略,即即使相应的真实模态已经可用,也使用合成模态;另一种是仅缺失策略,即仅在真实模态不可用时使用合成模态。仅看二元F1,主要趋势是控制合成数据的引入时机比仅仅减少其损失贡献更为重要。在非选择性合成增强并带有损失加权的情况下,性能从提高到。当加权与仅缺失的使用结合时,性能从提高到。因此,在加权变体中,将合成模态限制在真正缺失的情况下比在非选择性增强下应用损失加权更有效。作为参考,表9中报告的相应PET-Full Transformer结果为,而仅使用真实模态的Transformer基线为。综合这些结果表明,在PET-Full配置中使用Transformer融合头部时,主要的下降源不仅仅是分配给合成样本的优化权重,还包括在真实模态已经可用时使用它们。选择性使用显著减轻了这种下降,尽管它并没有完全恢复仅使用真实模态的基线。
图5中的FID分析强烈支持这一解释。PET在各个方向上保持了稳定的FID分数(轴向:46.29,矢状:46.28,冠状:53.49),表明生成过程保留了底层数据分布并限制了噪声的引入。相比之下,MRI虽然实现了较低的绝对FID值(轴向:33.20,矢状:41.37,冠状:26.42),但未能改善泛化能力,表明仅考虑视觉保真度是不够的,可能会掩盖分布偏差。DTI进一步通过明显的方向依赖性FID下降突出了这一效应,特别是在矢状视图中的下降(轴向:44.69,矢状:94.35,冠状:66.25)。这些结果证实,有效的生成增强取决于分布的一致性,而不仅仅是绝对FID的最小化。
下载:下载高分辨率图像(78KB)
下载:下载全尺寸图像
图5. 不同成像模态和切片方向的FID分析。左侧面板按模态汇总了平均FID分数,而右侧面板按方向汇总。误差条分别表示不同方向或模态之间的变异性。虚线红线表示全局平均FID。PET显示出相对稳定的FID值,而MRI虽然平均FID较低,但对生成增强的敏感性较高。DTI显示出更高的变异性,特别是在不同方向上,这突显了生成数据中方向依赖的分布不匹配问题。混合下游结果表明,合成增强有时可以提供有用的辅助信号,但其效果强烈依赖于配置。在分类实验中,测试集仅包含真实图像,而在训练和验证过程中使用了合成数据。在任何生成训练之前就定义了受试者级别的划分。因此,对于每个外部 fold,都单独训练了一个 ControlNet 模型,该模型仅用于合成属于该 fold 的训练部分的受试者所缺失的模态,以便在同一 fold 内对训练和验证受试者进行合成。被分配到相应分类测试 fold 的受试者在生成训练或合成数据生成过程中从未被使用。由于计算限制,生成模型每个 fold 只训练一次,并在重复实验中重复使用,而不是为每次迭代或子 fold 分别训练模型。因此,我们为每个实验设置训练了五个生成模型,分别对应五个交叉验证 fold。观察到的分类性能提升表明,即使是不完美的重建图像也能为学习过程提供有价值的信息,而对真实图像的评估则确保了模型性能的可靠性。作为额外的下游验证,我们使用仅合成的图像训练了单模态分类器,并在相应的目标模态的真实保留图像上进行了评估。与表 4 中报告的相应真实数据基线相比,性能始终较低。在二分类 B 设置中,仅使用合成的最佳 F1 分别为 DTI、MRI 和 PET。在多类别 MC 设置中,仅使用合成的最佳 F1 分别为 DTI、MRI 和 PET。这些结果表明,生成的图像保留了有限的疾病相关信号,但它们不足以作为真实采集的独立替代品,其中 PET 和多类别设置的退化最为明显。因此,在当前框架中,合成模态应仅被视为在缺失模态情况下提高鲁棒性的辅助训练时增强工具,而不是用于直接模型训练或临床解释的独立可靠数据。因此,我们应该将生成模型在我们的框架中的角色理解为一种有限的训练时增强策略,用于处理缺失模态的情况。
为了评估生成模型是否保留了与疾病相关的模式,我们按诊断(CN、MCI、AD)对 SSIM 分数进行了分层。表 12 报告了每对源-目标和对的方向的结果。虽然某些跨模态转换的绝对 SSIM 值较为平淡,但各个诊断组之间的分数总体上是可比的,这表明模型没有引入强烈的偏见或系统性地降低疾病相关信息。
为了进一步说明生成增强的影响,我们还将基于 ControlNet 的合成方法与通常用作基线的简单缺失模态插补策略(如 k-NN)进行了比较。在 k-NN 插补中,缺失模态特征是通过平均最相似患者的可用表示来估计的,相似性是使用 Inception 网络的嵌入来计算的,这与 Fréchet Inception 距离评估一致,即相似性是在可用模态之间平均的。如表 10 所报,这些方法的性能与无插补基线(表 7)相比相当或更低,始终不如生成增强。这表明 ControlNet 的性能提升不仅仅是由于特征平均或基于局部相似性的插补。
表 10. 不同实验设置中 k-最近邻居插补估计缺失模态的性能。结果比较了 CLS 平均值和基于变换器的融合头的 F1 分数。
表 11. 模态转换指标。均值和标准差是在测试集图像上按诊断分层的。
表 12. 按诊断分层的测试集图像上的模态转换指标均值 SSIM 和标准差。
基于临床数据的生成增强分类
在生成增强实验的基础上,我们将临床和人口统计变量整合到多模态融合过程中。包括表格化患者信息(如人口统计和认知评估数据)提供了额外的线索,这些线索超越了基于成像的生物标志物,增强了疾病特征描述。这一步旨在捕捉患者级别的变异性,并提高阿尔茨海默病分类的鲁棒性。未使用合成增强的结果总结在表 13 中。与之前的多模态分析一致,基于变换器的融合头在几乎所有配置中都继续优于 CLS 平均值头。例如,在全模态设置中,基于变换器的融合头获得了(MC)和(B)的分数,分别比 CLS 平均值头高出百分比点和百分比点。跨模态对和跨切片配置也观察到了类似的趋势,这证实了注意力驱动的融合机制在结合成像和表格数据时提供了更丰富的跨模态推理。然而,使用全部 25 次运行和 5 次独立重复的统计评估表明,这些差异在 MC 或 B 分类中都不具有统计学意义(p>0.05)。因此,虽然临床特征可能提供额外的上下文,但它们对整体性能的贡献在当前实验中是有限的。
表 14. 在整合了临床特征和使用合成生成的成像模态后,使用基于变换器的融合头进行分类的结果。结果显示,在以 PET 为中心的配置中性能最强,但生成增强的效果在不同设置中表现不一,不应被解读为统一的益处。
表 15. 利用临床数据进行生成增强的分类。结果显示了按种族和性别分层分类的F1分数、校准间隙(CG)和样本大小(均值标准差)。样本大小是5次迭代的结果平均值。只有至少有30个样本的子组-任务组合才被定量报告。其他种族亚组未满足这一最小样本大小标准,因此从表格中省略了。观察到不同人口群体间的表现差异,并不代表模型的失败,反而突显了在模型开发中关注偏见问题的重要性,并为未来增强公平性的方法提供了基准。尽管这项工作提供了这些基础性见解,但它并没有实施明确的公平性训练或偏见缓解技术,这些策略的实际效果将在未来的研究中进一步探讨。这一分析为更广泛的医疗人工智能社区提供了宝贵的见解,强调了在医疗应用中构建包容性数据集和实现算法公平性的必要性。尽管如此,所报告的子群体分析还是提供了可操作的见解,可以为未来的偏见缓解策略提供参考。特别是,观察到的不平衡现象表明,通过过度采样代表性不足的子群体、根据子群体比例重新调整损失函数,或者结合领域适应机制来减少特定地点的效应,可以进一步提高不同人群之间的公平性。这些方向将留待未来的工作来探讨,在这些工作中可以严格评估针对性的缓解技术,而不会将公平性评估与干预效果混淆。
7.7. 应用转化机会
本研究中发现的局限性共同为临床转化指明了明确的路径。我们在受控条件下展示了该方法的有效性,这为未来的验证研究、与现有临床工作流程的整合以及开发部署就绪的系统提供了强有力的动力。每个局限性都代表了一个具体的研究方向,可以在我们的基础性贡献的基础上进一步推进该领域,使之产生实际的临床影响。
7.8. 时间泛化
本研究的另一个局限性是时间泛化和纵向一致性。为了减少标签的模糊性并避免潜在的数据泄露,我们的实验设计将分析限制在首次就诊的扫描数据上,并排除了那些在不同就诊中诊断发生变化的受试者。虽然这种选择支持横断面的、以筛查为导向的评估,但它阻止了直接评估模型预测是否随时间的推移而与疾病进展保持一致。为了部分探索这一方面,我们对那些表现出诊断进展的被排除患者子集进行了辅助评估,重点使用了结合临床数据和合成数据训练的PET模型,因为这是所有方法中表现最好的组合。在这个具有挑战性的队列中,性能显著下降,B环境中的F1分数为……,MC环境中的F1分数为……。准确性的降低和高方差表明,进展病例要复杂得多,这表明在横断面假设下训练的模型无法可靠地捕捉疾病的纵向动态。对时间一致性的原则性评估需要专门的纵向建模策略和多就诊次数的训练协议,这超出了本研究的范围。
8. 结论
这项工作表明,基础模型可以在模态数据不完整的情况下作为多模态神经影像分析的有用基础,同时也清楚地表明,多模态融合或生成增强并不会在所有情况下都带来统一的益处。在这个修订后的研究范围内,本文的贡献并不在于声称某种多模态解决方案具有普遍的优越性,而是提供了一个统一且可复制的框架,明确了这些策略在哪些方面具有竞争力,在哪些方面会退化,以及相对于强大的单模态体积基线还存在的局限性。我们的综合框架表明,视觉基础模型可以通过低秩适应方法适应神经影像分析,在最佳的多模态设置中,结合临床集成和生成增强后,MC AD分类的F1分数达到了……。基于ControlNet的生成组件为模态数据不完整的情况提供了一种实用的训练时增强策略。其优势在以PET为中心的配置中最为明显,而在其他配置中则显示出有限的提升甚至下降,这表明合成模态应被视为表示学习的辅助支持,而不是替代缺失的临床采集数据的理想选择。这种选择性使用合成增强方法与现实世界的临床限制相关,在这些限制下,成本、可访问性或患者因素可能会阻碍全面的成像协议,但它应被视为辅助支持而不是普遍有益的组成部分。基于Transformer的融合架构为建模跨模态交互提供了灵活的机制,在更复杂的多模态配置中特别有利,尽管在某些情况下简单的聚合方法仍然具有竞争力。除了技术贡献外,我们全面的公平性分析还为偏见敏感的医疗AI开发提供了结构化的性能和子群体级分析框架,揭示了不同人口群体间的重要表现差异,并为公平的算法设计提供了框架。我们对性能和公平性的双重关注使我们的工作位于朝着负责任的医疗人工智能发展的更广泛趋势之中。我们的发现表明,最初为自然图像开发的基础模型可以成功地适应专门的医疗领域,同时实现更加谨慎的子群体级公平性评估。这种跨领域的转移能力表明,在多个医学成像专业领域都有广泛的应用前景,有可能加速AI的发展,超越了神经成像的范围。通过将基础模型适应、多模态融合和缺失模态增强纳入一个实验框架中,本研究为在模态数据不完整的情况下进行神经影像分类的未来研究提供了方法论基础。我们希望这些结果有助于明确哪些设计选择是有前景的,哪些仍然有限,以及在哪些地方需要更强有力的多模态方法。
CRediT作者贡献声明:
Luca Zedda:撰写 – 审查和编辑、撰写 – 原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。
Andrea Loddo:撰写 – 审查和编辑、验证、监督、项目管理、调查、形式分析、概念化。
Cecilia Di Ruberto:撰写 – 审查和编辑、验证、监督、项目管理、调查、概念化。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号