《Frontiers in Aging Neuroscience》：Hybrid multimodal late fusion frameworks for bvFTD classification in imbalanced dementia datasets
编辑推荐：
背景：行为变异型额颞叶痴呆（behavioral variant frontotemporal dementia, bvFTD）是一种以人格和行为的进行性改变为特征的不可逆性神经退行性疾病。磁共振成像（Magnetic Resonance Imaging, M
背景：行为变异型额颞叶痴呆（behavioral variant frontotemporal dementia, bvFTD）是一种以人格和行为的进行性改变为特征的不可逆性神经退行性疾病。磁共振成像（Magnetic Resonance Imaging, MRI）被广泛用于检测和评估与该疾病相关的脑结构变化。然而，由于bvFTD在导致痴呆综合征的神经退行性疾病中患病率较低，传统机器学习方法可能难以捕获全面的特征表征。因此，本研究提出了两种晚期融合框架，将三维卷积神经网络（3D convolutional neural network, 3D CNN）与多层感知机（multilayer perceptron, MLP）相结合，以改进bvFTD的诊断。
方法：共纳入5,928名参与者，包括3,415名健康对照（healthy controls, HC）、2,276名阿尔茨海默病（Alzheimer's disease, AD）患者和237名bvFTD患者，形成了以bvFTD为少数类的类别不平衡环境。为解决类别不平衡问题，研究人员首先对bvFTD数据进行了增强。采用三维DenseNet（3D-DenseNet）从三维T1加权MRI扫描中提取特征，同时应用基于MLP的模型处理通过自动化MRI脑分割获得的区域脑体积测量数据。共训练了12种具有不同超参数配置的CNN模型。使用准确率（Accuracy）、F1分数（F1-score）和曲线下面积（area under the curve, AUC）对有数据增强和无数据增强的模型以及两种基于融合的方法进行了评估。
结果：与无数据增强的基线模型相比，两种融合策略均提高了准确率、F1分数和AUC。bvFTD类别也观察到了显著改善，F1分数提升高达120%。在其中一个融合框架中，bvFTD与HC分类的准确率达到0.95±0.01。结果表明，与非融合模型相比，基于融合的方法具有显著有效性，且优于多种现有最先进的方法。
结论：所提出的框架表明，数据增强和融合策略可以改善准确率、F1分数和AUC，且具有统计学显著性收益。总体而言，这些框架提高了诊断性能，并有助于识别与bvFTD病理相关的生物标志物。
**论文解读**
**一、研究背景**
痴呆（dementia）是一种以进行性认知功能下降（包括记忆和认知能力）为特征的临床综合征，严重影响患者的日常生活功能和独立性。在各类痴呆中，额颞叶痴呆（frontotemporal dementia, FTD）是仅次于阿尔茨海默病（Alzheimer's disease, AD）的早发型痴呆常见病因，症状通常在45至65岁之间出现。FTD谱系中最常见的临床亚型是行为变异型额颞叶痴呆（behavioral variant frontotemporal dementia, bvFTD），以进行性行为改变和人格障碍为特征，由额叶和前颞叶的神经退行性变引起。磁共振成像（Magnetic Resonance Imaging, MRI）作为一种非侵入性成像技术，能够生成高分辨率图像，在神经退行性疾病的表征和诊断中具有重要价值。
然而，痴呆亚型（尤其是bvFTD）的分析和诊断通常耗时、复杂且易受主观评估影响而产生变异性和误差。近年来，深度学习，尤其是卷积神经网络（convolutional neural networks, CNN），已成为医学图像分析的强大工具，能够自动学习和提取影像数据中的层次化特征并执行分类任务。多层感知机（multilayer perceptron, MLP）则是另一类深度学习模型，通过全连接层（dense layers）处理结构化或表格数据。将CNN和MLP结合可以同时利用影像数据的空间特征和非影像数据的互补信息。
尽管已有进展，bvFTD的分类仍面临多重挑战。现有方法主要依赖单一空间尺度的特征（如仅关注区域脑体积），可能无法捕获大脑层次结构中分布的互补信息。此外，由于bvFTD患病率较低（约占所有痴呆病例的2%至5%），在数据集中常常代表性不足，导致训练深度学习模型时出现类别不平衡（class imbalance）问题，使模型偏向多数类。许多现有多模态框架结合不同成像模态或整合人工提取的生物标志物，但较少有研究探讨从同一MRI模态中自动学习的空间表征与解剖学可解释的区域测量之间的互补价值，也缺乏对不同融合机制影响的系统评估。
针对上述局限性，研究人员提出了两种基于多模态MRI的晚期融合框架，整合了三维卷积神经网络（3D CNN）和基于MLP的特征表征。该框架与以往研究有三点不同：整合了来自同一结构MRI的两种互补表征——由3D CNN自动学习的空间特征和由MLP处理的解剖学可解释的感兴趣区（region-of-interest, ROI）级体积特征；系统研究了两种晚期融合策略；通过针对性数据增强缓解严重类别不平衡。研究汇总了来自10个独立公开数据库的约6,000例MRI扫描，构成该任务中最大的多中心数据集合之一，旨在提高模型的泛化能力和稳健性。
**二、关键技术方法（概述）**
研究使用了来自ADNI、AIBL、ARWiBo、BrainLat、DESCRIBE、EDSD、MIRIAD、NACC、NIFD和OASIS共10个公开数据库的5,928名参与者的3D T1加权结构MRI基线数据，包括3,415名HC、2,276名AD和237名bvFTD。MRI预处理流程包括：使用N4偏置场校正算法进行偏置场不均匀性校正；将图像配准到蒙特利尔神经病学研究所（Montreal Neurological Institute, MNI）标准空间；使用ANTs ImageMath进行强度归一化；使用HD-BET深度学习工具进行脑提取；使用ANTs流程结合Atropos分割算法进行组织分割，生成灰质概率图。为缓解类别不平衡，使用TorchIO库对约60%的bvFTD样本（140例）进行数据增强，采用随机弹性变形、随机gamma强度变换和随机偏置场畸变三种技术。特征提取方面，采用3D-DenseNet从MRI扫描中学习深层空间特征，同时使用FastSurfer进行自动皮层和皮层下分割，基于DKT图谱提取区域体积测量数据（经估计总颅内体积eTIV归一化），输入MLP模型。两种晚期融合策略分别为全连接（Fully-Connected, FC）融合策略和集成学习（Ensemble-Based, EB）融合策略。FC策略通过特征拼接和全连接层进行AD、bvFTD和HC的三类分类；EB策略结合支持向量机（SVM）、随机森林（RF）、朴素贝叶斯（NB）和XGBoost四种分类器，采用加权软投票方案进行二分类任务评估。研究还使用层级相关传播（Layer-wise Relevance Propagation, LRP）的LRP-ε规则进行模型可解释性分析。共训练了12种不同超参数配置的CNN模型，所有实验在固定随机种子条件下进行。
**三、研究结果**
**（1）全连接融合策略**
与无数据增强的基线模型（FC-Baseline）相比，单独数据增强（FC-Augmented）后整体准确率无显著变化（0.713±0.034 vs. 0.716±0.030，p=0.79），但bvFTD类别的F1分数从0.39±0.10显著提升至0.54±0.07（p=0.001），AUC从0.87±0.02提升至0.897±0.02（p=0.013）。融合模型（FC-Fused）进一步将整体准确率提升至0.75±0.017（p=0.006），AD和bvFTD的F1分数分别提升至0.67±0.02（p=0.02）和0.66±0.04（p=0.002），AUC在所有类别中均呈现统计学显著增加。平均相对性能变化分析表明，FC-Fused设置下bvFTD的F1分数相对基线提升79.43%（p<0.01）。
**（2）集成融合策略**
在二分类任务中，EB-Augmented设置相比EB-Baseline一致改善了性能。AD vs. HC任务的准确率、F1分数和AUC均有统计学显著提升（均p<0.01）。bvFTD vs. HC任务的F1分数提升106.00%（p<0.001），反映出对少数类敏感性的增强。EB-Fused策略进一步提升了性能，bvFTD vs. HC任务达到最高准确率0.95±0.01，F1分数相对基线提升122.40%（p<0.001），AUC达到0.91±0.01。AD vs. bvFTD任务在融合后出现轻微的准确率和F1分数下降，表明该任务在临床重叠条件下仍具挑战性。
**（3）模型可解释性分析**
LRP相关图（relevance maps）显示，AD组中模型主要关注额叶和顶颞叶中分布的灰质区域，以及右侧海马区；bvFTD组中信息最丰富的区域集中在额叶结构以及胆碱能基底前脑（cholinergic basal forebrain）；HC组中海马、岛叶皮层（insular cortex）和丘脑（thalamus）显示出高相关性，提示模型利用这些结构的完整性来区分健康对照与病理组。
**四、讨论与结论**
研究表明，两种晚期融合策略均能改善类别不平衡条件下bvFTD的诊断性能。数据增强提高了少数类的表征，而多模态融合通过整合空间深层特征与解剖学可解释的体积特征提供了更一致的增益。与现有文献相比，本研究在bvFTD vs. HC分类中达到95%的准确率，优于Meyer等人（81.7%）、Lampe等人（81%）和Pérez-Millan等人（82.1%–83%）等研究。然而，研究存在若干局限性：样本量和队列多样性相对有限，且评估仅为内部验证而非独立外部验证；存在潜在的选择偏倚；bvFTD样本极度有限（仅约6%）；框架仅依赖结构MRI和ROI体积测量，未整合扩散张量成像（diffusion tensor imaging, DTI）、正电子发射断层扫描（positron emission tomography, PET）或功能磁共振成像（functional MRI, fMRI）等额外模态；超参数优化策略有待扩展。未来需要进行前瞻性多中心验证以确立临床实用性。
研究结论：本研究通过引入两种多视角特征学习框架，扩展了传统单模态bvFTD分类方法。研究结果表明，多种特征的互补整合——而非依赖单一特征类型——为bvFTD相关病理提供了更全面的表征。这种多尺度融合改善了bvFTD和AD的诊断性能，为在类别不平衡条件下区分具有重叠结构模式的痴呆亚型提供了潜在的研究方向。
