基于DINOv2预训练视觉Transformer的有限标注数据下胸片卒中与心力衰竭检测

《Journal of Imaging Informatics in Medicine》：DINOv2-Pretrained Vision Transformers for Stroke and Heart Failure Detection from Chest X-rays with Limited Labeled Data

　　

心血管疾病和脑血管疾病是全球范围内的主要死因，这推动了可扩展、非侵入性筛查方法的发展。胸片（CXR）广泛可得，但当前的深度学习方法依赖于大规模标注数据集，而这些数据在临床实践中获取成本高昂。研究人员提出了一种三阶段框架，将DINOv2自监督学习与视觉Transformer（ViT）相结合，在有限标注数据下从胸片中检测卒中和心力衰竭。首先使用在LVD-142M数据集上预训练的DINOv2权重初始化ViT-Small/14骨干网络，随后在来自UCSD数据集的5368张无标注胸片上进行自监督预训练以进行领域自适应，在此过程中冻结底部8个Transformer块以在领域适应期间保留通用视觉表征。模型评估通过冻结骨干网络的线性探针（linear probing）在来自NTUH-iMD数据库的每任务2000张标注图像上进行。消融实验证实，在线性探针下每个预训练阶段均带来可测量的性能提升。在与五个涵盖通用领域和医学领域预训练的SSL基线在相同评估协议下的对比中，卒中模型取得了89.60±1.39%的准确率和89.55±1.40%的F1分数，优于包括参数量接近其四倍的RAD-DINO在内的所有基线。心力衰竭模型取得了92.52±1.57%的准确率，超越了GLoRIA、CheXzero和RAD-DINO。研究人员进一步表明，负类组成对性能有决定性影响，正常胸片比例应结合其对任务难度的影响进行解读。注意力可视化证实两个模型均聚焦于具有解剖学意义的心脏和肺部区域，支持了所提出框架的临床可解释性。

论文解读：基于DINOv2预训练视觉Transformer的有限标注数据下胸片卒中与心力衰竭检测

一、研究背景与问题

心血管疾病（cardiovascular disease，CVD）是全球范围内导致死亡的主要原因之一，对个体健康构成重大威胁，同时给全球医疗系统带来沉重的经济负担。CVD涵盖涉及心脏和血管的广泛疾病谱，包括卒中、心力衰竭、高血压性心脏病、风湿性心脏病和外周动脉疾病等。既往医学影像领域的研究主要采用监督学习方法，但训练监督学习模型需要大量标注数据，这不仅要求庞大的标注数据集，还需要可观的计算资源和时间成本。医学影像数据通常涉及高度敏感的个人隐私和保密性，使得数据的获取和收集过程相对困难且受限。医学图像的标注需要专业人员或医师进行人工标注，不仅耗时且劳动成本高昂，成为医学影像研究的主要挑战之一。

此外，医学影像中的深度学习模型还面临标注延迟、高标注成本、模型预测可解释性、模型泛化能力以及数据收集、清洗和预处理中的多种技术难题。因此，如何在有限标注数据下有效训练模型并克服上述挑战，已成为当前医学影像研究的重要问题。近年来，自监督学习（self-supervised learning，SSL）和迁移学习（transfer learning）方法受到广泛关注。这些方法在保持甚至提升模型性能的同时减少了对大量标注数据的依赖。自监督学习通过设计预测任务从未标注数据中提取有价值的特征表征，从而有效利用海量无标注医学影像数据。迁移学习则利用在大规模数据集上预训练的模型权重，将其知识迁移到特定医学影像分析任务中，显著缩短模型训练时间并提升模型泛化能力。

本研究以卒中和心力衰竭这两种具有部分共同危险因素的常见疾病为例。尽管卒中是脑血管事件，其主要的心源性栓塞亚型源于心脏结构性病理改变，包括左心房增大、射血分数降低和瓣膜疾病，这些改变可直接在胸片上显现。已有研究表明，胸片可检测的心脏特征携带心源性栓塞性卒中分类的判别信号，基于常规胸片的深度学习模型可以预测包括卒中在内的主要不良心血管事件，性能与既有临床风险评分相当。这使基于胸片的卒中检测定位为一种机会性、低成本的替代筛查手段。该研究发表于《Journal of Imaging Informatics in Medicine》。

二、关键技术方法

研究人员提出了一个三阶段框架，将DINOv2自监督学习与视觉Transformer（ViT）相结合。第一阶段，使用在LVD-142M大规模数据集上通过DINOv2自监督学习框架预训练的权重初始化ViT-Small/14骨干网络。第二阶段，在来自UCSD（加州大学圣迭戈分校）数据集的5368张无标注胸片上进行持续自监督预训练，该数据集包含来自广州市妇女儿童医疗中心的儿科肺炎和正常胸片，不含任何卒中或心力衰竭病例。在此过程中冻结底部8个Transformer块以保留通用视觉表征，同时采用分层学习率衰减（layer-wise learning rate decay，LLRD）策略。第三阶段，在NTUH-iMD（国立台湾大学医学院附设医院整合式医疗数据库）的医师标注数据上对冻结骨干网络进行线性探针（linear probing）二分类。此外，研究人员还从Kaggle COVID-19放射学数据库中纳入正常胸片图像以增强数据泛化性。数据预处理包括DICOM格式转PNG、统一裁剪至512×512像素以及CLAHE（对比度受限自适应直方图均衡化）增强。

三、研究结果

正常胸片数据比例的影响。 为评估在负类中纳入正常胸片样本对模型性能的影响，研究人员将来自Kaggle COVID-19放射学数据库的正常胸片以10%、20%、50%和80%的比例混入负类。结果表明，负类组成是胸片疾病分类的关键因素。随着负类中正常胸片比例的增加，模型接触到更多样化和更具代表性的非疾病外观，能够学习更锐利的疾病与非疾病影像判别边界。80%正常数据比例配置在两项任务中均取得最佳性能，因此被采纳为主要实验设置。

预训练流程的影响。 消融实验比较了三种初始化策略：随机初始化、LVD-142M预训练初始化、以及LVD-142M加UCSD胸片预训练的连续初始化。在卒中和心力衰竭检测任务中，随着初始化策略逐步向领域对齐方向推进，性能呈现一致的提升趋势。随机初始化产生最弱的性能；从LVD-142M初始化带来各指标的显著提升；进一步以UCSD胸片预训练初始化再次提升了两项任务的性能，其中心力衰竭检测的提升幅度最大。预训练配置的跨种子方差降低进一步表明学习表征的稳定性增强。

SSL模型线性探针性能对比。 在相同线性探针协议下，研究人员将所提出模型与五个涵盖通用领域和医学领域SSL预训练的基线模型进行对比。对于卒中检测，所提出模型取得了89.60%±1.39的最高准确率和89.55%±1.40的F1分数，优于包括使用ViT-B/14骨干网络、参数量达8660万、接近所提出模型2200万参数四倍的RAD-DINO在内的所有基线。GLoRIA和CheXzero分别为83.10%和87.10%。对于心力衰竭检测，所提出模型取得92.52%±1.57的准确率，排名第一，以显著优势超越RAD-DINO（91.03%）、CheXzero（88.54%）和GLoRIA（85.66%）。所提出模型在两项任务中均排名第一，同时以最小的竞争性参数量运行，展现了最一致的性能。

临床可解释性。 注意力可视化揭示了模型决策过程以及正常数据比例对学习注意力模式的影响。随着正常数据比例从10%增加到80%，注意力模式变得更加聚焦和具有临床相关性。在较低正常比例（10%–20%）下，注意力显得较为分散；在80%正常数据下，两个模型均聚焦于具有解剖学意义的心脏和肺部区域。

四、讨论与结论

所提出模型的性能优势源于其复合初始化策略。GLoRIA和CheXzero受限于图像-文本对比学习目标，限制了学习嵌入的几何丰富性。MAE和DINOv2-LVD-142M提供强大的通用表征，但缺乏胸片特异性形态学暴露，降低了放射学任务上的线性可分性。RAD-DINO通过大规模放射学预训练实现领域特异性，但参数量接近所提出模型的四倍。所提出模型独特地结合了1.42亿图像DINOv2预训练的表征深度与UCSD阶段通过部分ViT骨干网络实现的针对性胸片领域适应，以极低的参数成本实现领域对齐。

研究结论表明，自监督学习与视觉Transformer相结合能够在有限标注数据下从胸片图像中准确检测卒中和心力衰竭。消融实验证实每个预训练阶段均带来可测量的性能增益，完整的三阶段初始化持续优于随机初始化和仅LVD-142M初始化。在冻结骨干网络线性探针协议下，卒中模型取得89.60%±1.39的准确率和89.55%±1.40的F1分数，优于包括参数量接近其四倍的RAD-DINO在内的所有SSL基线；心力衰竭模型取得92.52%±1.57的准确率，以显著优势超越GLoRIA、CheXzero和RAD-DINO。负类中正常胸片比例显著影响分类性能，80%正常配置产生最优结果，但这一提升既反映了对视觉上更明显的正常影像的更锐利判别边界，也反映了任务难度的变化。注意力可视化证实两个模型均聚焦于具有解剖学意义的心脏和肺部区域，支持临床可解释性。这些发现确立了轻量级、参数高效的SSL流程结合针对性胸片领域适应能够以显著更少的参数实现与更大规模领域专用基础模型相当的竞争性能。

研究局限性包括：负类中的正常胸片图像来自Kaggle COVID-19放射学数据库，与NTUH-iMD在采集环境上存在差异，尽管在加载时统一应用了直方图均衡化以归一化强度分布，但残余领域差异可能存在；两项任务均在单一专有NTUH-iMD数据集上评估，独立多中心队列的外部验证是临床转化的关键下一步；基于胸片的卒中检测反映的是间接心源性栓塞风险信号而非直接脑血管成像，应定位为机会性筛查工具而非确定性诊断仪器；所有模型均在标准化224×224输入分辨率下评估，原本在更高分辨率下训练的模型可能在其原生评估设置下表现不同。