《Communications Medicine》：Resolution-dependent self-supervised transfer in chest radiograph classification
编辑推荐：
背景：自我监督学习（self-supervised learning，SSL）已改善视觉表征学习，但其在胸部放射影像中的价值仍不确定。DINOv3 通过 Gram-anchored self-distillation 与显式高分辨率适配扩展了早期 SSL 模型
背景：自我监督学习（self-supervised learning，SSL）已改善视觉表征学习，但其在胸部放射影像中的价值仍不确定。DINOv3 通过 Gram-anchored self-distillation 与显式高分辨率适配扩展了早期 SSL 模型。这些方法变化是否能改善胸部放射影像分类的迁移学习尚未确立。方法：研究人员将 DINOv3 与 DINOv2 及监督式 ImageNet 初始化在 7 个胸部放射影像数据集（共 816,183 张来自儿童与成人队列的放射影像）上进行了基准测试。评估了 ViT-B/16 与 ConvNeXt-B 在 224×224 与 512×512 像素下全微调，并在 3 个队列中开展 1024×1024 像素定向实验。补充分析包括参数高效适配、合成标签损坏、外部验证、冻结 7B 特征及计算效率。主要结局为各标签平均受试者工作特征曲线下面积（area under the receiver operating characteristic curve，AUROC）。结果：成人队列中，DINOv3 在 224×224 像素未持续优于 DINOv2，但在 512×512 像素成为最强初始化，尤其使用 ConvNeXt-B 时。增益在小型局灶性与边界依赖异常中最明显，大结构发现变化很小。儿童队列未显示 DINOv3、更高分辨率或骨干网络选择的显著收益。扩展到 1024×1024 很少提升性能且明显增加计算成本。ConvNeXt-B 在全微调与参数高效适配下均优于 ViT-B/16。外部验证保留了 512×512 DINOv3 优势；合成标签损坏表明该收益不应简单解释为更强噪声鲁棒性。冻结 DINOv3-7B 特征逊于完全适配的 8600 万至 8900 万参数骨干网络。结论：对于成人胸部放射影像分类，DINOv3 的最可靠收益出现在 512×512 像素，尤其配合 ConvNeXt-B；完全适配的中等规模模型在 512×512 像素提供了最佳性能-成本权衡。
该研究发表于《Communications Medicine》。研究背景方面，胸部放射摄影是全球应用最广的成像检查，也是肺部与心脏异常筛查的一线工具。间质性疾病、网状改变、弥漫性肺实变等低对比度或细微征象难以识别，推动自动化分析辅助判读与分诊。早期方法依赖监督式深度学习，先用 ImageNet 等大规模标注数据预训练，再微调到放射影像任务；但这种策略受自然图像与医学图像领域错位和昂贵人工标注瓶颈限制。SSL 通过不依赖人工标签的预训练目标，可利用海量无标注数据学习可迁移视觉表征，MoCo、SimCLR、BYOL、SwAV 等在自然图像上表现突出，但在医学影像中常因规模有限、标签质量不一、临床泛化性未明而存在疑问。Transformer 架构与 ConvNeXt 等现代卷积骨干重塑了视觉表征学习，DINO 系列影响尤大；DINOv2 已在胸部放射影像分类中匹配或超越 ImageNet 监督预训练。Meta 的 DINOv3 引入 Gram-anchored self-distillation 与显式高分辨率适配，但是否在胸部放射影像中带来任务特定收益、是否仅在更高分辨率显现、能否跨机构与跨年龄队列泛化、是否依赖骨干或适配方式、弱标签上的提升是更好迁移还是仅对标签噪声更宽容，均属未解问题。
研究人员据此开展大规模胸部放射影像聚焦评估：在 7 个国际队列、816,183 张 AP 或 PA 胸部放射影像上，比较 ImageNet 监督初始化、DINOv2 与 DINOv3 两类 SSL 初始化；覆盖 ViT-B/16（约 8600 万参数）与 ConvNeXt-B（约 8900 万参数）两类骨干，输入分辨率从 224×224 到 1024×1024 像素，并以 1024 设置探测进一步缩放。研究结论指向：成人队列中 DINOv3 的最可复现收益在 512×512 像素、尤其 ConvNeXt-B 下获得；儿童队列不遵循该分辨率缩放规律；超过 512×512 的收益有限而成本陡增；完全适配的中等规模模型提供最佳性能-成本权衡。该工作为现代 SSL 用于胸部放射影像提供了按队列类型、分辨率、骨干与适配方式分层的使用指南，避免临床部署中盲目追求更大模型或更高等分辨率。
关键技术方法上，样本来自 Pedi-CXR、VinDr-CXR、ChestX-ray14、PadChest、CheXpert、MIMIC-CXR 与 UKA-CXR 七个公开或机构队列，覆盖亚洲、欧洲、北美及儿童与成人人群。研究人员采用统一二值多标签框架与固定患者级划分，比较三种初始化与两类骨干；全微调以 Adam、学习率 10-5、加权二分类交叉熵进行；参数高效适配采用低秩适配（low-rank adaptation，LoRA）；以冻结 DINOv3-7B 特征加轻量 DINO-Net 探测大模型替代微调的可行性；在 VinDr-CXR 注入非对称合成标签噪声检验噪声鲁棒性解释；以 MIMIC-CXR 训练、ChestX-ray14 与 CheXpert 测试开展跨机构外部验证；并以单卡 NVIDIA L40S 上每轮训练时间与总墙钟时间衡量计算效率。
研究结果如下。DINOv3 gains emerge at 512×512 pixels in adult chest radiograph cohorts：研究人员在六个成人队列中发现，224×224 像素下 DINOv3 并未持续超越 DINOv2；到 512×512 像素，ViT-B/16 上 DINOv3 在全部六个成人队列优于 DINOv2，ConvNeXt-B 配 DINOv3 更取得六个成人数据集最高均值 AUROC，且相对 ImageNet 初始化显著提升。增益集中在小局灶病变与边界依赖发现，大结构发现几乎不变。
The pediatric cohort shows a distinct transfer pattern that does not mirror adult resolution scaling：Pedi-CXR 是唯一不跟随成人缩放规律的队列；224 到 512 像素中位增益仅 +0.74 个百分点，五类配置 AUROC 跨度不足 0.5 个百分点，DINOv3 相对 ImageNet 或 DINOv2 均无显著优势，标签层面也无可复现上移，说明儿童胸部 X 线迁移决定因素与成人不同。
Scaling beyond 512×512 yields limited benefit despite sharply increased computational cost：在 Pedi-CXR、ChestX-ray14、MIMIC-CXR 的 1024×1024 探测中，仅 MIMIC-CXR 上 ConvNeXt-B 有少量显著提升；ViT-B/16 多处下降。512 到 1024 每轮训练时间平均增至 6.2±4.4 倍，ViT-B/16 更达 7.9±4.4 倍，总墙钟成本激增，但精度回报有限，实用点位仍留在 512×512。
ConvNeXt-B remains superior to ViT-B/16 under both full and parameter-efficient adaptation：全微调下 ConvNeXt-B 稳定优于 ViT-B/16；LoRA 使所有配置低于全微调，但 ConvNeXt-B 优势未消失反而多在扩大，ViT-B/16 对受限适配更敏感。AUROC 与平均精度均值（mean average precision，mAP）排序一致，说明骨干差异不是单一指标假象。
DINOv3’s clean-label advantage diminishes under synthetic label corruption：VinDr-CXR 上干净标签时 DINOv3 最高，但 10% 到 40% 非对称标签损坏下衰减最快，40% 时 AUROC 与 mAP 均跌至三者末位，atelectasis 等标签掉落极重。该实验说明主基准中的 DINOv3 弱标签收益不能简单归因为内在噪声鲁棒性。
DINOv3 generalizes across institutions under external validation：以 MIMIC-CXR 训练、ChestX-ray14 与 CheXpert 测试，512×512 下外部跌落仅 0.9 到 2.7 个百分点，DINOv3 与 ConvNeXt-B 组合仍保持优势，说明 512×512 DINOv3 收益可跨机构保留。
讨论部分总结：研究人员指出，主基准采用患者级同数据集划分，测量的是同队列患者级泛化，不是严格的数据集级域外泛化；跨机构外部验证才补充了域偏移证据。DINOv3 的成人收益具有分辨率门槛，512×512 是 SSL 高分辨率表征与训练成本的交汇点；儿童队列、1024 缩放、冻结 7B 特征、LoRA 与标签噪声实验共同说明，更大的基础模型、更高分辨率或参数高效方案都不是无条件更优。标签噪声实验尤其纠正了一种误读：弱标签数据集上的 DINOv3 优势不代表它更能容忍错误监督。整体来看，论文主张按任务人群、分辨率、骨干与适配机制选择初始化，而不是默认采用最新最大模型。
结论部分翻译：对于成人胸部放射影像分类，DINOv3 在 512×512 像素、尤其配合 ConvNeXt-B 时提供最可靠收益。在研究人员基准中，512×512 像素下完全适配的中等规模模型提供了最佳性能-成本权衡。
