《International Journal of Imaging Systems and Technology》：A Comprehensive Study of Transfer Learning, Resolution Reduction, and Multi-View Classification for Breast Cancer Detection in Mammograms
编辑推荐：
摘要翻译：
乳腺X线摄影是一种基于X射线的成像技术，在乳腺癌早期检测中仍处于核心地位。人工智能的最新进展使得计算机辅助诊断方法日益精密，其演进路径从基于图像块的分类器发展到全图像方法，再到联合分析互补投影的多视图架构。尽管取得了这些进展，若干关键问题仍未得到解
摘要翻译：
乳腺X线摄影是一种基于X射线的成像技术，在乳腺癌早期检测中仍处于核心地位。人工智能的最新进展使得计算机辅助诊断方法日益精密，其演进路径从基于图像块的分类器发展到全图像方法，再到联合分析互补投影的多视图架构。尽管取得了这些进展，若干关键问题仍未得到解答。尽管基于CNN的乳腺X线摄影分类的各个单独方面（如图像块预训练、骨干网络可迁移性和多视图融合）已在先前工作中分别得到研究，但尚无统一比较在受控条件下、跨图像质量对比鲜明的数据集上对它们进行考察。在本研究中，研究人员通过一项围绕五个相互关联问题展开的系统实证调查来填补这一空白：（1）图像块分类器的作用；（2）自然图像训练骨干网络的可迁移性；（3）“学习重缩放”相比传统降采样的优势；（4）多视图整合的贡献；（5）研究结果在不同图像质量下的稳健性。问题（3）和（5）是首次在此得到解决，而问题（1）、（2）和（4）则在统一协议下被重新检验，该协议揭示了先前的单数据集研究无法观察到的数据集质量依赖性。除基准测试外，研究人员的实验证明其性能明显优于先前工作。对于CBIS-DDSM数据集，研究人员将单视图AUC从0.8153提升至0.8343，多视图AUC从0.8483提升至0.8658。研究人员还引入了一种比较协议，通过将每个视图的单视图预测聚合为每个检查的分数，使单视图和多视图分类器处于相同的评估基础上，从而实现两者之间具有统计有效性的比较；使用该协议，研究人员在CBIS-DDSM上测得从单视图扩展到多视图分析获得了0.0217的AUC增益。在完整的VinDr-Mammo数据集上，多视图方法进一步提升了结果，相比单视图实现了0.0492的AUC提升，并达到0.8511的总体AUC。这些结果确立了新的最先进基准，为多视图架构在乳腺X线摄影解读中的优势提供了明确证据。除性能之外，研究人员的分析还为模型设计和迁移学习策略提供了有原则的见解，有助于开发更准确、更可靠的乳腺癌筛查工具。推理代码和训练模型可在https://github.com/dpetrini/multiple-view公开获取。
论文解读文章：
**研究背景与问题**
乳腺癌是全球女性中最常见的癌症，约占2022年新诊断癌症病例的23.8%。乳腺X线摄影（mammography）作为基于X射线的成像技术，是早期乳腺癌检测的金标准。然而，乳腺X线摄影的判读需要高度专业知识，即使经验丰富的放射科医师借助计算机辅助检测与诊断（CAD）系统，误差仍然普遍存在。例如，Bahl和Do报道医师判读乳腺X线摄影的敏感性仅为87%，间期癌率（阴性乳腺X线摄影结果后诊断出的癌症）约为30%。这凸显了传统诊断方法的局限性以及引入基于人工智能的CAD系统以减少误差的潜在益处。
早期将卷积神经网络（CNN）应用于乳腺X线摄影分类的研究，如Kooi等人的工作，揭示了从自然图像任务直接迁移的挑战。癌变病灶的细微性和局部性，加之乳腺X线摄影的高分辨率、单通道特性，限制了常规CNN的有效性，需要专门的方法论。为应对这些挑战，Shen等人提出了两阶段迁移学习方法：先训练一个“图像块分类器”（patch classifier）对乳腺X线摄影小区域进行分类，再用其初始化“单视图全图像分类器”。Petrini等人通过引入第三阶段同时分析内外斜位（MLO）和头尾位（CC）两个视图，显著提高了公开数据集上的准确性。
尽管先前研究已分别考察了基于图像块的预训练、ImageNet骨干网络的可迁移性和多视图融合，但这些研究是在异构数据集、划分和评估协议下孤立进行的，难以就每个设计选择何时及为何有效得出原则性结论。此外，尚无研究在受控条件下跨图像质量对比鲜明的数据集上统一比较这些方法。本研究旨在填补这一空白。
**研究方法**
研究人员使用CBIS-DDSM（低质量数字化模拟乳腺X线摄影）和VinDr-Mammo（高质量全视野数字乳腺X线摄影，FFDM）两个公开数据集，构建了统一实验框架。研究围绕五个核心问题展开：（1）图像块分类器是否必要；（2）最适合乳腺X线摄影分类的骨干网络是什么；（3）能否在不显著影响分类性能的情况下降低乳腺X线摄影分辨率，包括评估“学习重缩放”（learn-to-resize）技术；（4）双视图分类器相比单视图分类器是否有显著性能提升；（5）图像质量如何影响上述问题的答案。
研究采用以下主要技术方法：对于CBIS-DDSM数据集，从病变注释区域提取224×224像素的图像块，分为背景、良性钙化、恶性钙化、良性肿块和恶性肿块五类；对于VinDr-Mammo数据集，利用病变标注提取背景及BI-RADS 3、4、5四类图像块。训练图像块分类器（PBC）后，将其权重迁移至单视图全图像分类器；同时直接使用ImageNet预训练权重训练直接分类器（DC）。评估了22种（CBIS-DDSM）和7种（VinDr-Mammo）骨干网络架构。图像降采样实验中，将图像从1152×896降至576×448，分别使用OpenCV的INTER_AREA插值（固定重缩放，FRC）和“学习重缩放”（LRC）技术。多视图分类器通过将最佳单视图模型的权重迁移至双视图网络，对CC和MLO视图的特征图进行二维拼接后联合处理。统计分析采用Hanley-McNeil假设检验和DeLong检验，以AUC为主要性能指标。
**研究结果**
***单视图分类器在CBIS-DDSM上的结果***
图像块分类器实验中，ConvNeXt-Base取得最高准确率0.7918。在基于图像块的全图像分类器（PBC）中，EfficientNet-B3以AUC 0.8325±0.0171表现最佳；在直接分类器（DC）中，EfficientNet-B3同样最优，AUC为0.8313±0.0172。假设检验表明PBC和DC之间无显著差异（p=0.4721），且14个基础模型在PBC下表现更好，8个在DC下更好，因此对于低质量乳腺X线摄影数据集，图像块预训练并非必要策略。相关性分析显示，PBC的AUC与骨干网络在ImageNet上的top-1准确率呈中等正相关（r=0.6491），而DC呈弱相关（r=0.2681）。相比先前工作，本研究的PBC和DC分别显著优于文献[6]报道的0.8033（p=0.0499和p=0.0575）。
***CBIS-DDSM上的降分辨率分类器***
固定重缩放分类器（FRC）的最高AUC为0.8167±0.0178（ResNet-50），学习重缩放分类器（LRC）的最高AUC为0.7958±0.0186（MobileNetV3-Large）。LRC性能低于FRC但差异不显著（p=0.1257）。两种降分辨率方法均未超过不降分辨率的DC（0.8313），但差异未达统计显著性。因此，学习重缩放技术相比传统固定降采样没有实际优势。
***CBIS-DDSM上的双视图分类器***
使用最佳单视图权重构建的双视图分类器中，EfficientNet-B3（DC）取得最高AUC 0.8643±0.0241，经测试时增强（TTA）后达0.8658±0.0239，显著优于文献[6]报道的0.8418（p=0.0821）。采用按检查聚合协议，将单视图模型对CC和MLO视图的独立预测进行平均或取最大操作后，双视图模型（0.8643）显著优于平均操作（0.8420，p=0.0280）和最大操作（0.8426，p=0.0286）。这表明同时分类两个视图在统计上优于分别分类后聚合结果。
***单视图分类器在VinDr-Mammo上的结果***
图像块分类器中ConvNeXt-Base(22k)准确率最高（0.7052）。在PBC模型中，ConvNeXt-Base(22k)取得最佳AUC 0.8510±0.0163，显著优于第二名的EfficientNet-B3（p=0.0369）。在DC模型中，DenseNet169以AUC 0.8134±0.0136表现最佳。DeLong检验表明PBC的最佳模型显著优于DC的最佳模型（p=0.0013）。因此，对于高质量数字乳腺X线摄影，推荐使用PBC方法。PBC的AUC与ImageNet top-1准确率呈强正相关（r=0.7288），而DC呈弱负相关。
***VinDr-Mammo上的降分辨率分类器与双视图分类器***
降分辨率实验中，FRC最佳AUC为0.8116±0.0136（ResNet-50），LRC最佳AUC为0.8095±0.0137（EfficientNetV2-S(21k)）。两者差异不显著（p=0.4388）。然而，降分辨率（576×448）的最佳分类器AUC显著低于不降分辨率（1152×896）的最佳分类器（0.8510），p=0.0013。因此不建议在分类前降低高质量数字乳腺X线摄影的分辨率。双视图分类器使用ConvNeXt-Base(22k)（PBC）构建，取得AUC 0.8511±0.0177，经聚合协议比较，双视图显著优于单视图输出的平均（0.8019）和最大（0.8017）操作，p值分别低于0.0030。
**讨论与结论**
研究揭示了图像质量对模型设计选择的根本性调节作用：图像块预训练在低质量数字化模拟乳腺X线摄影中无显著益处，但在高质量全视野数字乳腺X线摄影中显著提升分类性能。骨干网络选择同样依赖数据集质量，EfficientNet-B3适用于低质量数据集，而ConvNeXt-Base结合图像块预训练更适用于FFDM数据集。研究还发现ImageNet-22k/21k预训练并不总优于ImageNet-1k，但更大预训练输入尺寸与更好结果相关。
研究结论指出，降低乳腺X线摄影分辨率会持续损害模型性能，尤其对高质量数字图像影响显著；“学习重缩放”技术虽在自然图像上有效，但在乳腺X线摄影数据集上未优于传统固定降采样，且计算复杂度更高，因此不建议采用。双视图分类方法在两个数据集上均显著优于单视图分类器，支持多视图策略在未来乳腺X线摄影分析框架中的采用。研究还强调了深度学习乳腺X线摄影分类中图像分辨率、分类性能和计算成本之间的三方权衡：更高分辨率保留诊断关键细节，但需要更多GPU内存和训练时间；而激进降采样会显著降低AUC，不是FFDM图像的可行捷径。研究者建议将最高可行分辨率与图像块预训练相结合，这是实验确定的最有效配置。
