乳腺MRI中病变的多机构分类：一级分类法与二级分类法的比较

《Journal of Medical Imaging》：Multi-institutional classification of lesions in breast MRI: a comparison of one-stage and two-stage methods

　　每个折叠的病变分类ROC曲线（未怀疑的，不可疑的；怀疑的，可疑的）。1. 引言和相关工作乳腺癌是全球女性中最常见的癌症类型，在死亡率方面排名第五。1 在许多国家，乳腺磁共振成像（MRI）是高风险患者早期检测乳腺癌的建议和指南的一部分。2 对于乳腺组织极度密集的女性，欧洲乳腺成像学会最近推荐基于MRI的筛查。3 这对乳腺MRI检查的自动化分析产生了很高的需求。在诊断成像中，乳腺MRI协议是许多国家的标准护理，尽管在不同的条件下有所不同。在这项研究中，我们比较了多种基于深度学习的算法来分类动态对比增强（DCE）MRI上的病变可疑性。这些自动化检测方法可能有助于放射科医生更准确和高效地执行这项任务。深度学习已被应用于使用MRI的乳腺癌恶性肿瘤分类，不同研究报道的性能各不相同，这些研究探索了不同的架构和图像处理策略。Haarburger等人4 在309名受试者的以病变为中心的补丁上使用了一个二维（2D）ResNet-34模型，实现了0.84的AUC来区分良性与恶性病变。Truhn等人5 表明，放射科医生（对于良性与恶性病变的AUC为0.98）的表现优于二维卷积神经网络（AUC为0.88）和基于放射组学的方法（AUC为0.81），这些方法在578名患者的数据集上进行了测试。Hu等人6 结合了VGG-19模型进行特征提取和支持向量机，实现了0.87的AUC来分类616名女性的良性与恶性病变。Zhou等人7 调查了包括肿瘤周围组织的影响，他们发现当使用卷积神经网络对乳腺病变进行分类时，紧密的边界框可以获得最佳结果。最近，Cong等人8 展示了将卷积神经网络与长短期记忆网络结合用于569名患者的多切片多序列融合的有效性。他们在内部测试数据上实现了0.98的AUC，在外部数据上实现了0.91的AUC来分类良性与恶性病变。最大强度投影（MIPs）也被研究用于自动乳腺病变检测和分类。Jing等人9 将ResNet-34应用于超快速磁共振成像，在外部测试数据上获得了0.81的AUC，将488名患者的乳腺MIPs分类为正常或异常。Oviedo等人10 使用基于异常检测的方法在MIPs上检测病变，通过仅使用健康数据训练深度学习模型。然后使用该模型将含有病变的图像检测为异常数据。在使用它来区分有病变和无病变的MIPs时，它在内部测试数据上实现了0.81的AUC，在外部测试数据上实现了0.79的AUC。Verburg等人11 在DENSE试验的第一轮数据上使用了2D卷积神经网络对4581名患者的MIPs进行了训练。它实现了0.83的AUC来区分有无病变的MRI体积。在后续的研究中，Verburg等人12 在仅使用第一轮数据训练的情况下比较了他们模型的性能，AUC从第一轮的0.83下降到了第二轮的0.76。他们对基于成像和临床特征的计算机辅助诊断岭回归模型进行了相同的评估13，发现其在DENSE第一轮数据上区分良性与恶性病变的AUC为0.86，在DENSE第二轮数据上为0.75。12 文献中有许多不同的方法来检测或分类乳腺病变，这些方法要么使用病变周围的紧密感兴趣区域作为模型输入，要么使用整个乳腺MRI作为模型输入，有时将其投影为MIP。然而，我们不知道有研究直接比较了两阶段方法——首先从整个乳腺MRI中提取病变候选者，然后根据小感兴趣区域进行分类——与直接从整个乳腺体积检测和分类病变的一阶段方法。我们在本研究中的贡献有两个方面。首先，我们比较了基于一阶段模型的不同乳腺病变分类方法[nnDetection14和RadYOLO，我们的三维（3D）扩展的YOLO1115]以及使用nnU-Net进行病变检测和3D Swin Transformer16进行后续病变分类的两阶段模型。我们的第二个贡献是评估将RadYOLO损失分为对象性和分类组件是否可以提高其分类性能。由于我们的数据集包含组织学结果缺失的乳腺病变，我们假设后一种方法可以提高模型性能，因为我们可以将组织学结果缺失的病变从分类损失中屏蔽掉，同时仍使用它们来训练检测组件。2. 方法2.1. 数据本研究遵守赫尔辛基宣言中规定的伦理原则。研究仅涉及使用来自先前临床评估的匿名、回顾性图像数据。各个临床机构在其数据共享合同中放弃了知情同意的要求作为伦理评估的一部分。我们使用了来自欧洲、北美洲和亚洲9个不同国家的10个临床机构和2个公共数据集的??3加权的动态对比增强MRI体积的多中心数据集，共涉及3792名患者。数据集涵盖了多种成像特征，如不同的视野、分辨率、体素大小、脂肪抑制设置和磁共振（MR）扫描仪。MR扫描仪包括西门子健康技术公司、GE Healthcare和飞利浦的型号。表1显示了所有站点最重要的图像特征以及图像和掩码的数量，以及扫描仪供应商、MR序列参数和患者特征。表1 每个机构/数据集的概览。ACRIN17 AMBL18奥地利 I 德国 I 德国 IIG 希腊 I 印度 I 以色列 I 日本 I 日本 II 波兰 I 瑞士 I 患者3771 00988451338139367230419960134研究3771 00997451640139367230619960161年龄（年）不可用53.6 (12.8) 52.0 (13.1) 47.7 (14.1) 55.8 (10.6) 51.9 (11.3) 44.7 (13.4) 52.7 (13.6) 53.9 (12.6) 59.0 (13.6) 49.3 (10.8) 46.7 (11.2)病变掩码（患者）653 (377) 134 (77) 672 (455) 72 (42) 781 (611) 58 (48) 48 (31) 74 (67) 336 (302) 253 (193) 94 (60) 1 (1)脂肪抑制是 是 否 否 是 是 是 是 否 是/否体素大小（平面内）a (mm)0.67 (0.07)0.69 (0.04)0.44 (0.0)0.87 (0.08)0.74 (0.03)0.99 (0.07)0.75 (0.06)0.84 (0.08)0.8 (0.12)0.89 (0.07)1.02 (0.01)0.88 (0.06)切片厚度a (mm)1.79 (0.48)2.02 (0.05)1.8 (0.02)1.5 (0.0)2.37 (0.24)0.96 (0.06)1.45 (0.14)1.5 (0.0)1.07 (0.47)1.0 (0.03)1.2 (0.0)1.08 (0.26)分辨率（平面内）a506.8 (41.4)512.0 (0.0)896.0 (0.0)430.9 (28.6)514.0 (18.0)342.7 (15.9)435.7 (32.0)450.6 (43.2)409.1 (127.5)373.2 (23.5)352.0 (0.0)414.8 (28.6)切片数量a115.5 (34.5)115.9 (0.7)112.4 (3.4)116.8 (4.0)46.0 (0.4)186.0 (17.0)116.0 (11.2)153.3 (8.8)187.5 (32.6)147.5 (7.7)160.8 (3.5)164.7 (43.0)重复时间a (ms)6.76 (1.56)5.32 (0.08)4.89 (0.0)6.01 (0.41)8.47 (0.15)4.25 (0.05)4.64 (0.22)5.14 (0.23)4.94 (25.53)4.03 (0.6)3.35 (0.0)5.39 (1.49)回波时间a (ms)3.4 (1.06)2.62 (0.04)1.8 (0.01)3.23 (1.1)4.06 (0.09)1.53 (0.02)1.81 (0.23)1.72 (0.51)1.51 (0.64)1.58 (0.37)1.11 (0.0)2.46 (1.07)场强 (T)1.5 和 31.53.01.5 和 31.531.5 和 31.5 和 31.5 和 31.5 和 31.5 和 3制造商飞利浦、GE和西门子西门子西门子西门子西门子飞利浦、GE和西门子西门子西门子西门子飞利浦、GE和西门子西门子旋转角度 (deg)10、12、15 和 17159 到 108 到 1010、14 和 2010108 到 15 和 909 到 10109 到 12 和 25BI-RADS61 到 61 到 62 和 61 到 51 到 2 和 4 到 61 到 62、4 和 63 到 51 和 3 到 52 到 61 到 2国家美国以色列奥地利德国德国希腊印度以色列日本日本波兰瑞士a平均值（标准差）。表1中标记为“ACRIN”和“AMBL”的数据集是公共ACRIN-669817和Advanced-MRI-Breast-Lesions18数据集的子集，我们手动修正了肿瘤分割掩码，而其余数据是专有的收集。一名放射科医生和三名放射技术员手动分割了所有有乳腺病变的病例的3176个病变掩码。未评估评分者间的一致性。这些掩码用于训练病变分割模型和检测模型的定位部分。我们的数据来自不同的放射科医院部门、私人诊所和公共数据集。并非每个病变都有组织学结果，或者无法与放射学发现唯一匹配。然而，在许多情况下都有乳腺成像报告和数据系统（BI-RADS）的评估。因此，我们使用了以下“宽松”的启发式方法将乳腺病变分配为不可疑和可疑类别，以支持无法处理缺失对象类别的模型架构。如果病变的组织学结果可用，良性病变被分配为不可疑类别，恶性病变被分配为可疑类别。如果病变的BI-RADS评估可用，如果≥3则将病变分配为可疑，如果≤2则分配为不可疑。如果没有任何病变组织学或病变BI-RADS评估，如果整个乳腺检查的BI-RADS评估≥3，则将病变分配为可疑类别，否则分配为不可疑类别。我们使用了一个“严格”的启发式方法来训练能够处理缺失类别标签的模型，并进行最终评估。如果病变的组织学结果可用，良性病变被分配为不可疑类别，恶性病变被分配为可疑类别。如果病变的BI-RADS评估可用，如果≥5则将病变分配为可疑，如果≤2则分配为不可疑。否则，我们将病变类别标记为“未知”，因为BI-RADS 3和4代表放射科医生不确定病变是良性还是恶性的情况。在深度学习模型训练的损失计算期间忽略了“未知”分类标签，而病变定位（边界框或分割掩码）仍然可以学习。我们使用这种更严格的标签分配来计算第3节中呈现的所有测试折叠的指标。表2显示了每个机构/数据集的结果类别计数，表3显示了每个机构/数据集的相应组织学标签、病变和研究BI-RADS注释。表2 使用我们严格的标签分配，每个机构/数据集的不可疑/可疑/未知MRI体积数量、病变数量、病变大小分布以及交叉验证的分配折叠。病变大小显示了小（<0.5 mL）、中（0.5至2.5 mL）和大（>2.5 mL）病变的数量。案例类别病变类别病变大小折叠不可疑可疑未知不可疑可疑小中大ACRIN0377002524011821273443AMBL425534855317726314奥地利 I557993411081494152342751631德国 I27180451893420184德国 II119636483273424873172881790希腊 I100390104262618143印度 I17172172381212244以色列 I481113501113531744日本 I5300543315761141502日本 II1517014261992855811173波兰 I13434144931339224瑞士 I160011000012表3 每个站点的组织学结果、病变BI-RADS和研究BI-RADS计数。病变组织学病变BI-RADS研究BI-RADS良性恶性未知123456未知123456未知ACRIN03650000000252401000003770AMBL3654440328023981305121500奥地利 I308555704261597930374152794232101420德国 I3018240330001821028000170德国 II280412920142367296010592322142527101Greece I0421602217178129910141780印度 I9231601551971139511611以色列 I501113501113531744日本 I5300543315761141502日本 II1517014261992855811173波兰 I13434144931339224瑞士 I160011000012表3 表示每个站点的组织学结果、病变BI-RADS和研究BI-RADS计数。病变组织学病变BI-RADS研究BI-RADS良性恶性未知123456未知123456未知ACRIN0365000000252401000003770AMBL3654440328023981305121500奥地利 I308555704261597930374152794232101420德国 I3018240330001821028000170德国 II280412920142367296010592322142527101Greece I0421602217178129910141780印度 I9231601551971139511611以色列 I50111301302606290160290614日本 I5330500826265050072346306日本 II301903303289911201110138510000波兰 I1348330396642280212我们再次通过仅使用包含至少六个无可疑性和六个可疑性病变的案例来训练模型，从而降低了捷径学习的风险。对于第二种阶段式分类模型，我们使用了RadYOLO，它是通过将YOLO扩展到三个维度并适应医疗图像处理而开发的。该模型使用z分数归一化，并将裁剪后的输入图像重新采样为448×256×128体素的大小。用于训练的超参数显示在表8中。RadYOLO仅使用来自包含至少六个无可疑性和六个可疑性病变的案例，在最终的目标检测层中使用其原始的Sigmoid激活函数进行训练，同样是为了降低捷径学习的风险。此外，我们还训练了另一个模型，该模型具有一个单独的物体性输出（Sigmoid激活函数）和一个额外的分类输出（softmax激活函数），称为RadYOLO-class。它对所有案例中的所有病变进行物体性输出训练，而对仅包含至少六个无可疑性和六个可疑性病变的案例进行分类输出训练。此外，RadYOLO还包括一个基于原型掩模的分割头，该分割头除了生成边界框外，还为每个预测的病变生成一个分割掩模。所有分割、检测和分类模型都使用动态对比增强??3加权序列的对比前图像和前两张对比后图像作为模型输入。

我们手动调整了3D Swin Transformer的超参数，而对于nnU-Net和nnDetection，则使用了它们的自动配置，因为这些方法本身就被设计为能够启发式地提出良好的默认设置。超参数调整并没有改善RadYOLO模型的结果，因此我们保持了原始的YOLO11超参数。

2.3. 度量指标
我们使用以下指标来评估不同方法的检测和分类性能。为了将标记的参考病变与检测到的病变相匹配，我们使用了两个边界框之间的交并比（Intersection-over-Union）为0.1的阈值。由于乳腺病变是小型3D对象，形状通常不规则且边界不清楚，我们发现0.1的重叠仍然能够反映病变的合理定位。

- 受试者操作曲线下面积（ROC-AUC）：当使用整个MRI体积内的最大预测检测分数来分类该MRI体积是否至少包含一个可疑病变时，ROC曲线下的面积。该指标衡量模型区分包含可疑病变和不含可疑病变案例的能力。
- 病变ROC-AUC：当使用每个病变的可疑性分数来分类病变是否可疑时，ROC曲线下的面积。该指标衡量模型在病变级别上区分可疑和不可疑病变的能力。
- 在一次误报情况下的病变敏感性：在每个成像体积平均出现一次误报的情况下，检测病变（可疑或不可疑）的敏感性。该指标衡量模型整体上检测病变的能力，不考虑病变的可疑程度。

阶段式模型不产生单独的检测分数，因此我们使用分类模型中可疑类别的分数作为检测分数。对于nnDetection和RadYOLO，我们使用每个检测到的对象的两个类别的最大分数作为检测分数，然后对这两个分数应用softmax来得出可疑性分数。对于RadYOLO-class，我们使用物体性分数作为检测分数，分类分数作为可疑性分数。

3. 结果
表4显示了我们评估的四种模型的结果。在病例ROC-AUC方面，RadYOLO-class取得了最佳结果，其平均（标准差）为0.893（0.038）。阶段式模型的结果最差，为0.851（0.069）。在病变ROC-AUC方面，RadYOLO-class再次取得了最佳结果，为0.755（0.064），而nnDetection的结果最差，为0.693（0.108）。图1显示了每个折叠的病变分类ROC曲线。在一次误报情况下的病变敏感性方面，nnDetection的表现最好，为0.703（0.097），而RadYOLO的表现最差，为0.650（0.100）。相应的自由响应受试者操作特征（FROC）曲线显示在图2中。鉴于标准差的重叠和折叠数量较少（n=5），没有进行正式的统计测试，因为研究没有足够的统计功效来检测观察到的差异大小。图3显示了所有模型的示例检测/分割结果及其相应的检测和分类分数。

表4显示了五折留出站点交叉验证的结果，显示了针对病例和病变的指标的平均值（标准差）。病例ROC-AUC和在一次误报情况下的病变敏感性是相对于检测分数计算的，而病变ROC-AUC是相对于模型的分类分数计算的。

表5显示了仅检测可疑病变时的敏感性，允许平均出现一次误报检测。区分小、中、大病变的大小阈值是通过取所有参考病变大小的第33和第66百分位数计算得出的。阈值分别为0.5毫升和2.5毫升。RadYOLO-class在所有病变大小上的平均敏感性最高，分别为0.529、0.782和0.864。在小和中病变上，阶段式模型的表现最差，敏感性分别为0.419和0.667。在大病变上，没有单独分类输出的RadYOLO表现最差，敏感性为0.826。

我们在120个案例上测量了所有模型的推理运行时间（每个机构/数据集随机选择了10个案例）。所有模型的推理方案都在MeVisLab中使用ONNX Runtime重新实现，用于深度学习模型的推理。运行时间测量包括预处理、深度学习模型推理和后处理的时间，但不包括加载图像数据所需的时间。实验在具有AMD EPYC 7443P 24核处理器、65 GB内存和NVIDIA RTX A5000图形处理单元（GPU）的深度学习集群节点上运行。结果显示在表6中。我们测量了有无GPU支持的深度学习模型推理时的运行时间。在中央处理单元（CPU）上，RadYOLO的平均处理时间为2.6秒。阶段式模型的平均处理时间为20.6秒，nnDetection的平均处理时间为122.4秒。利用GPU进行模型推理时，RadYOLO的平均处理时间为1.4秒，而阶段式模型需要4.7秒，nnDetection需要10.3秒。RadYOLO-class的架构与RadYOLO几乎相同，因此没有在表6中单独列出。

4. 讨论
在我们自己的实验中，四种方法之间的病变ROC-AUC差异很小，都在它们的折叠间变异范围内。RadYOLO-class（具有单独的分类输出）显示出最高的平均病变ROC-AUC，并在每个图像出现一次误报的情况下，在所有病变大小类别中实现了最佳的敏感性。对于小和中 sized病变，这种改进最为显著，其中单独的分割头相对于其他模型提高了敏感性。这种模式与直觉一致，即解耦物体性和类别预测可以帮助模型在检测到病变后专注于增强或形态的细微差异。然而，鉴于标准差的重叠和缺乏统计测试，这些发现应该被视为指示性的而非决定性的。

按病变大小的分析突出了乳腺MRI计算机辅助诊断中的一个共同挑战：可靠地检测和分类小病变。在所有方法中，即使在对错误率为相同的条件下，小可疑病变的敏感性也明显低于大病变。这可能反映了内在的成像限制（例如，部分体积效应和对比度噪声比的降低）以及非常小的病变的训练数据量有限。这也表明，如果对于细微发现的性能改进有限，那么在大病变上的模型性能提升可能会高估实际效益。

与相对相似的检测和分类指标相比，运行时间测量显示出在计算效率上的显著差异。RadYOLO明显是最快的方法，CPU运行时间约为每个案例2.6秒，GPU运行时间约为1.4秒，而阶段式流程为20.6/4.7秒，nnDetection为122.4/10.3秒。这些差异在日常临床实践中可能很重要，尤其是在高容量中心或计算资源有限的设置中。例如，更短的推理时间有助于在图像阅读期间的交互使用，无缝集成到现有工作流程中，并且可以并行运行多个模型（例如，集成或多任务系统）。从实际角度来看，我们的结果表明，旨在降低计算成本的架构选择可以在不影响分类准确性的情况下显著提高吞吐量。由于模型在不同的硬件上进行了训练，因此难以比较训练时间。

我们表现最好的模型使用五折留出站点交叉验证获得了平均病变分类ROC-AUC为0.76。Hu等人使用来自单个机构的616名患者的数据集（199个良性病变和728个恶性病变）实现了0.87的AUC，以区分良性与恶性病变。Zhu等人使用来自单个机构的5688名患者的数据集（2213个恶性病变和1349个良性病变）训练了一个深度学习模型进行病变分类，并使用来自另一个机构的123名患者进行外部验证。在内部测试集上，他们获得了0.93的AUC，在外部数据上使用DCE和扩散加权成像获得了0.89的AUC。Cong等人使用来自同一机构的569名患者的数据集（569个恶性病变和253个良性病变）训练了一个深度学习模型进行病变分类，并使用125名患者的外部测试集。他们使用DCE、??2加权和扩散加权成像，其最佳模型的内部测试队列AUC为0.98，外部测试队列AUC为0.90。在Verburg等人的评估中，乳腺病变分类的计算机辅助诊断模型在第一轮DENSE试验的4783名患者和第二轮的3436名患者上进行了评估。在第二轮中，他们发现了20个恶性病变和314个良性病变。病变分类模型的AUC在 first round的数据中为0.86，在 second round的数据中为0.75。与这些研究中观察到的AUC相比，我们的平均病变分类AUC0.76处于较低水平。然而，与我们的异构留出站点交叉验证相比，大多数其他研究使用的是更同质的数据集，涉及更少的临床机构，这可能高估了这些模型对新数据的泛化能力。直接比较这些模型是不可行的，因为这些模型不是公开可用的。

当我们比较我们完全自动化的病变分类性能与放射科医生的性能时，我们观察到以下结果。在DENSE试验中，荷兰有4783名妇女接受了乳腺MRI筛查。观察到的乳腺癌敏感性为95.2%，活检的阳性预测值为26.3%。在EA1141研究中，来自美国和德的1444名患者同时接受了乳腺MRI和数字乳腺断层扫描。研究观察到乳腺MRI的患者级敏感性为95.6%，活检的阳性预测值为19.6%。在ACRIN 6667试验中，969名女性在另一侧乳房被诊断出乳腺癌后，对其对侧乳房进行了MRI检查。观察到的敏感性为91%，而活检的阳性预测值为24.8%。由于我们研究的良性和恶性病变的患病率与上述研究不同，我们使用自身的敏感性和特异性来计算最佳病变分类模型（RadYOLO-class）的阳性预测值，假设患病率为0.25%。在95%的敏感性下，我们的模型实现的阳性预测值为0.29（平均值[标准差]，经过五次折叠试验）。这略高于上述研究中放射科医生的表现，表明我们的模型可能有助于提高病变分类的准确性。尽管关于将AI整合到乳腺MRI阅读工作流程中的前瞻性研究尚不足，但数字乳腺X光摄影的证据表明，基于AI的分诊可以减少放射科医生的工作量，同时对癌症检测的影响很小。Sossavi等人对13项关于AI支持的数字乳腺X光摄影阅读的研究进行了元分析。当AI系统用作分诊系统来决定是由1名还是2名放射科医生阅读病例时，他们观察到患者召回率平均降低了11%，而癌症检测率没有变化；当AI系统替代第二名阅片者时，放射科医生的工作量减少了一半，但患者召回率的变化范围在-20%到+90%之间。

这项研究有几个局限性。首先，各个医疗机构对整个数据集的贡献不平衡。两个大型医疗机构占所有患者的一半以上，而一些机构提供的病例数量很少。尽管我们使用了留出某些机构的数据进行交叉验证，以确保训练集、验证集和测试集之间的独立性，但训练数据分布仍然主要由大型医疗机构主导。这可能会使模型偏向于这些机构的成像特性和患者群体，从而限制其在真正未见过的采集条件下的泛化能力。其次，我们的标记策略必然依赖于启发式方法，因为部分数据中缺乏一致的病理学信息和病变级别的BI-RADS评分。使用检查级别的BI-RADS来推断病变级别的可疑性可能会引入标签噪声，特别是在存在多个病变或混合病理的情况下。RadYOLO的分类头部采用了更为严格的标记方案，这减少了这种不确定性，但也减少了标记数据的有效量。第三，在训练模型的分类组件时，我们仅使用了至少包含六个非可疑病变和六个可疑病变的医疗机构的数据，以减少捷径学习。尽管这种设计选择是出于对模型鲁棒性的考虑，但它进一步加剧了大型医疗机构和小型医疗机构之间的不平衡，并可能遗漏了来自类别分布不均的机构的有用数据。第四，我们的模型仅使用对比增强前的图像及其后的前两个对比增强阶段作为输入。我们没有利用动态对比增强序列的全部时间信息，也没有结合其他序列，如T2加权成像、扩散加权成像或临床协变量，这些信息可能有助于更全面地描述病变特征。最后，我们的评估完全是回顾性的，仅限于技术性能指标。我们没有评估模型对放射科医生工作流程、阅读时间或诊断决策的影响。未来的工作可以解决这些局限性。在建模方面，一个明显的扩展方向是探索类似基础模型的方法，例如在使用自我监督目标对异构的多机构数据进行预训练大型3D变换器或卷积网络。然后可以针对病变检测、分割和分类对这些模型进行微调，即使标注的样本数量较少，也可能更好地捕捉现实世界成像协议的变异性。另一个有前景的方向是在统一架构内明确建模完整的动态对比增强时间过程和额外序列，可能会利用多流或时间注意力机制。从数据角度来看，协调策略和领域适应技术可能有助于减少机构特定的偏差，而带有标准化病变级别注释的前瞻性数据收集将允许更精确的监督和评估。此外，应该在前瞻性研究中评估将我们的模型整合到临床工作流程中的效果，理想情况下包括多阅片者、多病例实验，以量化对敏感性、特异性和阅读时间的影响。

**5. 结论**

我们比较了四种不同的模型在乳腺MRI中的病变检测和分类性能，这些模型基于一阶段和两阶段分类方法，并使用了五折交叉验证方案。尽管我们没有观察到模型在检测和分类性能上的决定性差异，但我们观察到模型在推理时间上有显著差异。RadYOLO的高计算效率表明它可能适合未来涉及更复杂计算策略（如模型集成）的工作。

**6. 附录A：RadYOLO——将YOLO11扩展到3D**

在从2D过渡到3D时，我们保持了YOLO11的核心架构和训练方案不变，同时将2D卷积、批量归一化和最大池化层替换为它们的3D对应物。虽然YOLO11仅在3次、4次和5次下采样步骤后使用检测头，对应的检测网格步长分别为8、16和32，但我们在2次下采样步骤后增加了一个检测头，对应的检测网格步长为4。这一改变是因为乳腺病变的检测对象大小远小于YOLO架构优化的自然图像的大小。为了同时实现对象检测和实例分割，我们增加了一个层来预测每个轴上输入图像分辨率一半的原型分割掩膜，并为每个原型掩膜预测权重。原型掩膜与权重相乘，并应用Sigmoid激活函数来实现实例分割，正如Bolya等人所描述的。作为重采样策略，我们选择简单地进行固定图像范围的重采样，并执行Z-score归一化，以使来自不同扫描仪的MR灰度值处于相似范围内。作为最佳模型选择的指标，我们使用了在 Intersection-over-Union (IoU) 阈值0.1到0.95之间计算的均值平均精度指标的运行指数平均值。虽然在2D图像处理中IoU阈值0.5更为常见，但我们发现对于3D成像，0.1的重叠仍然反映了可接受的边界框定位。在数据增强方面，使用了更具体的医学成像领域的方法。RadYOLO结合了随机镜像、缩放增强、随机旋转、随机裁剪、全局强度非线性（GIN）增强、随机通道丢弃以及基于batchgenerators库的强度增强。

**7. 附录B：深度学习训练超参数**

表7和表8展示了用于训练两阶段模型和RadYOLO分类模型的超参数。

**表7：两阶段模型分类模型的超参数**
| 超参数 | 值 |
|-------------------------|-----------------------------------------|
|win3d_t (TorchVision预训练模型) | 21 |
| 损失函数 | 分类交叉熵 |
| 优化器 | Adam |
| 学习率调度器 | Cosine annealing |
| 学习率 | 10?? |
| 权重衰减 | 10?3 |
| 标签平滑 | 0.001 |
| 批量大小 | 20 |
| 训练迭代次数 | 8000 |
| 图像大小 (??, ??, 和 ??) | 75×75×16 |
| 归一化 | 将[0, 99.5%]百分位数映射到[0, 1]的原MRI体积 |
| 最佳模型选择指标 | ??4指标 |
| BG弹性变形概率 | 0.2 |
| BG弹性变形alpha | [0, 900] |
| BG弹性变形sigma | [9, 13] |
| BG缩放概率 | 0.2 |
| BG缩放范围 | [0.85, 1.25] |
| BG旋转角度 [每个轴] | [?15度, 15度] |
| BG旋转概率 | 0.2 |
| BG每个轴的镜像概率 | 0.5 |
| BG高斯噪声概率 | 0.1 |
| BG高斯噪声方差 | [0.0, 0.1] |
| BG高斯模糊概率 | 0.2 |
| BG高斯模糊sigma | [0.5, 1.0] |
| BG乘法亮度概率 | 0.15 |
| BG乘法亮度范围 | [0.75, 1.25] |
| BG加法亮度概率 | 0.15 |
| BG加法亮度均值 | 0.0 |
| BG加法亮度sigma | 0.1 |
| BG对比度概率 | 0.15 |
| BG对比度范围 | [0.75, 1.25] |
| BG低分辨率概率 | 0.25 |
| BG低分辨率尺度 | [0.5, 1.0] |
| BG伽马概率 | 0.3 |
| BG伽马范围 | [0.7, 1.5] |

**表8：RadYOLO模型的超参数**
| 超参数 | 值 |
| Model scales (small) | |
| 损失 (边界框) | DFL34 + CIoU损失 |
| 损失 (对象性) | Binary cross-entropy |
| 损失 (单独分类) | categorical cross-entropy |
| 损失 (分割) | Dice + binary cross-entropy |
| 损失权重 (CIoU) | 7.5 |
| 损失权重 (DFL) | 1.5 |
| 损失权重 (对象性和分类) | 0.5 |
| 损失权重 (分割) | 5 |
| 优化器 | Adam |
| 学习率调度器 | Linear warmup + linear decay |
| 加热期 | 3 |
| 初始学习率 (非偏见权重) | 0.0 |
| 学习率 (初始, 偏差权重) | 0.1 |
| 基础学习率 (三个周期后) | 10?2 |
| 最终学习率 | 10?? |
| 动量 | 0.9 |
| 权重衰减 | 5×10?? |

**8. 附录C：错误分类的病变示例**

在图4中，我们展示了RadYOLO-class的假阴性预测示例；在图5中，我们展示了RadYOLO-class的假阳性预测示例。最突出的特征是假阳性病变通常较大，而假阴性病变往往较小。

**图4：RadYOLO-class的假阴性预测示例**
展示了带有参考病变注释（蓝色）的减法图像切片以及所有模型的预测结果（红色）。对于每个病变，我们展示了预测的边界框或分割掩膜及其对应的可疑度评分。请注意，对象性和可疑度评分对于每个模型来说是不同的，因此应该只在同一模型的预测结果之间进行比较（即，在一个机构内的每一列中）。

**图5：RadYOLO-class的假阳性预测示例**
展示了带有参考病变注释（蓝色）的减法图像切片以及所有模型的预测结果（红色）。对于每个病变，我们展示了预测的边界框或分割掩膜及其对应的可疑度评分。请注意，对象性和可疑度评分对于每个模型来说是不同的，因此应该只在同一模型的预测结果之间进行比较（即，在一个机构内的每一列中）。