基于深度学习和特征相关性分析的高分辨率乳腺X线影像局部区域临床相关发现识别方法CorRELAX及其在乳腺癌早期诊断中的应用

本研究提出CorRELAX算法，通过分析高分辨率乳腺X线影像中局部区域与深度学习模型预测结果的相关性（使用特征向量距离度量及掩码扰动策略），生成可解释的热力图（heatmap），显著提升对微小钙化灶（calcifications）和肿块（masses）的定位能力（F1分数分别达0.8432和0.7392），为乳腺癌筛查提供了一种融合多尺度特征关联的可解释人工智能（XAI）解决方案。

　　

1 引言

乳腺癌是全球女性中最常见的恶性肿瘤。在拉丁美洲地区，经济、地理和文化等多重障碍限制了筛查程序的普及、诊断资源的获取以及临床研究的开展，导致该地区患者的生存率较低。智利也呈现类似趋势：能够获得私立医疗服务且居住在中部城市地区的患者，其生存率高于使用公立医疗系统及居住在国内其他地区的患者。根据世界卫生组织报告，利用乳腺X线摄影进行早期检测可显著降低20%的乳腺癌死亡风险。此外，筛查程序的普及改善了公立和私立医疗系统中患者的预后和生存率。

近年来，深度学习（DL）和其他机器学习（ML）技术作为辅助诊断工具的应用日益增多。研究表明，与传统计算机辅助系统相比，这些技术能够提高诊断准确性并提升效率，还能提高恶性肿瘤检测的敏感性、减少假阴性（尤其对初级放射科医生），并在用于多模态研究（如乳腺超声和断层合成）的乳腺病变评估时降低阅片者内的变异性。然而，将这些ML模型整合到放射科医生的诊断工作流程中面临挑战，主要障碍在于其决策过程缺乏人类可理解的解释。可解释人工智能（XAI）应运而生，旨在解决这些模型中存在的偏见，阐明输入与报告预测之间的关系，实现更透明和知情的决策，同时确保医疗人员始终参与循环。

特征归因方法试图通过分解每个特征对输出的影响，为模型的输入特征分配重要性分数，从而识别哪些特征对模型的决策函数影响最大。基于梯度的特征归因方法常用于为黑盒模型提供可解释性，其通过可视化输入特征如何影响推理、测量模型内梯度的变化，并以显著性图（saliency maps）的形式呈现。Grad-CAM及其变体通过基于特定输出标签的梯度信息，从输入图像中突出显示关键区域，生成视觉解释。其他特征归因方法包括LIME，它使用更简单、更浅层的模型来近似模型的决策边界，以提供特定特征的局部解释。较新的方法涉及特征遮挡，如RISE和RELAX，它们通过掩码输入图像的某些区域，根据使用掩码信息后预测的变化来分配特征重要性图。后者通过比较掩码输入与原始输入之间的内部特征向量变化，量化特征的重要性和不确定性。

使用DL模型的一个关键限制是它们对输入分辨率的依赖性，以提取信息。在医学成像中，输入图像通常被下采样至较低分辨率（例如标准模型中的224×224像素）。由于图像压缩，较小的病变和其他临床相关发现（如微钙化）在这些模型检查时可能被遗漏，从而未在最终预测中考虑。此外，大多数特征归因方法在设计上无法呈现局部元素之间的相互作用，也无法显示输入图像内不同区域之间相似特征的关系。而且，由于病变大小的可变性和组织边界的模糊性，准确生成自动分割图具有挑战性。然而，这些分割图可以帮助放射科医生定位自动方法可能忽略的不明显病变。这些限制凸显了在推理过程中使用高分辨率输入和技术以准确捕获和评估所有相关信息的重要性。

为应对这些挑战，本研究提出一种方法，用于评估高分辨率乳腺X线影像中局部信息对深度学习模型决策过程的贡献。该方法采用滑动窗口策略，从图像中的小区域提取内部特征表示和相应的预测，并测量部分表示与未掩码窗口的相似性距离之间的相关性。这些测量结果随后被组合成全局预测图，表示病理发现的似然性。相关图作为一种可视化工具，指示局部特征与模型所学知识的相似程度。所提出的方法和生成的图提供了模型决策过程的可解释表示，并允许获得潜在病变的粗分割，增强了传统下采样方法可能遗漏的较小发现的检测。

本工作的核心新颖之处在于引入了CorRELAX，一种基于相关性的特征归因方法，专为乳腺X线影像中局部区域的评估而设计。与现有的可解释性方法通常依赖全局显著性或基于梯度的响应不同，CorRELAX量化了在部分随机遮挡下内部特征表示与输出预测之间的一致性。这种方法提供了关于不完整但信息丰富的区域如何支持模型推理的鲁棒解释，即使在病理发现在数据中代表性不足的情况下也是如此。此外，将滑动窗口用于归因仍是医学成像可解释人工智能方法中未被充分探索的策略。通过结合局部预测图和相关热力图，CorRELAX提供了乳腺X线影像中病变的粗糙但可解释的分割图，便于其定位。

2 相关工作

近年来，多种方法被提出用于为乳腺异常检测的ML模型提供可解释性。先前的工作评估了使用大语言模型识别乳腺X线报告中标注的可能发现以及 laterality 在报告这些发现时的影响。全球范围内的近期研究主要集中于从乳腺X线影像中提取可解释的特征，以提供关于乳腺病变位置和特征的见解，以及图像中邻近区域对准确诊断的重要性。

2.1 用于乳腺病变检测的显著性图

显著性图，尤其是基于Grad-CAM的方法，广泛用于乳腺X线摄影中的乳腺病变检测和定位。这些方法易于集成到DL模型中，利用梯度信息生成热力图，突出显示输入图像上最相关的区域。它们识别感兴趣区域（ROIs）的能力使其成为在乳腺X线病变检测中提供可解释性的热门选择。

例如，Farrag等人提出一个用于乳腺X线肿瘤分割的XAI系统，使用双扩张卷积来减轻局部空间分辨率损失，并采用Grad-CAM和遮挡敏感性来识别包含肿块的区域。Dahl等人提出一个两阶段分析流程，使用ResNet-121架构获取整个乳腺X线影像的整体风险评分。Grad-CAM用于识别潜在恶性肿瘤的ROI，并在第二阶段细化以提取该位置的详细热力图。Lou等人开发了一个多层级全局引导分支注意力网络（MBGN）用于乳腺X线摄影中的肿块分类，采用Grad-CAM验证所选特征与真实值的关系。同样，Al-Tam等人提出一个多模态乳腺癌检测框架，结合乳腺X线和超声图像。使用YOLOv8架构进行ROI检测，DL集成模型进行恶性肿瘤分类，以及Grad-CAM进行ROI的特征可视化，提供检测到的病变的上下文信息。

另一方面，Pertuz等人通过比较使用Grad-CAM获得的显著性图与放射科医生的手动分割，评估了不同的预训练DL架构用于乳腺病变检测的效果。他们的发现显示，所识别的显著性与标注之间的重叠度较低，表明这些模型依赖于一般特征而非特定元素进行恶性肿瘤分类。类似地，Mobini等人使用Grad-CAM++（Grad-CAM的泛化变体，使用整流梯度）研究了多种DL架构，用于检测乳腺X线影像中的乳腺动脉钙化。他们的研究强调，较简单的模型（如VGG16和MobileNet）在分类准确性和显著性图质量方面优于更复杂的架构。

2.2 乳腺病变检测可解释方法的比较

虽然Grad-CAM仍然是生成视觉解释的广泛流行方法，但其局限性促使人们与类似技术进行比较。该方法的一个缺点是倾向于泛化到输入图像的较广区域，导致细节丢失，可能影响显著性图的精度，特别是对于较小病变和钙化。这激励研究人员探索输入与预测之间关系的替代方法。例如，Ahmed等人比较了不同XAI方法生成的解释，包括LIME、SHAP和Grad-CAM， across various DL architectures such as VGG16, Inception-V3, and ResNet。与CBIS-DDSM数据集中的标注进行比较，他们的分析突出了与解释一致时的性能差异。类似地，Barnett等人提出一个ML-based系统，将输入图像的信息与训练数据中的原型示例进行比较，作为基于案例的解释。这种相似性测量随后用于分类乳腺肿块边缘，获得恶性肿瘤的测量值。该测量值随后被添加到最终的病变预测中，并将他们的解释与Grad-CAM和Grad-CAM++进行比较。

此外，Rafferty等人评估了LIME、SHAP和RISE等方法以识别乳腺癌恶性肿瘤分类的区域。他们指出，这些方法与放射科医生对病变相关性的评估一致性较低。虽然RISE提供了稍好的解释，但这些方法中无一能准确突出精确区域，显示了这些方法在此任务上的局限性。相反，Ortega-Martorell等人提出一种基于Fisher信息网络（FIN）的方法来可视化和量化学习特征之间的相似性。他们的方法提供了关于特定病变的特征和相似性的见解，以及其与学习特征的 resemblance，描述了良性和恶性肿块及钙化中的特定元素。

Gerbasi等人开发了一个用于乳腺X线影像中微钙化分割和恶性肿瘤分类的DL流程。使用UNet对乳腺X线影像固定大小 patches 中的钙化簇进行语义分割。随后使用微调用于恶性肿瘤分类的ResNet-18架构对这些簇进行分类。此外，使用Grad-CAM和SHAP检查分类器，以识别这些簇内的局部区域，这些区域指示图像中的恶性肿瘤关联，为 resulting prediction 提供解释。

Prodan等人比较了基于CNN和视觉变换器（ViT）的多种DL分类器，用于使用乳腺X线影像的恶性肿瘤分类任务，并使用显著性方法突出显示分类器决策过程中最重要的区域。为减少训练数据中的不平衡，他们应用Style-GAN XL生成与数据集中存在的阳性样本相似的样本。随后使用Grad-CAM评估每张图像，该图突出显示对分类任务影响最大的区域，并在任何潜在病变位置周围绘制边界框。

Prinzi等人介绍了Rad4XCNN，一种后验、模型无关的方法，用于对应用于乳腺超声图像恶性肿瘤分类任务的CNN模型进行全局解释。该方法旨在通过使用Spearman等级相关性量化其与临床有意义 radiomic features 的相关性，增强来自不同ResNet、DenseNet和ViT架构的CNN衍生特征的可解释性。通过识别与 radiomic descriptors 具有强相关性的深度特征，该方法能够构建与既定临床知识一致的类无关全局解释。作者在来自公共数据集的乳腺超声图像上评估了他们的方法用于预训练，并使用来自不同临床中心的两个内部数据集进行内部和外部验证。虽然CNN架构（如ResNet和DenseNet）表现出鲁棒的预测性能并与 radiomic features 产生 higher correlations，但ViT衍生特征未显示有意义的 alignment。作者还将他们的方法与局部显著性图解释方法（如Grad-CAM、Eigen-CAM和Score-CAM）进行了比较。这些方法产生了视觉上不一致的解释，特别是对于误分类样本，与他们的 proposed method 相比。

2.3 输入图像分辨率的影响

当前乳腺X线影像中病变检测的一个挑战在于用于DL模型的输入图像分辨率的影响，这阻碍了较小病变（如钙化）的检测。大多数模型将输入图像下采样至预定义分辨率，通常丢失较小尺寸元素的相关信息。相反，高分辨率输入可以改进检测，但显著增加了训练和推理的计算需求。

一些研究提出了策略以应对这种权衡。例如，Farrag等人利用双扩张卷积改进分割精度，但将图像下采样至512×512像素。类似地，Dahl等人使用两阶段方法，将图像下采样至976×976分辨率以改进较小病变的检测，然后在第二阶段将图像进一步重新缩放至512×512，以从第一阶段识别的ROI中提取可解释特征。同时，Al-Tam等人在其物体检测阶段将输入重新缩放至640×640，并在ROI区域的运行时训练期间下采样至128×128像素。对于钙化检测，Mobini等人在其评估的模型中缩放输入图像至1576×768，以确保他们的模型对这些较小病变的响应。

尽管有这些努力，大多数研究依赖于较小的输入分辨率，范围在224×224至512×512之间。虽然这对于恶性肿瘤分类和粗病变定位任务通常足够，但这些分辨率在涉及较小尺寸元素的检测任务上不足。这证明了一种权衡，即优先考虑计算负载 at the cost of 识别较小临床显著特征的精度。

3 材料与方法

所提出的方法总结而言，独立研究乳腺X线影像的每个视图。每张图像最初被分割为其相应的ROI，然后被分成小的相交窗口，随后使用CNN分类器进行评估。该分类器使用从公开可用数据集中标注的病理发现裁剪图像进行训练。模型输出病变存在于裁剪图像中的多标签预测以及输入图像的特征向量表示。将预测和特征向量表示与输入图像的遮挡版本的输出结果进行比较，得到每个窗口的相关性测量值。这些值随后使用我们的邻接核组合，以重建每个类别的最终预测和相关性图，以及一个指示每个窗口与模型内部学习特征相关性的距离图。

3.1 预处理

在预处理阶段，实现了一系列变换，类似于（38）所提出的。VinDr-Mammo包含平均原始大小为2647×3387像素的图像，宽度范围在2012–2812像素之间，高度范围在2812–3580像素之间，强度值以无符号16位整数格式存储。每张图像最初在强度上缩放至0–1范围，如果DICOM元数据中的Photometric Interpretation标签设置为MONOCHROME1，则进行反转，以确保所有图像具有黑色背景和白色前景。

随后，每张图像使用对比度受限自适应直方图均衡化（CLAHE）算法进行直方图均衡化变换，以增强图像的对比度。CLAHE将图像分成一系列定义大小的块（在我们的案例中为8×8像素），然后将每个块的直方图裁剪到指定的对比度限制。随后，每个直方图 bin 被重新分配到所有 bins，并计算累积分布函数（CDF）。此后，像素强度值使用CDF重新映射。此过程对每个块重复，局部增强对比度并避免图像中噪声的过度放大。最后，每个块使用双线性插值重新连接，以获得无伪影的对比度增强图像。使用OpenCV实现的CLAHE算法，剪切限制为1.0和2.0。 resulting images 随后与原始非均衡化图像进行通道融合，获得RGB代表性图像作为输出。

接下来，通过Otsu阈值处理和轮廓检测将图像裁剪至其ROI，以获得乳腺区域的边界框。 resulting in a set of images cropped to the breast’s ROI, with an average size of (885 ± 190) × (2497 ± 502) pixels。

3.2 数据集

对于训练、初始测试和基准测试，使用了VinDr-Mammo数据集。这个公开可用数据集包含来自越南河内大学医院5000名患者的多视图乳腺X线影像。该数据集提供了乳腺内十种不同类型病变位置的边界框，包括肿块、钙化、不对称和结构扭曲。它还提供了每个标注发现的BI-RADS评分和每个视图的患者乳腺密度。选择该数据集是因为其 beyond masses and calcifications 的多种发现位置的详细标注，允许我们在局部层面检查临床相关发现的存在。然而，由于某些可用发现有限，一些具有相似特征的类别，如 focal, global, and (general) asymmetries, nipple, and skin retractions，被分组为通用标签（分别为不对称和回缩）。数据集分为训练集和测试集，包含每位患者双乳的颅尾（CC）和中外斜（MLO）视图，以80-20%的比例在训练集和测试集之间分割。所有分割均使用 subject-out scheme 进行，以减少同一患者数据在不同分割中可能存在的偏差。

对于所提出的分类器模型的训练，每个可用的标注边界框被视为独立样本，考虑到单个图像中可能存在多个边界框，且每个边界框可能包含多种类型的病变。因此，该问题被研究为一个多标签分类任务，其中每个边界框可以被标记为一种或多种类型的病变。由于许多图像没有标注病变（标记为No findings），从该子集的每张图像中采样一个随机区域作为负样本。确保模型能够学习区分病变的存在与缺失。

对于临床患者的验证，评估了一组由智利当地医院提供的图像。这些检查对应于一组为智利成年女性人群乳腺癌筛查获取的乳腺X线影像，包括这些患者的CC和MLO视图，以及由医院放射科医生评估的检查报告。这些检查在本研究中使用获得瓦尔帕莱索大学人类研究伦理委员会（CEC-UV）的授权，该委员会担任研究的机构审查委员会（IRB）。对于评估，选择了一组报告指示存在肿块和钙化及其在体内大致位置的图像。

3.3 深度卷积神经网络分类器

所提出的实验涉及使用多标签分类器对乳腺X线影像中的临床相关发现进行分类。在先前的工作中，详细说明了此任务的模型选择，并总结如下。

最初，我们训练了一系列深度学习架构以确定我们任务的最佳模型。比较了EfficientNetV2、ResNet50、Swin Transformer、DenseNet121、VGG19和MobileNet架构，这些架构具有在ImageNet数据集上预训练的权重；使用PyTorch的torchvision库提供的实现。为确保模型之间的一致性，每个模型的最终分类层被替换为具有初始Dropout层（0.5rate）、512单元的隐藏层和ReLU激活的2层密集网络，以及具有数据集中类别数量和Sigmoid激活函数的最终输出层。这些参数在初始网格搜索实验中估计，并在所有模型中保持恒定以确保公平比较。

每个模型使用数据集中存在的发现子集进行训练，特别是肿块、钙化、不对称和可疑淋巴结，因为这些是最常见的发现。在表中， presented the resulting F1-Score obtained by each model on the dataset’s test set。EfficientNetV2架构在测试集上获得了最佳性能，平均F1-Score为0.727，以较小优势优于其他架构。

EfficientNetV2是一个卷积神经网络模型家族，通过以平衡的方式扩展网络的深度、宽度和分辨率，优化了参数效率和计算成本。原始EfficientNet架构设计用于在卷积神经网络（CNNs）上同时扩展网络的深度、宽度和分辨率，使用神经架构搜索（NAS）方法找到每个块的最佳缩放因子以平衡准确性和计算成本之间的权衡。EfficientNetV2与原始版本相比的主要创新之一是用新的Fused-MBConv块替换了原始的MBConv块，该块将原始的深度可分离卷积及其扩展卷积合并为单个操作。另一项改进是使用较小的扩展比用于卷积层，减少了每层所需的参数数量，并使用较小的卷积核大小。同时通过增加网络中的层数来补偿减少的 receptive field。显示了用于我们实验中使用的EfficientNetV2模型架构，以及我们修改的分类层，如前所述。

模型使用Adam优化器进行训练，起始学习率为0.001，并在50个epoch期间使用余弦退火衰减计划，最终学习率降至1×10^?7，在NVIDIA RTX 4080 GPU上使用批量大小为48个样本。优化中采用了Focal Loss函数。该损失函数通过添加调制因子γ到交叉熵损失中，解决了正负样本之间极端类别不平衡的影响，该因子 penalizes well-classified samples 的损失，专注于复杂样本。如公式1所示，对于多标签分类的情况，它定义为地面真值标签向量y的预测概率p的对数，由因子(1?p)^γ调制，该因子 penalizes 复杂样本上的误差。以及一个α参数，作为正负标签之间的加权因子。当γ=0时，Focal Loss等同于标准交叉熵损失。使用网格搜索，这些的定义参数值为α=0.95和γ=2.5，因为这些在训练数据集上提供了最佳性能。

在训练阶段，对裁剪图像应用了多种数据增强技术，允许我们的模型在不同尺度和纵横比上分类发现。在训练时，使用病变的边界框标注裁剪图像，并以不同尺度（原始边界框面积的0.05-5倍）和纵横比（0.33-1.66）从边界框中心裁剪。对于正常组织，从每个标记为No Finding的图像中，使用与阳性样本相似的尺度和纵横比裁剪一个随机区域。在每个训练epoch重复此裁剪以确保每个图像的尺度多样性。

为进一步减轻数据集中类别不平衡的影响，使用加权随机采样函数对每个裁剪图像进行采样，其中完整数据集中标签频率的倒数确定每个样本的权重。此外，在训练阶段对每个裁剪图像应用了一系列变换。以50%的概率随机应用水平和/或垂直翻转、-30°至30°之间的随机旋转，以及随机亮度、对比度、饱和度和色调调整。最后，每个裁剪图像使用双线性插值调整至固定大小256×256像素作为模型输入。在验证和测试阶段，除了调整裁剪图像大小外，不应用任何变换，利用每个样本上的标注边界框，如果样本标注为无发现，则使用乳腺X线影像的中心裁剪。

3.4 CorRELAX：可解释性的表示相关性

所提出的方法CorRELAX是RELAX算法的一种修改，通过测量输入特征表示距离与模型预测之间的相关性，扩展了原始方法对特征重要性的测量。这假设同一输入的 incomplete information 的特征向量和预测之间的距离应该相关，因为训练模型应该从相似的输入表示中推断出相似的预测。当模型更确信输入特征与预测相关时，这种相关性应该更高，基于模型所学知识。预计该方法将提供更鲁棒的重要性测量，因为它考虑了距离的期望值和输入特征重要性的不确定性。

给定一个输入图像X∈R^H×W，大小为H,W，我们使用训练的DL模型f(X|θ)进行推理。大多数CNN架构可以描述为两个部分：

● 特征提取器f_extract使用一系列卷积和池化层从输入图像中提取不同抽象级别的特征。

● 分类器f_predict获取输入图像的提取特征表示，并使用具有定义激活函数的多层感知机（MLP）样结构预测输出类别c。

使用一组在训练期间学习的参数θ，在推理时从分类器阶段之前的最后一层提取大小为D的内部特征向量h=f_extract(X|θ)∈R^D，以及模型的预测输出y?=f_predict(h|θ)。随后，创建一组随机掩码M∈ [0, 1]^b×b，通过从伯努利过程中采样，区域被掩码的概率为p，从大小为b×b的块开始，然后上采样至输入图像大小，以掩码输入内的不同区域。这些掩码随后被应用， resulting in a set of masked variations of the input image X_M=X ⊙ M，这些被输入到训练模型中，返回掩码特征向量h_M=f_extract(X_M|θ)和每个掩码图像的预测输出y?_M=f_predict(h_M|θ)。

使用距离函数，估计特征向量与其掩码版本之间的相似性S_h=S_(h,hM)以及图像预测与掩码图像预测之间的相似性S_y?=S_(y?,y?M)。余弦相似性如公式2所示，通过计算它们之间角度的余弦来测量两个向量在特征空间中是否相似。具有相似语义信息的向量将具有更接近1的余弦相似性，而具有不同信息的向量将具有更接近0的余弦相似性。

使用估计的距离，随后计算两个相关系数：

● 特征向量相似性与模型预测相似性之间的相关性ρ_(Sh,Sy?)。

● 特征向量相似性与掩码图像输出属于类别i∈c的概率之间的相关性ρ_(Sh,y?M)。

第一个系数ρ_(Sh,Sy?)，如公式3所示，评估模型原始输入的内部特征向量表示与输入图像掩码版本的特征向量表示之间的相似性距离。然后，测量其与原始输入及其掩码版本的 resulting predictions 之间的相似性距离的相关性。这产生一个值，测量模型所学知识与表示和预测的一致性。

第二个系数ρ_(Sh,y?M)，如公式4所示，评估来自内部特征向量表示的相似性距离，并测量其与每个掩码图像输出属于类别i∈c的概率的相关性。获得输入特征对模型决策过程重要性的测量，建立了输入处部分信息对模型最终预测的影响。

3.5 实验

所提出的模型被训练用于分类乳腺X线影像的裁剪样本，这些样本包含不同尺度和纵横比的临床相关发现，确保在检测感兴趣元素时的适应性，无论其大小或位置如何。最初，使用来自测试集的裁剪样本评估分类器，这些样本对应于标注的发现边界框。性能指标，包括准确率、精确率、召回率和F1分数，为每个标签估计。

应用滑动窗口方法到整个乳腺X线影像以检查和识别临床相关发现，如先前所示。乳腺X线影像被分成一组定义大小和步长的局部视图。在此实验中，确定大小为256×256，每个窗口之间的步长为48像素。每个窗口被输入到模型中，获取内部特征向量和多标签预测输出。

为重建全局预测，使用图像内所有窗口的投影，对每个窗口的预测应用卷积操作，使用一个表示相邻窗口对当前窗口权重的核。该核通过估计相邻窗口的交并比（IoU）构建，加权每个的重叠窗口数。一对矩形区域（A,B）∈R²的IoU如公式10所示，将每个描述为从定义矩形的左下角到右上角的一对点A=((x_min^A,y_min^A),(x_max^A,y_max^A))。公式5-9描述了IoU估计的每个步骤。

核中每个值的大小为window_size/stride，从中心与相邻窗口的IoU估计，这些窗口的中心在每个维度上距离在[?window_size/2, window_size/2]范围内，以步长分隔。该核随后使用2D卷积操作应用到每个图。此操作对完整图像的每个类别产生平滑预测，考虑每个窗口的预测如何重叠。因此，为每个标签生成预测图，指示乳腺X线影像内各种临床相关发现的预测位置。

使用我们提出的算法检查图像全局时采用了类似的方法。对于从乳腺X线检查中分析的每个窗口，我们生成任意大量（2560）的掩码，使用初始掩码块大小8×8像素，每个区域被掩码的概率为0.5。所有掩码随后使用双线性插值上采样至原始图像大小，并以每组128个掩码应用于窗口以便计算。 resulting feature vectors and prediction for each mask were accumulated for each window。然后评估每个窗口的特征向量和预测集的相关值。最后，该核应用于每个类别的 resulting feature relevance metric and correlation maps，获得每个标签的特征相关性和相关性的全局热力图。

为评估我们方法在定位乳腺X线影像上临床相关发现的精度，如数据集中标注的边界框内所报告，应用了“Pointing Game”策略。给定数据集中每个标签的预测和特征相关性图，我们识别每个包含标注发现的图像中每个地面真值