一种基于代理增强和边际自适应的对比学习方法，用于皮肤病变诊断

《Biomedical Signal Processing and Control》：A proxy-enhanced and margin-adaptive contrastive learning method for skin lesion diagnosis

代理增强与自适应边距对比学习框架提出动态难度系数和自适应边距损失，结合渐进注意力策略与代理生成模块，有效缓解皮肤病变数据集中的样本数量与诊断难度双重不平衡问题，在ISIC2018和ISIC2019数据集上显著提升分类性能。

　　

作者名单：狄鑫、姚鹏、张驰、沈书伟、王志平、韩兆恒、史阳、邵鹏飞、孙明斋、徐 Ronald X.

单位：中国科学技术大学精密机械与精密仪器系，合肥，230026，中国

摘要

深度神经网络（DNN）在皮肤疾病诊断方面取得了显著的成功，但其应用受到数据不平衡的限制。这种不平衡不仅源于训练集中不同类别样本数量的不均衡，还由于皮肤病变之间的诊断难度差异。为了解决这些问题，我们提出了一种创新的代理增强和边缘自适应对比学习（PMCL）框架，该框架结合了自适应边缘和代理机制。首先，我们开发了一个综合难度系数，用于动态评估类别难度并在训练过程中重点关注难处理的类别。其次，我们设计了类别平衡自适应边缘损失（CBAML）和类别平衡渐进式注意力策略，引入了综合数量比系数和综合难度比系数来控制类别边缘，动态调整这两个系数在CBAML中的贡献权重，逐步将注意力从样本数量不平衡转移到类别难度不平衡上，充分考虑它们对分类性能的影响，从而增强模型的表示能力并缓解类别不平衡问题。最后，我们提出了类别平衡对比学习损失（CBCLL）和类别平衡代理生成模块，为难处理类别和少数类别分配更多可学习的代理，为多数类别和容易处理的类别分配较少的代理，确保所有类别对模型训练的贡献均衡。我们在两个数据集上进行了广泛的实验，取得了最佳的分类结果：在ISIC2018数据集上的平均敏感性为85.01%，准确率为91.41%；在ISIC2019数据集上的平均敏感性为82.92%，准确率为88.29%。与最近的主流对比学习方法（如ECL）相比，PMCL在ISIC2018数据集上的平均敏感性提高了3.82%，准确率提高了1.99%；在ISIC2019数据集上的平均敏感性提高了2.34%，准确率提高了1.32%。代码可在以下链接获取：https://github.com/FXDF1004/PMCL

引言

皮肤癌是人类最常见的恶性肿瘤之一[1]。根据2022年的全球统计数据[2]，新诊断出的黑色素瘤病例超过33万例，非黑色素瘤皮肤癌病例超过123万例，约有13万人死于皮肤癌。然而，如果在早期发现，成功治疗的机会会显著增加。相关研究[3]表明，局部黑色素瘤（即未发生转移时）患者的五年生存率可高达99%，但一旦癌症转移到远处器官，生存率会急剧下降至约20%。因此，皮肤癌的早期诊断和治疗对于改善患者预后至关重要。 在传统的皮肤科检查方法中，皮肤镜成像已被证明比皮肤科医生的肉眼观察具有更高的诊断准确性[4]。然而，皮肤镜的诊断准确性仍然很大程度上依赖于皮肤科医生的专业技能[5]，并且不同医生之间的诊断准确性存在显著差异[6]。近年来，基于深度神经网络的计算机辅助诊断（CAD）方法被广泛研究，以帮助皮肤科医生提高诊断的准确性和效率[7]、[8]、[9]。这些自动化诊断系统的实施可以有效降低皮肤癌的死亡率，为患者和医疗系统带来实质性益处[10]。 尽管基于深度神经网络的方法显著提高了皮肤科诊断的性能，但诊断准确性的进一步提高仍受到两个主要因素的制约。首先，大多数公开的皮肤病变数据集样本数量不足。大规模且多样化的数据集是开发稳健的自动化分类方法的关键。例如，最大的公开皮肤镜图像数据集之一BCN_20000仅包含19,424张图像[11]，与常用的自然图像数据集（如包含超过一百万张图像的ImageNet）相比数量明显较少[12]。此外，许多皮肤病变图像存在照明不均、图像模糊以及由毛发、血管和尺子痕迹引起的伪影等问题，导致图像质量不佳。这些因素进一步阻碍了深度神经网络的有效训练。其次，皮肤镜图像数据集存在明显的数据不平衡问题，表现为类别样本数量不平衡和难度不平衡。由于某些皮肤疾病的罕见性，很难收集到足够的临床图像样本，导致各类别之间的样本数量存在严重差异。如表1所示，在两个最常用的公开皮肤镜图像数据集ISIC2018和ISIC2019中，多数类别（例如黑色素痣，简称NV）的样本数量占总样本数量的60%以上，而少数类别（如皮纤维瘤，简称DF）和血管病变（简称VASC）的样本数量不足5%。这种明显的类别样本数量不平衡会导致深度神经网络在训练过程中偏向多数类别，从而降低其检测少数类别的能力。此外，许多皮肤病变图像表现出低类别间变异性和高类别内变异性，如图1[13]、[14]所示。同一类别内的病变（例如黑色素瘤，简称MEL）在颜色、纹理和大小上可能存在显著差异。同时，不同类别的病变（例如MEL和NV）在视觉上可能相似。这种高类别内变异性和低类别间变异性的特点使得某些类型的皮肤病变（例如MEL）特别难以分类，即使它们的样本数量明显多于其他类别（例如血管病变，简称VASC）。这种分类难度的不平衡进一步限制了深度神经网络的训练效果。 由于类别不平衡显著影响了皮肤疾病的诊断性能，已经提出了许多方法[17]、[18]来缓解这一问题。例如，姚等人[17]引入了一种端到端累积学习策略（CLS）来缓解皮肤病变数据集中的类别不平衡问题。曹等人[19]提出了LDAM方法，通过建模关注标签分布的边缘来缓解类别不平衡，从而赋予低频类别更大的重要性，提高模型对少数类别的诊断性能。然而，这些方法仅关注缓解类别样本数量不平衡的问题，忽略了类别难度不平衡的问题。徐等人在使用皮肤癌数据集进行的实验中观察到，尽管训练集中良性角化病（简称BKL）样本的数量是VASC的十倍，但BKL的敏感性仍低于VASC。这表明，仅基于每个类别的样本数量来缓解类别不平衡是不够的，应同时考虑类别样本数量和难度。尽管如此，只有少数研究解决了类别难度不平衡的问题。例如，辛哈等人[18]引入了类别难度的概念，并提出了一种在训练过程中根据难度动态调整模型关注度的方法，从而缓解类别难度不平衡的影响。 为了提高皮肤疾病诊断的分类性能，我们提出了一种代理增强和边缘自适应对比学习方法，旨在通过同时考虑类别样本数量不平衡和难度不平衡来解决模型训练过程中遇到的严重类别不平衡问题。首先，我们引入了一个综合难度系数，用于动态评估每个类别的诊断难度，并控制训练过程中对难处理类别的关注程度。其次，我们提出了类别平衡自适应边缘损失（CBAML），该方法根据类别样本数量和难度动态调整决策边界。这种方法鼓励为难处理类别和少数类别分配更大的边缘，从而缓解类别不平衡。结合类别平衡渐进式注意力策略，CBAML使模型能够逐步将注意力从类别样本数量不平衡转移到难度不平衡上，增强网络的表示能力并缓解类别不平衡。接下来，我们进一步引入了类别平衡对比学习损失（CBCLL），其中包含一个类别平衡代理生成模块，为每个类别生成可学习的代理。这些代理有助于丰富少数类别和难处理类别的表示，并确保所有类别在训练过程中的贡献均衡。最后

方法部分

皮肤疾病诊断方法

基于皮肤镜图像的计算机辅助诊断最初依赖于提取手工制作的特征，并将其输入到传统的分类器中[21]、[22]、[23]。例如，杨等人的工作[23]遵循了皮肤科医生用于诊断皮肤癌的临床“ABCD规则”[24]、[25]。他们提取了皮肤病变的手工特征（如结构、颜色、形状），然后应用KNN和SVM等分类方法进行皮肤癌分类。 然而，

方法

在本节中，我们首先介绍了代理增强和边缘自适应对比学习方法的总体框架。然后，我们介绍了综合难度系数、类别平衡自适应边缘损失与类别平衡渐进式注意力策略以及类别平衡对比学习损失与类别平衡代理生成模块。

数据集和评估指标

我们使用了两个广泛采用的皮肤镜皮肤病变数据集：ISIC2018和ISIC2019。 ISIC2018：该数据集[15]的训练集包含10,015张皮肤镜图像，涵盖了七种皮肤病变的诊断类别，包括日光性角化病（AK）、基底细胞癌（BCC）、良性角化病样病变（BKL）、皮纤维瘤（DF）、黑色素瘤（MEL）、黑色素痣（NV）、鳞状细胞癌（SCC）和血管病变（VASC）。各类别的图像数量列在表1中。 ISIC2019：

讨论

优势与其他先进方法相比，我们的方法在保持不同类别之间稳定泛化能力的同时，取得了更好的性能，如表2所示。与需要通过增强或重采样来平衡数据的传统方法不同，表7显示PMCL在不平衡数据上直接实现了强大且稳定的性能，凸显了其在实际临床场景中的鲁棒性和实用价值。

结论

在本研究中，我们提出了一种基于自适应类别边缘和代理机制的创新代理增强和边缘自适应对比学习（PMCL）方法。我们开发了一个综合难度系数，并引入了监督对比学习，以及类别平衡自适应边缘损失（CBAML）、类别平衡渐进式注意力策略、类别平衡对比学习损失（CBCLL）和类别平衡代理生成模块。CBAML通过控制类别边缘

CRediT作者贡献声明

狄鑫：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、形式分析、数据管理、概念化。 姚鹏：撰写 – 审稿与编辑、监督、方法论、资金获取、形式分析、概念化。 张驰：调查、形式分析、数据管理。 沈书伟：撰写 – 审稿与编辑、监督、资金获取、形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。