EAF-Net：具有代理注意力的细粒度皮肤癌图像分类网络

《Applied Soft Computing》：EAF-Net: Fine-grained skin cancer image classification network with agent attention

　　

摘要

为了解决皮肤癌图像分类中的细粒度挑战——模糊的病变特征、毛发遮挡以及计算成本与准确率之间的平衡——本研究提出了EAF-Net，一种集成Agent注意力机制的分类网络。以ResNet50作为骨干网络，EAF-Net通过残差连接缓解梯度消失问题，并通过ImageNet迁移学习适应稀缺的标注医学数据。Agent注意力机制以线性复杂度增强了细粒度病变特征的捕获能力，而"黑帽运算+Telea算法"的预处理则移除了毛发遮挡——修复后的图像平均SSIM为0.917，平均Dice系数为0.958，伪影率为0.7%。实验在HAM10000数据集上进行，该数据集包含10,015张皮肤镜检查图像，涵盖7种色素性病变，并分为三个子集：80%用于训练，10%用于验证，10%用于测试。结果表明，EAF-Net优于主流模型，黑色素瘤的分类准确率为0.83，黑色素细胞痣（NV）为0.93，基底细胞癌为0.88。其总体准确率比VGG19（87.03%）高5.78%，比MobileNetV2（88.42%）高4.79%；将NV与恶性黑色素瘤的区分度从ResNet50的0.83提高到0.87，并且相比Swin-B减少了超过40%的参数。本工作支持皮肤科临床辅助诊断，并为医学图像细粒度分类提供了新方法。

引言

皮肤疾病是最常见的疾病之一，可发生于所有年龄段。严重的皮肤疾病可能导致活动能力丧失，甚至危及生命。皮肤疾病种类繁多，其中皮肤癌是各国医疗卫生行业高度关注的疾病。皮肤癌可大致分为黑色素瘤皮肤癌和非黑色素瘤皮肤癌（NMSC）。黑色素瘤是一种侵袭性强、转移性高的癌症，是致死性最强的皮肤癌类型之一，因为黑色素瘤细胞往往在短时间内迅速转移到身体的其他部位，包括肺、肝、脾或脑[2]。NMSC包括基底细胞癌（BCC）和鳞状细胞癌（SCC），以及其他较少见的皮肤癌类型。BCC是人类最常见的恶性肿瘤，占所有皮肤肿瘤的60%。研究表明，全球每年新发恶性黑色素瘤病例超过500万例，占所有癌症患者的4%至5%[1]。由于环境污染和紫外线防护意识不足，中国的皮肤癌发病率每年增加3%至8%，每年报告超过20,000例新病例。这一趋势对人群健康构成了严重威胁[3]，但早期发现癌症可以显著降低死亡风险。研究表明，当黑色素瘤被早期发现时，近95%的病例可以治愈[4]。这意味着早期诊断对于延长患者生存至关重要。此外，由于黑色素瘤细胞可以在短时间内迅速扩散，快速诊断也是提高生存率的关键因素。在诊断过程中，一些病变类型的表现可能非常相似；因此，确保准确诊断与医生的专业经验密切相关[5]。然而，在现实生活中，皮肤科医生对皮肤病变的视觉评估可能具有主观性且容易出错，导致诊断延迟或不必要的手术。据统计，在没有额外技术支持的情况下，皮肤科医生诊断黑色素瘤的准确率为65%–80%。

根据过去的经验，由于皮肤癌传播迅速，快速诊断皮肤癌图像已成为提高生存概率的重要方法。目前，人工安排医生逐一观察的方法不仅效率低下，而且影响最佳治疗时期，并产生高的人力成本。具有高准确率的自动识别方法自然成为降低诊断间隔时间和错误的紧急研究方向。在这种背景下，人工智能的介入为皮肤癌图像诊断领域带来了新的探索方向。

尽管一系列基于卷积神经网络的皮肤癌图像识别研究在提高皮肤癌图像识别准确率方面取得了突破性进展，但仍有很大的发展空间。可以看出，皮肤癌图像识别仍存在以下问题（图1、图2）：

• •
  恶性黑色素瘤和良性肿瘤中的黑色素细胞痣外观非常相似，难以区分两者。
• •
  毛发遮挡问题会导致关键信息丢失，并可能导致模型过度学习噪声，影响判断结果。
• •
  模型变得越来越复杂，但皮肤癌图像中的纹理相对简单。更复杂的模型并不总是更好，简单的迁移学习并不总是适用的。有必要将皮肤癌图像的特征纳入迁移后的模型优化中。

针对现有问题，本文的贡献如下：

• •
  将Agent注意力机制引入学习模型，优化网络架构，增强模型对细粒度图像的识别能力，并区分高度相似的皮肤癌图像类别。
• •
  使用黑帽运算结合Telea算法[22]来解决皮肤科图像中的毛发遮挡问题。该方法可以自动去除原始图像中的毛发遮挡，并修复遮挡部分的信息。
• •
  使用ResNet50模型结合迁移学习技术作为我们模型的基础模型。它在ImageNet数据集上进行预训练，可以从图像中提取通用特征并减少计算资源。

此外，为了解决毛发去除可能导致的病变边界损伤或伪影引入问题，我们通过结合"控制变量实验+定量指标验证+边界案例分析"进行调查。本文使用的数据集是HAM10000数据集，包含10,015张皮肤科图像。为了解决过拟合问题，提出的CNN架构依赖三种主要策略：数据增强、dropout和组合学习率策略。采用预热-余弦退火[28]来加速解的收敛。我们的研究发现表明，它可以实现高分类准确率，足以帮助医生分类各种皮肤病变。

章节摘要

相关工作

为了快速准确地识别皮肤癌，许多研究者在神经网络应用于皮肤癌方面取得了重大进展。该领域做出了大量努力。在数据获取方面，建立了一种皮肤镜检查程序，以加快黑色素瘤的诊断[6]。皮肤镜检查是一种医学技术，用于获取皮肤表面下方细微结构和色素的显微图像，即皮肤镜图像。通过放大皮肤

方法

在本研究中，我们采用ResNet50作为研究中的骨干网络。使用ResNet50作为骨干网络具有几个显著优势。

• •
  解决梯度消失问题并实现皮肤癌图像的深层特征提取：皮肤癌图像表现出细粒度的判别特征，例如黑色素瘤和黑色素细胞痣之间边界形态和色素分布的差异，这需要深层网络来捕获复杂模式。核心创新是

数据集和数据预处理

本文使用的数据集是HAM10000（人机对战与10,000张训练图像）[29]。该数据集由维也纳医科大学皮肤科和赫尔姆霍兹慕尼黑中心提供，包含约10,000张高质量皮肤镜图像，涵盖光化性角化病和上皮内癌、基底细胞癌、良性角化病、皮肤纤维瘤、黑色素瘤、血管病变和痣。关于7种皮肤病变，见图12。每张图像都

系统设计与实现

为了更好地服务患者和皮肤科医生，我们开发了一个皮肤癌图像识别小程序，它可以帮助患者更早地发现疾病并及时恢复。基于上述研究，根据软件的整体要求，完成了系统各模块功能的后续开发，并进行了效果演示。

总结与结论

为了解决皮肤癌图像高度相似性和毛发遮挡等问题，本文设计了基于ResNet50模型的特征提取网络，即提取、注意力和融合网络，以构建EAF-Net网络用于细粒度皮肤病诊断。本研究中开发的EAF-Net模型用于皮肤癌分类和识别，因其具有多种优势：

• •
  引入Agent注意力机制增强了网络架构，通过提高

CRediT作者贡献声明

叶文倩（Wenqian Ye）：撰写——原稿，软件，资源，调查，正式分析，数据整理。孙毅（Yi Sun）：撰写——审阅与编辑，监督，资源，调查，资金获取，概念化。

生成式AI和AI辅助技术在写作过程中的声明

作者使用Deepseek优化语言并提高稿件的清晰度。在使用该工具后，作者根据需要审阅和编辑了内容，并对出版内容承担全部责任。

利益冲突声明

作者声明他们不存在已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢

本工作得到了国家自然科学基金委员会数学天元基金（编号：12426105, 12426520）的支持。作者感谢副编辑和匿名审稿人提出的宝贵意见和建议，这些意见极大地提高了本文的质量。

叶文倩（Wenqian Ye）|孙毅（Yi Sun）

新疆大学数学与系统科学学院，乌鲁木齐，830017，中国