从局部纹理到全局注意力:一种用于皮肤病变分类的混合特征融合网络(HDFNet)

《Scientific Reports》:From local textures to global attention: a hybrid feature fusion network for skin lesion classification

【字体: 大 中 小 】 时间:2026年04月23日 来源:Scientific Reports 3.9

编辑推荐:

  为解决皮肤癌RGB图像检测中因病变外观多变、肤色差异及模型可解释性差导致的准确率低问题,本研究提出一种融合VGG-16、ResNet-50与ViT的混合特征框架(HDFNet),在ISIC 2019/2020等数据集上实现94.5%准确率与97% AUC-ROC,显著优于现有方法。

  

皮肤癌诊断的“火眼金睛”:当深度学习遇见特征融合

皮肤癌是全球范围内发病率极高的恶性肿瘤之一,其中黑色素瘤等恶性病变若未能及时诊断,致死率极高。传统的皮肤癌诊断高度依赖医生的临床经验与肉眼观察,但在实际医疗场景中,皮肤病变的外观存在巨大差异——从颜色、纹理到形状,甚至受患者肤色类型的影响,仅凭肉眼极易误判。此外,随着人工智能(AI)在医疗影像领域的爆发式应用,基于卷积神经网络(CNN)的模型虽然表现出色,却往往陷入“黑箱”困境:医生无法理解模型为何做出某个诊断决策,这严重阻碍了AI在临床中的实际落地。因此,开发一种既高精度又具备临床可解释性的皮肤病变分类算法,已成为医学影像分析领域的迫切需求。
为了攻克这一难题,一项发表于《Scientific Reports》的研究提出了一种名为HDFNet的混合特征融合框架。该研究创新性地将局部纹理特征提取与全局注意力机制相结合,旨在通过多源特征融合提升模型对复杂皮肤病变的鉴别能力,同时利用可视化工具揭开深度学习决策的“神秘面纱”。

技术路线速览

研究团队构建了一套完整的算法流水线:首先对来自ISIC 2019、ISIC 2020、PAD-UFES及DermQuest DERMIS的RGB皮肤镜图像进行归一化与类别感知选择性增强;随后,利用定制化的VGG-16(自适应层配置)、ResNet-50(皮肤学特征增强)与Vision Transformer(ViT,动态分块)并行提取多维度特征;最后,将三者融合输入双层深度神经网络(DNN)进行分类,并采用Grad-CAM生成可视化热力图以验证模型聚焦区域。

结果与发现

1. 混合架构的性能碾压

实验数据表明,HDFNet的综合性能显著优于单一架构模型。在多项基准测试中,其准确率达到94.5%,AUC-ROC(曲线下面积)高达97%。这证明了特征级融合策略的有效性——VGG-16捕获的局部细节、ResNet-50强化的深层语义以及ViT捕捉的全局长程依赖关系,三者互补极大地丰富了特征表示。

2. 可解释性带来的临床信任

通过Grad-CAM(梯度加权类激活映射)生成的可视化热力图显示,HDFNet的注意力区域与皮肤科医生关注的病变关键区域(如色素网络分布、边缘不规则性)高度吻合。这种视觉可解释性不仅验证了模型决策的逻辑合理性,也为医生采纳AI辅助诊断提供了至关重要的信心基础。

3. 跨数据集的泛化能力

模型在包含不同来源、不同采集设备的多个公开数据集上均保持了稳定的高精度,证明了其强大的泛化能力,能够有效应对临床实践中常见的图像质量与病变形态差异。

结论与展望

该研究证实,“局部纹理+全局注意力”的混合范式是解决复杂皮肤病变分类的有效路径。HDFNet不仅提升了诊断准确率,更通过可解释的预测结果架起了AI与临床医生之间的沟通桥梁。未来,这一框架有望集成到临床工作流中,成为皮肤科医生高效、可靠的“第二双眼睛”,助力早期筛查与精准医疗。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号