《Scientific Reports》:From local textures to global attention: a hybrid feature fusion network for skin lesion classification
编辑推荐:
为解决皮肤癌RGB图像检测中因病变外观多变、肤色差异及模型可解释性差导致的准确率低问题,本研究提出一种融合VGG-16、ResNet-50与ViT的混合特征框架(HDFNet),在ISIC 2019/2020等数据集上实现94.5%准确率与97% AUC-ROC,显著优于现有方法。
皮肤癌诊断的“火眼金睛”:当深度学习遇见特征融合
皮肤癌是全球范围内发病率极高的恶性肿瘤之一,其中黑色素瘤等恶性病变若未能及时诊断,致死率极高。传统的皮肤癌诊断高度依赖医生的临床经验与肉眼观察,但在实际医疗场景中,皮肤病变的外观存在巨大差异——从颜色、纹理到形状,甚至受患者肤色类型的影响,仅凭肉眼极易误判。此外,随着人工智能(AI)在医疗影像领域的爆发式应用,基于卷积神经网络(CNN)的模型虽然表现出色,却往往陷入“黑箱”困境:医生无法理解模型为何做出某个诊断决策,这严重阻碍了AI在临床中的实际落地。因此,开发一种既高精度又具备临床可解释性的皮肤病变分类算法,已成为医学影像分析领域的迫切需求。
为了攻克这一难题,一项发表于《Scientific Reports》的研究提出了一种名为HDFNet的混合特征融合框架。该研究创新性地将局部纹理特征提取与全局注意力机制相结合,旨在通过多源特征融合提升模型对复杂皮肤病变的鉴别能力,同时利用可视化工具揭开深度学习决策的“神秘面纱”。
技术路线速览
研究团队构建了一套完整的算法流水线:首先对来自ISIC 2019、ISIC 2020、PAD-UFES及DermQuest DERMIS的RGB皮肤镜图像进行归一化与类别感知选择性增强;随后,利用定制化的VGG-16(自适应层配置)、ResNet-50(皮肤学特征增强)与Vision Transformer(ViT,动态分块)并行提取多维度特征;最后,将三者融合输入双层深度神经网络(DNN)进行分类,并采用Grad-CAM生成可视化热力图以验证模型聚焦区域。
结果与发现
1. 混合架构的性能碾压
实验数据表明,HDFNet的综合性能显著优于单一架构模型。在多项基准测试中,其准确率达到94.5%,AUC-ROC(曲线下面积)高达97%。这证明了特征级融合策略的有效性——VGG-16捕获的局部细节、ResNet-50强化的深层语义以及ViT捕捉的全局长程依赖关系,三者互补极大地丰富了特征表示。
2. 可解释性带来的临床信任
通过Grad-CAM(梯度加权类激活映射)生成的可视化热力图显示,HDFNet的注意力区域与皮肤科医生关注的病变关键区域(如色素网络分布、边缘不规则性)高度吻合。这种视觉可解释性不仅验证了模型决策的逻辑合理性,也为医生采纳AI辅助诊断提供了至关重要的信心基础。
3. 跨数据集的泛化能力
模型在包含不同来源、不同采集设备的多个公开数据集上均保持了稳定的高精度,证明了其强大的泛化能力,能够有效应对临床实践中常见的图像质量与病变形态差异。
结论与展望
该研究证实,“局部纹理+全局注意力”的混合范式是解决复杂皮肤病变分类的有效路径。HDFNet不仅提升了诊断准确率,更通过可解释的预测结果架起了AI与临床医生之间的沟通桥梁。未来,这一框架有望集成到临床工作流中,成为皮肤科医生高效、可靠的“第二双眼睛”,助力早期筛查与精准医疗。