SkinXViT:基于双骨干CNN-Transformer架构的皮肤病变诊断与可解释性研究
《IEEE Access》:SkinXViT: A Novel Explainable Hybrid ViT Approach for Skin Lesion Diagnosis
【字体:
大
中
小
】
时间:2026年09月23日
来源:IEEE Access 4.2
编辑推荐:
皮肤病变的准确诊断是皮肤科学中的一大挑战,尤其是在区分具有重叠视觉特征的多种病症时。先前的研究曾探讨将单一的基于CNN的架构与Transformer编码器相结合。我们提出了一种名为SkinXViT的双骨干CNN-Transformer架构,该架构整合了DenseNet-121
皮肤病变的准确诊断是皮肤科学中的一大挑战,尤其是在区分具有重叠视觉特征的多种病症时。先前的研究曾探讨将单一的基于CNN的架构与Transformer编码器相结合。我们提出了一种名为SkinXViT的双骨干CNN-Transformer架构,该架构整合了DenseNet-121和ResNet-18,以捕捉互补的局部纹理表示和残差语义特征,然后再通过基于Transformer的全局上下文建模进行处理。与传统的单骨干CNN-Transformer混合架构不同,SkinXViT显式地利用了两个结构不同的卷积网络所产生的异构特征表示,使Transformer编码器能够在更丰富、更具区分力的特征嵌入上运行。在ISIC-2019数据集上的实验表明,SkinXViT取得了0.9889的准确率、0.9750的F1分数和0.9977的AUC,相较于近期表现最优的方法,准确率提升了1.89个百分点,F1分数提升了8.75个百分点。更重要的是,该模型在未见过的疾病上表现出了强大的跨数据集表示迁移性能,例如在MSLD v2.0数据集中的猴痘检测上,无需任何关于猴痘的预训练,便达到了0.780的准确率和0.810的AUC。此外,我们提出的模型还通过Grad-CAM、Grad-CAM++和LIME等技术提供了可解释性,进一步证实SkinXViT始终能够突出与皮肤病变相关的区域,且这些区域与预期的皮肤病学特征一致。这些结果表明,SkinXViT兼具高诊断性能和可解释性,并具有稳健的泛化能力,使其成为AI辅助皮肤病诊断极具前景的工具,能够支持临床医生应对常见及新兴的皮肤病病例。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号