基于CNN与Transformer集成学习的多类别皮肤病变诊断增强研究

研究人员针对皮肤癌诊断中存在的类内差异大、类间相似度高以及数据不平衡等问题，开展了基于深度学习的多类别皮肤病变分类研究。通过评估DenseNet201、InceptionResNetV2、Xception等CNN模型和Vision Transformer（ViT）架构的性能，并采用硬投票、软投票和加权软投票等集成策略，最终提出的加权软投票集成方法在HAM10000数据集上取得了89%的准确率和0.80的F1-score，为临床辅助诊断提供了有效解决方案。

　　

皮肤癌是全球最常见的恶性肿瘤之一，早期准确诊断对改善患者预后至关重要。然而，皮肤病变的诊断面临诸多挑战：不同病变类型间存在高度视觉相似性（如黑色素瘤MEL与色素痣NV）；同一类病变呈现显著形态差异；临床图像存在光照、分辨率等干扰因素；此外，医学数据集普遍存在严重的类别不平衡问题。这些因素导致传统诊断方法准确率有限，亟需开发更可靠的计算机辅助诊断系统。

土耳其Ostim Technical University（奥斯汀技术大学）工程学部计算机工程系的研究人员Hasan Erbay团队在《Engineering Science and Technology, an International Journal》发表研究，创新性地将卷积神经网络（CNN）与视觉Transformer（ViT）通过集成学习相结合，显著提升了多类别皮肤病变的诊断性能。研究采用HAM10000数据集（包含10,015张皮肤镜图像，覆盖7种病变类型），系统评估了DenseNet201、InceptionResNetV2、Xception等CNN架构在冻结权重和完全微调两种模式下的表现，同时测试了ViT模型的潜力。通过设计硬投票、软投票和加权软投票三种集成策略，最终开发的加权软投票集成系统实现了89%的准确率和0.80的F1-score，为临床实践提供了可靠工具。

关键技术方法包括：1）使用预训练CNN和ViT模型进行迁移学习；2）采用分层抽样处理HAM10000数据集的类别不平衡；3）开发包含CNN（局部特征提取）和ViT（全局上下文建模）的异构集成框架；4）通过加权软投票融合各模型预测概率，权重根据验证集表现动态调整。

【性能对比分析】
实验数据显示，完全微调模型显著优于冻结权重模型，其中InceptionResNetV2（full）以88%准确率和0.77 F1-score成为最佳单模型。值得注意的是，ViT模型在未微调情况下仍达到79%准确率，证明其捕捉长程依赖关系的优势。

【集成策略优化】
五模型集成ENS-WSV-5（含CNN、Xception、DenseNet201、InceptionResNetV2和ViT）表现最优，对关键恶性病变如黑色素瘤（MEL）和基底细胞癌（BCC）的召回率分别达84.47%和56.52%，显著降低漏诊风险。混淆矩阵显示，该系统对血管性病变（VASC）等罕见类型的分类性能较基线模型提升23%。

【可视化验证】
ROC曲线显示ENS-WSV-5在7个类别上的AUC均值达0.93，其中MEL和光化性角化病（AKIEC）的AUC超过0.96。精确率-召回率曲线证实该系统在高风险类别中保持稳定性能，在假阴性率5%时仍维持91%的精确率。

该研究通过异构模型集成有效融合了CNN的局部特征提取能力与ViT的全局上下文建模优势，加权投票机制则进一步缓解了数据不平衡的影响。临床意义在于：1）为诊断难度高的黑色素瘤等恶性病变提供高灵敏度（84.66%）检测方案；2）模型决策可解释性强，通过注意力图可视化辅助医生定位病变特征；3）集成框架具有扩展性，可整合新出现的先进架构。未来工作将探索动态权重调整、跨模态数据融合等技术，以提升在真实医疗场景中的泛化能力。研究团队特别指出，尽管AI系统表现优异，现阶段仍应作为辅助工具而非替代专业医生的临床判断。