基于双流深度学习框架的皮肤癌分类研究：整合组织病理学特征与视觉特征提取的创新方法

为解决皮肤癌（尤其是黑色素瘤）早期诊断中传统方法存在的主观性强、观察者间差异大及资源受限等问题，Saleh Ateeq Almutairi团队开发了一种结合组织病理学特征(Virchow2)与视觉特征(Nomic)的双流深度学习框架。该研究采用U-Net进行病灶分割，通过特征融合与多层感知器(MLP)分类，在HAM10000数据集上实现96.25%的准确率和93.79%的F1值，为临床提供了一种高效、可解释的智能诊断方案。

　　

皮肤癌是全球最具威胁性的癌症之一，其中黑色素瘤虽仅占皮肤癌病例的小部分，却导致了大多数相关死亡。世界卫生组织数据显示，每年新增约13.2万例黑色素瘤病例，而早期诊断可将患者五年生存率从晚期不足30%提升至99%以上。然而，传统诊断方法如皮肤镜检查和病理活检存在明显局限：依赖医生经验、存在观察者间差异、耗时且难以在资源匮乏地区普及。这些挑战促使研究者探索人工智能解决方案，特别是能整合多模态特征的深度学习技术。

研究团队提出了一种创新性的双流深度学习框架，核心是通过U-Net实现病灶精准分割，再并行提取组织病理学特征（Virchow2模型）和视觉特征（Nomic模型）。关键技术包括：1）使用HAM10000数据集的10,015张皮肤镜图像，经标准化和增强处理；2）U-Net分割模型获得病灶区域（Dice系数0.9169）；3）双流特征融合（公式7）与MLP分类。

数据预处理与病灶分割

通过旋转、翻转等增强技术处理图像后，U-Net模型在分割任务中表现出色，交并比(IoU)达0.8493，为后续特征提取奠定基础。

双流特征提取

Virchow2通过自监督预训练捕获组织病理学模式（公式5），而Nomic提取的视觉特征经L2归一化（公式6）。PCA降维显示两类特征具有互补性。

分类性能

10次试验平均准确率96.25%，显著优于单模态方法（表4）。消融实验证实双流缺一不可：移除组织病理学分支使F1值骤降至64.01%，而仅用视觉特征时F1值为85.50%。

该研究通过融合多维度特征，解决了皮肤癌诊断中的关键痛点。其意义在于：1）为临床提供高精度（96.25%）且可解释的辅助工具；2）证明组织病理学先验知识与视觉特征的协同效应；3）模型轻量化设计（U-Net+Dual-Stream）适合资源受限场景。未来可通过纳入患者元数据（如年龄、病史）和探索注意力机制进一步优化，推动AI在皮肤病学中的实际应用。