《Frontiers in Artificial Intelligence》：Design of a feature-optimized hybrid CNN–Transformer model for melanoma-vs.-non-melanoma classification
编辑推荐：
引言： 皮肤镜图像中黑色素瘤的准确识别具有挑战性，因为病变外观在不同采集设备、皮肤背景和诊断类别之间存在显著差异。
方法： 本研究提出病变感知混合CNN–Transformer网络（Lesion-aware Hybrid CNN-Transformer Net
引言： 皮肤镜图像中黑色素瘤的准确识别具有挑战性，因为病变外观在不同采集设备、皮肤背景和诊断类别之间存在显著差异。
方法： 本研究提出病变感知混合CNN–Transformer网络（Lesion-aware Hybrid CNN-Transformer Network, LHCT-Net），一种用于在包含25,331幅图像的ISIC 2019训练集上进行黑色素瘤与非黑色素瘤二分类的病变感知混合CNN–Transformer框架。终点被明确定义为黑色素瘤（阳性类别）与ISIC 2019其余所有诊断类别（阴性类别）的对比；因此，所报告的结果不应被解释为良性对恶性或一般皮肤癌检测性能。该流程结合了固定的基于U-Net的病变定位、仅训练阶段的掩膜引导病变增强、用于局部形态学的边界感知EfficientNet-B0分支、用于全局上下文的Swin Transformer分支、基于注意力的局部-全局融合、轻量级特征优化块（Lightweight Feature Optimization Block, LFOB）以及定性Grad-CAM++可视化。数据集采用固定的70:15:15分层图像级留出划分进行评估，增强和超参数选择仅限于训练和验证分区，测试分区仅用于最终评估。
结果： 在锁定测试集上，混淆矩阵包含3,096个真阴性、26个假阳性、29个假阴性和650个真阳性，对应98.55%的准确率、96.15%的黑色素瘤精确率、95.73%的黑色素瘤灵敏度、99.17%的特异度、95.94%的F1分数、97.45%的平衡准确率和0.951的MCC。报告的ROC-AUC为0.98。
讨论： 这些结果表明，在定义的黑色素瘤与非黑色素瘤任务中具有强大的判别能力，而在临床使用之前，外部验证、亚组分析、校准和解释的专家验证仍然是必要的。
论文解读
一、研究背景与问题
皮肤癌是全球最常见的癌症类型之一，源于皮肤细胞在持续紫外线辐射下发生不受控分裂。皮肤癌一般分为基底细胞癌（Basal Cell Carcinoma, BCC）、鳞状细胞癌（Squamous Cell Carcinoma, SCC）和黑色素瘤三大类。其中，黑色素瘤因高度转移性而被认为比BCC和SCC更为严重。全球范围内皮肤癌发病率迅速上升，已构成重大公共卫生挑战。黑色素瘤一旦发生转移扩散，预后显著恶化，因此及时的临床识别至关重要。然而，皮肤镜评估面临诸多挑战：病变外观在不同患者、不同采集设备和不同诊断类别之间存在显著差异；良性病变与恶性病变在外观上高度相似，即使是有经验的医生也可能产生混淆；专业皮肤科评估资源分布不均，限制了规模化筛查的可能性。这些因素共同凸显了开发自动化智能诊断工具的迫切性。
近年来，深度学习（Deep Learning, DL）已成为自动皮肤癌检测和分类的有效技术。卷积神经网络（Convolutional Neural Network, CNN）在提取病变的纹理、颜色分布和边界信息等层次化特征方面展现出接近皮肤科医生的分类精度。然而，现有方法仍存在一系列未解决的问题。首先，纯CNN架构擅长提取局部纹理信息，但在建模图像中的长距离空间关系方面表现不佳；其次，Transformer虽然能更好地理解病变的全局上下文，但计算成本较高且需要大量训练数据；第三，现有方法多采用复杂集成模型，无法有效过滤无关特征，难以适应临床场景；第四，可解释人工智能（Explainable Artificial Intelligence, XAI）的融入仍未得到充分解决，而可解释性对于建立临床医生的信任至关重要；最后，类别不平衡问题必须加以考虑，因为在黑色素瘤与非黑色素瘤终点中，非黑色素瘤图像数量远多于黑色素瘤图像。
二、研究内容与核心贡献
针对上述困难，研究人员提出了LHCT-Net（Lesion-aware Hybrid CNN-Transformer Network），一种用于黑色素瘤与非黑色素瘤分类的病变感知混合CNN–Transformer网络。该模型利用U-Net分割机制聚焦病变区域，消除背景噪声干扰；采用病变感知掩膜引导增强技术处理不平衡数据集，为少数类别合成图像；分别使用边界感知EfficientNet和Swin Transformer进行局部和全局信息建模，再通过注意力引导的特征融合技术获得增强的特征表示。此外，为减少冗余特征，研究人员引入了新的轻量级特征优化块（Lightweight Feature Optimization Block, LFOB）。Grad-CAM++用于结果可视化以增强可解释性。LHCT-Net的独特性不仅在于CNN与Transformer架构的融合，更在于病变感知数据增强、边界感知特征提取、优化特征学习和基于注意力的融合的协调实现。
三、关键技术方法
研究人员使用ISIC 2019官方训练集，包含25,331幅皮肤镜图像，涵盖八个诊断类别，并将其重构为黑色素瘤（阳性类）与非黑色素瘤（阴性类）二分类任务。非黑色素瘤阴性类汇集了黑色素细胞痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤、血管病变和鳞状细胞癌。采用固定的70:15:15分层图像级留出划分。主要技术方法包括：固定U-Net病变分割定位模块；仅训练阶段的病变感知掩膜引导增强（旋转±25°、各向同性缩放0.8–1.2、水平/垂直翻转概率0.5、亮度缩放0.9–1.1）；边界感知EfficientNet-B0局部特征提取分支（通过固定梯度边缘图经浅层边缘CNN和1×1卷积对齐后以α=0.3加权融合）；Swin Transformer Tiny全局特征提取分支（patch size为4，窗口大小为7，嵌入维度96）；基于缩放点积注意力的局部-全局交叉注意力融合；LFOB轻量级特征优化块将512维融合向量精简至128维；Grad-CAM++定性可视化。
四、研究结果
数据集分布与划分： 黑色素瘤共4,522幅（训练3,165幅、验证678幅、测试679幅），非黑色素瘤共20,809幅（训练14,566幅、验证3,121幅、测试3,122幅）。类别不平衡仅存在于训练过程中，病变感知增强仅应用于训练集中的黑色素瘤图像，验证和测试图像从不进行增强。
分类性能： 在锁定测试集上，混淆矩阵包含3,096个真阴性、26个假阳性、29个假阴性和650个真阳性，对应98.55%的准确率、96.15%的黑色素瘤精确率、95.73%的黑色素瘤灵敏度、99.17%的特异度、95.94%的F1分数、97.45%的平衡准确率和0.951的MCC，ROC-AUC为0.98。
消融与对比分析： 研究通过与现有代表性方法进行对比，验证了LHCT-Net在黑色素瘤与非黑色素瘤任务上的优越性。边界感知CNN模块有效增强了模型对病变不规则边界的敏感性，而Swin Transformer分支弥补了CNN在全局上下文建模方面的不足，注意力融合机制则实现了局部与全局特征的有效整合，LFOB进一步精简了融合特征表示。
五、讨论与结论
研究结果表明，LHCT-Net在定义的黑色素瘤与非黑色素瘤任务中展现出强大的判别能力。然而，研究人员明确指出，外部验证、亚组分析、校准和解释的专家验证在临床使用之前仍然是必要的。该研究存在若干可复现性限制：分割模块的U-Net训练数据集、注释来源、检查点标识、掩膜阈值、损失/优化器设置、独立Dice/IoU结果以及分割预训练数据与分类分区之间重叠的完整审计均未保留；梯度边缘操作仅记录为固定梯度图，未保留精确的离散梯度核或边界处理规则；由于可用实验记录未为每幅ISIC 2019图像提供完整的患者标识符，因此未声称患者级划分，也未保留病变标识符和精确/近似重复图像的跨分区审计。未来验证应在可获得完整标识符的情况下采用病变或患者分组划分，并进行明确的重复审计。研究结论强调，LHCT-Net将分割引导学习、病变感知增强、边界感知CNN特征提取、CNN与Transformer表示的注意力融合以及轻量级特征精炼整合在一个病变聚焦流程中，填补了现有文献中联合优化局部-全局特征学习、病变区域挖掘和计算效率的策略空白。
