当深度特征仅针对二分类任务进行训练时,它们能否学会识别黑色素瘤的深度层次变化呢?

《Array》:Are deep features able to learn melanoma depth gradation when trained only for binary tasks?

【字体: 大 中 小 】 时间:2026年05月07日 来源:Array 4.5

编辑推荐:

  米格尔·诺加莱斯(Miguel Nogales)|贝戈尼亚·阿cha(Bego?a Acha)|费尔南多·阿拉尔孔·索尔德维利亚(Fernando Alarcón Soldevilla)|何塞-胡安·佩雷拉-罗德里格斯(José-Juan Pereyra-Rodríguez)|卡

  米格尔·诺加莱斯(Miguel Nogales)|贝戈尼亚·阿cha(Bego?a Acha)|费尔南多·阿拉尔孔·索尔德维利亚(Fernando Alarcón Soldevilla)|何塞-胡安·佩雷拉-罗德里格斯(José-Juan Pereyra-Rodríguez)|卡门·塞拉诺(Carmen Serrano)
西班牙塞维利亚大学(University of Seville, Seville, Spain)

**摘要**
本研究旨在通过分析皮肤镜图像来估计黑色素瘤的Breslow深度,这对于黑色素瘤的诊断和治疗至关重要。该研究有两个目标:改进目前估计黑色素瘤深度的方法,并探究随着黑色素瘤厚度增加,皮肤镜特征是否会发生变化。为了实现这些目标,研究人员设计并训练了一个基于ConvNext架构的卷积神经网络(Convolutional Neural Network, CNN),用于预测黑色素瘤的厚度。随后,研究者探讨了CNN输出结果与活检所得连续深度值之间的关系,以研究可能与黑色素瘤深度相关的深层特征的变化。首先,在深层特征空间进行了统计分析;接着,将深层特征转换为主成分分析(Principal Component Analysis, PCA)和均匀流形逼近与投影(Uniform Manifold Approximation and Projection, UMAP)空间进行进一步分析。

**主要成果**
首先,该模型的性能优于文献中的现有方法,能够准确地将黑色素瘤分类为浅表型或深层型,其召回率(recall)和F1分数(F1 score)分别达到了0.79和0.67,体现了精度与召回率的良好平衡。就深层特征与活检深度之间的关系而言,发现黑色素瘤深度与预测概率之间存在中等程度的相关性,且这种相关性在深层黑色素瘤中更为显著。PCA和UMAP分析均表明,中等深度的黑色素瘤在转换后的特征空间中处于中间位置。

这些发现表明深层特征具备区分不同深度黑色素瘤的能力,为通过深度学习模型更好地理解黑色素瘤提供了新的见解,并提示了一种潜在的研究方法。

**1. 引言**
黑色素瘤是最危险的皮肤癌类型[1][2],因为它具有扩散倾向。一旦发生转移,治疗将变得非常困难,甚至可能危及生命。黑色素瘤可以出现在身体的任何部位,外观常类似痣,颜色通常是黑色或棕色,但也可能为肤色、红色甚至蓝色[3][4]。目前有多种评估黑色素瘤深度的方法,例如Clark指数[5]或Breslow指数[6]。本研究采用了后者,因为它是判断癌症分期和指导治疗决策的关键参数。Breslow深度是从颗粒层顶部(或如果肿瘤发生溃疡,则从溃疡底部)到肿瘤侵犯最深点的距离,单位为毫米。这一指标是预后的强烈预测因子:肿瘤越厚,转移风险越高,治疗效果越差[7]。Argenziano等人[8]基于Breslow指数提出了一种分类方法,将黑色素瘤厚度分为两类:薄型(<0.76毫米)和厚型(>0.76毫米)。

鉴于准确测定黑色素瘤深度在癌症分期和治疗计划中的重要临床意义,本研究旨在开发一种能够利用皮肤镜图像预测黑色素瘤深度的先进深度学习模型。

**文献综述**
目前较少有研究专注于自动估计黑色素瘤厚度。光学相干断层扫描(Optical Coherence Tomography, OCT)是一种有前景的深度测量技术[9]。Carvalho等人[10]利用动态OCT研究了黑色素瘤的血管形态与其Breslow指数之间的关系,发现Breslow指数较高的黑色素瘤常表现出特定的血管特征(如点状和蛇形分支血管)。这些发现揭示了血管特征与肿瘤侵袭性之间的联系,有助于理解黑色素瘤的生物学行为及其转移潜力。Neittaanm?ki等人[11]利用高光谱成像技术检测黑色素瘤的浸润情况,共研究了32例经组织学确诊的黑色素瘤病例。该研究的局限性在于样本量较小,且图像解读较为困难。

此外,光声成像(photoacoustic imaging)等成像技术也被用于辅助黑色素瘤的检测和诊断,其测量结果与组织病理学结果高度吻合(相关性为0.99[12])。高频超声(High-Frequency Ultrasound, HFUS)可生成黑色素瘤的3D图像,用于术前术后评估。尽管早期研究认为HFUS会高估肿瘤厚度[13][14],但近期研究已提高了其准确性[15][16]。然而,这些技术在日常临床实践中并不常用,且使用和维护需经过专业培训。相比之下,皮肤镜检查在大多数皮肤科诊疗中普遍应用。Polesie等人[17]评估了包括皮肤科医生和全科医生在内的专业读片者以及两种机器学习卷积神经网络(CNN)在测量黑色素瘤厚度方面的准确性,结果表明人类读片的总体准确率高于某预训练CNN,但低于另一CNN。研究还强调了在缺乏有效召回率的情况下准确评估黑色素瘤厚度的难度。

Saéz等人[19]采用非基于深度学习的方法,基于手工标注的特征进行分类,但效果有限(准确率为0.78,召回率为0.6)。Hernández-Rodríguez等人[21]指出深度迁移学习(Deep Transfer Learning, DTL)在区分浅表型和侵袭型黑色素瘤方面的潜力,其中某模型的准确率为0.75,F1分数为0.58。尽管结果存在偏倚(模型偏向多数类别),但DTL在某些情况下仍能超越人类读片的性能[21]。Szijártó等人[22]尝试进行多类别分类,但效果不够理想。

**本研究方法**
第2节详细介绍了研究方法,包括数据集构成、所使用的深度学习技术及影响黑色素瘤厚度估计效果的主要训练策略。第3节探讨了各策略对系统性能的提升作用,并提供了部分简要结论。

**3. 研究结果与讨论**
第4节总结了研究的主要发现及启示。这些模型基于几种不同的卷积架构,发现RegNet[27]和ConvNext[28]最有潜力。预处理步骤包括调整样本的大小、对其进行归一化以及裁剪,并在将样本输入网络之前使用在线数据增强(DA)来提高泛化能力。训练采用k折交叉验证方案进行,确保有足够的数据支持训练,并使用整个数据集进行完整分析作为测试。训练过程分为仅调整分类器的阶段,然后对主干网络的一些最后层进行微调。正如[17]、[21]中所采用的,通常将预训练层的微调与分类器训练同时进行。一种更稳定和准确的方法是在冻结整个主干网络的情况下进行分类器训练。当分类器达到收敛时,通过解冻主干的最后几层卷积模块来进行微调,同时降低学习率以适应参数数量的增加。这种方法在处理小数据集时尤为重要。

选择Focal Loss[29]作为损失函数(见方程式(1))。该函数通过对分类错误的结果应用加权损失来优化训练过程。这种技术具有许多优点,例如对不平衡数据集的鲁棒性以及易于调整超参数。它还支持类别加权和标签平滑处理。此外,当将γ参数设置为零时(见方程式(1)),可以从Focal Loss中得到交叉熵损失,该函数可以体现错误分类的重要性。在方程式中,α代表类别权重。(1)FocalLoss(pt) = ?αt(1?pt)γlog(pt),γ=0。第3.1节将对其中一些技术的影响进行分析,并进行消融研究。我们确定当前文献中未用于黑色素瘤厚度预测的三个主要方法:使用Focal Loss作为评估标准、应用无调度优化器,以及在微调最后几层卷积核之前先训练分类器。

2.3 深度特征分析:可解释人工智能(XAI)
理解和解释神经网络的结果在医疗领域至关重要。可解释人工智能(XAI)通过使AI决策透明化来建立信任,并帮助调试和改进模型。大多数机器学习(ML)技术通常基于与临床迹象相关的手工特征,因此本质上是可解释的模型。但是深度学习(DL)模型需要额外的技术来提供决策的依据[30]。例如特征重要性和显著性图等技术可以提高AI系统的可解释性,确保符合监管要求,从而实现神经网络的责任性和有效性使用。然而,在这项工作中,解释能力基于深度特征分布的分析,而不是激活图。通过这种方式,我们还可以了解CNN如何在没有明确厚度标签的情况下学习黑色素瘤的深度。

用于解释分类器结果以及研究可能梯度的深度特征是最后卷积块的输出。这些输出由768个7x7大小的图像组成,但对每个图像应用全局平均池化。因此,深度特征向量的维度为768。

该方法包括对数据特征的深入分析,以支持网络的决策,理解其错误,并尝试在样本中发现某种程度的梯度,即使这些样本没有经过专门训练。本工作中使用的两种技术是:
- 线性回归分析:在这个实验中,将整个网络(经过训练以区分薄黑色素瘤和厚黑色素瘤)的输出与病变的实际厚度值进行比较。目的是确定神经网络的输出概率与黑色素瘤的实际深度(Breslow指数)之间是否存在关联。假设预测结果与样本之间存在某种关系,即样本的实际厚度增加时,预测为较厚黑色素瘤类别的输出概率也会增加。在这种情况下,模型会间接学习到这种关系,而无需实际的厚度标签。这也意味着随着样本厚度的极端化,表征某一类别的特征也会逐渐变化。
- 深度特征梯度:由于这些特征假定与病变的深度直接相关,因此可以将它们与活检长度进行比较以验证假设。这种技术有两种应用方式。首先,使用主成分分析(PCA)将特征集转换为轴按方差排序的转换空间,从而在较少的维度中捕获信息。均匀流形近似和投影(UMAP)[31]是一种降维技术,可以突出复杂数据中的模式,同时保持高维数据的全局结构和局部关系。通过这种表示方式,可以检测到假设的梯度。

这些关于可解释性的实验旨在寻找支持临床决策过程的有价值信息。

2.4 实现细节
在将图像输入模型之前,需要以多种方式对其进行处理。首先将图像归一化到{0,1}的范围。在模型的训练阶段还使用在线数据增强(DA),以提供更好的泛化能力。为模型训练选择的DA变换包括旋转、缩放、翻转和高斯模糊。为了避免颜色相关的DA技术,确保模型的鲁棒性,所有图像都预先调整为256x256像素大小。

如前所述,模型的基础架构使用ImageNet数据集[26]进行预训练,并采用深度迁移学习方法。尽管在这项工作中测试了多种架构,但最成功的两个是RegNet[27]和ConvNext Tiny[25]。

为了评估模型的性能,采用了分层k折交叉验证方法。选择的k值为10,从而在训练时间和验证质量之间达到公平平衡。

有两种主要的正则化技术用于防止模型过拟合。首先是dropout,这是神经网络正则化的常用方法,应用比例为0.3。Focal Loss也作为一种正则化方法,根据模型的分类复杂性对样本进行加权(见方程式(1),γ设置为0.3。类别加权通过为代表性不足的类别分配更多权重来解决不平衡问题,提高模型在这些类别上的性能,并防止模型仅预测多数类从而改善损失。尽管通常的方法是将这些权重设置为频率的倒数,但实验表明这些值不足以体现较厚类别的重要性。因此,将倒数频率值(相对于较薄类别的2.6倍)改为5倍,从而有利于提高召回率。

选择Adam优化器是因为它在处理稀疏梯度方面的效率以及适应大规模数据集和高维空间的能力,并与[32]中提出的无调度方案结合使用。模型的训练分阶段进行,首先训练头部,然后逐步微调(FT)更深层的层,从而实现更加可控和有效的学习过程。最初,模型使用预训练的权重适应高级特征,然后根据具体任务进一步细化理解。训练的第一阶段的学习率为10^-3,持续50个周期,而微调阶段的学习率为10^-5。ConvNext和RegNet的情况都是这样处理的。

批量归一化层不再重新训练,这有助于稳定学习过程并加速训练。这种方法利用了从预训练网络中学到的归一化参数,避免了微调过程中的不必要的调整。

关于模型,测试了PyTorch为某些架构提供的几个预训练权重,发现RegNet和ConvNext系列的表现优于其他架构(如VGGs、MobileNets或Inceptions)。

最后,与这些预训练主干网络一起使用的分类器只是一个密集层,在最后一个卷积层之后加了一个全局平均池化层,每个类别有两个输出。

为了可重复性,如有需要,代码将提供给读者。

3. 结果
表2总结了所提出模型和不同研究中各种分类模型的性能指标。在这项工作中提出的两种基于RegNet和ConvNext主干网络的模型进行比较时,ConvNext模型表现更佳。值得注意的是,ConvNext模型具有最高的召回率(0.79)和F1分数(0.67),显示出精度和召回率之间的良好平衡。总体而言,结果强调了模型之间精度和召回率之间的权衡,其中ConvNext被认为是最平衡的方法。这些架构的性能指标的标准差分别为:std_Recall = 0.07;std_Precision = 0.06;std_Accuracy = 0.03;std_F1 = 0.05。这些数值证明了所提出配置的性能稳定性。

在表2中的其他方法中,Sáez等人使用他们的LIPU模型获得了平衡的性能,召回率为0.68,准确率为0.78,尽管精度相对较低,为0.60。本研究中使用的数据集也足够少,仅包含250个样本。Polesie等人使用ResNet-50获得了最高的准确率(0.84)和精度(0.71),但召回率为0.44,显示出漏掉许多真阳性的倾向。Hernández等人探索了多种模型(ResNetV2、InceptionV3和EfficientNetB6),在各项指标上的表现一般。表2显示,与表中的其他模型相比,所提出的模型的准确率和F1分数略有提高,而召回率的提高更为明显。然而,需要注意的是,四个性能指标的标准差所显示的不确定性在某些情况下与改进幅度相当。具体来说,ConvNext相对于RegNext的改进幅度在ConvNext的标准差范围内,而ConvNext相对于[19]的F1分数改进幅度低于其标准差。

表2显示了基于召回率、精度、准确率和F1分数的各种分类模型的性能比较。所提出的ConvNext模型在平衡性能方面表现出色,尤其在召回率上表现最佳,获得了最佳的F1分数(0.67)。
模型 召回率 精度 准确率 F1分数
Sáez等人(LIPU)[19] 0.68 0.60 0.78 0.64
Polesie等人(ResNet-50)[17] 0.44 0.71 0.84 0.54
Hernández等人(ResNetV2)[21] 0.60 0.57 0.70 0.57
Hernández等人(InceptionV3)[21] 0.65 0.53 0.65 0.54
Hernández等人(EfficientNetB6)[21] 0.58 0.61 0.75 0.58
Nogales等人(RegNet) 0.74 0.60 0.78 0.66

ConvNext主干网络模型的良好性能可能得益于CNN固有的性能以及其使用tiny版本时参数数量减少的优势。与其它流行主干网络相比,其深度特征的数量较少,这可能有助于密集分类器的收敛。这种性能提升还归功于各种训练技术的精心应用。例如k折交叉验证、在线数据增强、策略性类别加权以及引入Focal Loss等技术在优化学习过程中发挥了关键作用。此外,采用像Adam这样的先进无调度优化器和dropout也有助于构建更加稳健和泛化的模型。这些方法上的改进显著提高了模型的预测准确性和整体可靠性。表3显示了表2中不同CNN主干网络的估计计算成本(由torchvision.models子包[33]提供)。如表所示,基于Tiny ConvNext的方法所需的参数数量相同,计算成本与其他基准方法相似。因此,召回率的显著提高没有导致计算成本或训练要求的增加。Sáez等人[19]提出的方法未包括在此比较中,因为其架构不是基于CNN主干网络的。

表3表2中列出的方法所使用的CNN骨干的计算成本。BackboneParams (M) FLOPs @224 (G)

ResNet-50 (Polesie等人[17]) ~25.6 ~4.1
ResNetV2-50 (Hernández等人[21]) ~25.6 ~4.1
InceptionV3 (Hernández等人[21]) ~23.8 ~5.7
EfficientNet-B6 (Hernández等人[21]) ~43 ~19
RegNetY-8GF (Nogales等人) ~39 ~8.0
ConvNeXt-Tiny (Nogales等人) ~29 ~4.5

3.1 沉积研究
进行了一项沉积研究,以分析本文提出的三种技术对提高黑色素瘤深度估计效果的影响,即使用聚焦损失作为损失函数,无Adam调度器作为优化器以及两阶段训练。为此,分别移除了每种技术。所有这些测试都是使用ConvNext骨干进行的。聚焦损失旨在对分类错误的样本施加更高的权重,作为一种强化机制。为了进行这项测试,将聚焦损失的参数γ设置为零,使其等于交叉熵损失,如之前的方程(1)所示。结果可以在表4中看到,其中观察到性能显著下降。这可能是因为没有聚焦损失时,模型倾向于选择最常见的类别。

在测试优化器时,可以看到它对性能的影响不如损失函数大,除了召回率略有下降。这可能是由于数据集的大小较小,与每次迭代中更新的参数数量有关。然而,它确实有助于收敛,使下降到最优值的过程更加平滑,并允许更高的学习率。

表4. 基于ConvNext的模型配置的各种沉积研究的性能指标(召回率、精确度、准确性和F1分数)。每一行对应一个不同的实验设置:基线ConvNext、移除聚焦损失、排除学习率调度器以及使用单阶段微调。结果突出了不同训练调整对模型性能的权衡。

空单元格
召回率
精确度
准确率
F1分数
基线
0.79
0.60
0.79
0.67
无聚焦损失
0.99
0.30
0.36
0.46
无调度器
0.75
0.60
0.79
0.67
单阶段微调
0.76
0.56
0.76
0.64
无调度器和单阶段微调
0.63
0.67
0.79
0.65

最后,与只训练头部然后对预训练骨干的更深层进行微调的两阶段训练不同,这两个部分同时进行训练。这对收敛速度有帮助,但会使模型性能变差。在这种情况下,整体性能略有下降。

3.2 网络输出的相关性分析
如第2节所解释的,CNN的训练考虑了两个类别:薄(<0.76mm)和厚(>0.76mm)。然而,活检的深度是一个连续值,以毫米为单位测量。因此,分析了网络输出的连续概率与这个连续深度之间可能的关系。基于这个想法,训练了线性、二阶和三阶回归器来拟合活检深度值与神经网络的输出,即属于特定类别的概率值。这些曲线的R2系数较低,线性回归为0.25,对于更高阶的回归器,R2值也没有改善,仍然保持在0.26。回归图显示在图2中。红线代表线性回归线,红色标记代表每个0.1mm区间的平均值。数据样本的颜色代表了颜色条中编码的不同标准差。属于0.4mm到1mm厚度范围的数据样本更加分散。这表明属于这个范围的样本可能具有深层和非深层厚度的混合特征。为了量化这个问题,计算了每个厚度范围的R2值,并显示在表5中,确保不同段落之间存在很大差异。

图2. 深度与实际厚度的预测概率的散点图和回归分析,突出显示了标准差对预测一致性和中间厚度范围类别重叠的影响。

表5. 分段的R2值,表明不同范围内预测概率与实际厚度之间的相关性强度,揭示了模型在中等范围(0.4至1mm)的性能较弱。

下载:下载高分辨率图像(309KB)
下载:下载全尺寸图像

图3. 深层特征的PCA投影:显示真实标签(左),带有决策边界的预测概率(中),以及表示类别可区分性的椭球形簇(右),强调类别之间的重叠以及模型在区分中间特征方面的挑战。

图4. UMAP投影的深层特征:显示真实标签(左),带有决策边界的预测概率(中),以及表示类别可区分性的椭球形簇(右),强调类别之间的重叠以及模型在区分中间特征方面的挑战。

3.3 变换后的深层特征分析
如前一小节所证明的,深度在0.4mm到1mm范围内的黑色素瘤可能具有薄型和厚型黑色素瘤的混合特征。这促使我们尝试找到一个更合适的变换空间,在其中可以看到不同深度的黑色素瘤之间有更大的分离。为此,将深层特征投影到两个子空间中,以分析样本的分布情况。第一个子空间是通过对最相关的PCA特征进行选择得到的。PCA提供了一组按样本方差排序的特征。为了可视化目的,只选择了前两个最相关的特征。注意,这里的“相关”并不是指方差较大的特征,而是那些使类间方差较大的特征。在这种情况下,这些特征是第一个和第四个特征。

下载:下载高分辨率图像(266KB)
下载:下载全尺寸图像

图5. 高斯拟合到不同厚度范围的一维PCA投影,展示了密度分布和范围之间的重叠,在中间(0.4-1 mm)范围内存在明显的模糊性。

第二种方法是将深层特征集投影到由UMAP变换给出的轴上。选择这些方法的原因是为了有两个不同的基础来投影特征:在PCA的情况下,是一个不受到模型标签影响的通用基础,只受特征影响;在UMAP的情况下,是一种同时考虑全局和局部距离的非线性变换。

图3和图4分别显示了样本在PCA和UMAP轴上的分布。前两个子图显示了数据投影到PCA生成的更高方差轴上。在UMAP的情况下,只生成了两个轴。在第一个轴上,颜色代表原始标签,其中0.76mm被设为它们之间的阈值。在第二个轴上,属于0.4mm到1mm区间的样本以灰色显示,揭示了这一组的噪声特征。最后,第三个图显示了拟合到点上的椭圆,以可视化分布的位置及其平均值。可以清楚地看到,深层和非深层类别相对分离,但在中间范围内则不是这样,因为这些样本似乎更加分散。分布的平均值保留了前一小节研究的轻微厚度梯度,但在椭圆图中更容易看到的方差导致分布重叠。需要注意的是,在PCA中,灰色椭圆覆盖了其他两个椭圆的大部分,支持了这一区间内的样本具有其他两个区间特征的假设。UMAP的情况非常相似,但重叠稍微少一些。

图5显示了与PCA投影相同的分布,但仅表达在方差最大的轴上(相关性最高)。对样本分布进行了高斯拟合,以显示它们与数据的关系,这在底部以较低的不透明度显示。极端组,即较厚和较薄的组,拟合得较好,而中等组则不太吻合。

4. 讨论
文献中很少有论文讨论将黑色素瘤分类为原位或侵袭性或表面或深层的问题。然而,据我们所知,这些工作都没有分析从图像中提取的深层特征在二分类任务中是否随着病变从表面到深层黑色素瘤的深度变化而连续演变。这种分析和发现的关系可能是回答其他问题的起点:1. 从深层特征解释网络的二分类——这是一个已经在文献中探讨过的问题。2. 通过利用发现的级别信息来提高二分类的准确性。3. 识别深层特征和图像特征之间的可能相关性,以帮助皮肤科医生找到估计深度范围的共识。

4.1 贡献和结果解释
本研究的主要目标是评估为黑色素瘤厚度二分类设计的卷积神经网络(CNN)是否可以同时提供有意义的黑色素瘤深度估计。通过将二分类任务与深度估计联系起来,研究探讨了训练用于区分厚型和薄型黑色素瘤的模型是否天生就能学习到更细的厚度等级。特别是基于ConvNext和RegNet架构的模型,在估计黑色素瘤厚度方面显示出比现有方法显著的改进。分析显示召回率显著提高,我们的ConvNext模型在所有关键指标上取得了最高的平衡性能,包括F1分数为0.67和召回率为0.79。这在医学诊断中尤为重要,因为优先考虑召回率可以降低假阴性的风险,最小化未检测到具有严重临床意义的厚型黑色素瘤的可能性。虽然像ResNet-50这样的模型获得了高精确度,但其低召回率突显了一个关键权衡,可能导致许多阳性病例的遗漏。ConvNext的优越性能可以归因于仔细使用聚焦损失、类别加权和小幅调整技术,这些技术解决了类别不平衡问题并提高了泛化能力。类别不平衡是医学数据集中的常见问题,这些方法的结合增强了模型有效检测少数类样本的能力。此外,从预训练模型中进行迁移学习允许更好的特征提取,尽管数据集规模有限。总之,ConvNext模型在召回率、精确度和F1分数方面表现出良好的平衡性能,使其成为对敏感性要求较高的临床应用中的一种稳健方法。

相关性分析显示网络输出与活检黑色素瘤厚度之间存在中等程度的相关性。具体来说,线性回归模型的平均R2值为0.25,反映了网络在黑色素瘤厚度范围内的预测能力较弱。然而,当分析被分成不同的厚度范围时,出现了一个更细致的画面。薄范围(0到0.4 mm)的R2值为0.38,表明与其他范围相比有较强的相关性。相比之下,中间范围(0.4 mm到1 mm)的R2值显著较低,为0.08,突显了特征之间的弱相关性和较大程度的重叠。厚范围(超过1 mm)的R2值为0.44,表明在这个段内的相关性更好,可能是因为较厚的黑色素瘤具有更明显的特征。这种分段分析突出了中间范围带来的挑战,其中黑色素瘤通常具有重叠的特征,导致分类模糊。这种行为与临床观察一致,即中间深度的黑色素瘤已知具有异质特征,使得明确分类变得困难。这些发现强调了未来模型需要专门策略来更有效地处理中间案例。

这项工作的一个关键贡献是应用了可解释AI(XAI)技术来探索CNN的决策过程。从医学图像中提取特征、选择和解释是放射组学和发现图像生物标志物的基础。降维是这个过程中的关键步骤,以避免维度灾难,即随着特征数量的增加而发生的问题[35]。因此,本工作中采用了降维方法,如PCA和UMAP,以提供可解释性。通过使用PCA和UMAP等降维方法,研究提供了深层特征的可视化,揭示了薄型和厚型黑色素瘤的不同簇。然而,中间范围的分类结果与两个类别都有显著的重叠,这支持了这样一个假设:在二元任务上训练的卷积神经网络(CNNs)仍然可以学习数据中的潜在层次结构,尽管在模糊情况下清晰度会降低。这种层次结构虽然没有被明确训练出来,但它为深度网络在医学图像分析中的行为提供了宝贵的见解,表明深度特征可能编码了关于黑色素瘤厚度的更多信息,而不仅仅是二进制标签。这些发现强调了在人工智能驱动的医学应用中可解释性的重要性,因为理解模型的决策可以提高临床环境中的信任度和采用率。

4.2. 与以往工作的比较
与Polesie等人[17]和Hernández-Rodríguez等人[21]的先前研究相比,提出的方法在召回率和F1分数上表现更优。虽然Polesie等人的模型达到了最高的准确率,但其召回率较低,这突显了在医学应用中不太理想的权衡。此外,Polesie等人报告的高准确率部分可以归因于他们数据集中的类别不平衡,这可能导致模型偏向于正确预测多数类别而牺牲了召回率。本研究中包含的解释性方法进一步使其不同于以往的工作,因为它提供了关于模型如何学习和区分黑色素瘤厚度的见解,从而提高了可解释性和潜在的临床应用前景。

此外,文献中对单个样本的深度特征与其模式之间关系的研究还不够深入[36],尽管有一些工作间接探讨了这些关系。特别是,所有研究变分自编码器(VAE)或一般自编码器潜在空间的工作[37],[39]都与我们的一些方法有相似之处,因为它们从特征的角度解释了网络行为。

4.3. 局限性与未来工作
尽管取得了有希望的结果,但仍需承认几个限制。首先,尽管所用数据集具有多样性,但与大型医学成像数据集相比仍然相对较小。这限制了研究结果的普遍性,尤其是在应用于具有不同成像条件的新群体时。其次,尽管通过类别加权和焦点损失等技术解决了类别不平衡问题,但仍可能影响了模型的性能。需要使用更大、更平衡的数据集进行进一步研究以验证这些发现。此外,对于一个本质上涉及连续渐进变化的问题使用二分类方法可能会限制模型完全捕捉黑色素瘤厚度的细微差别的能力。这一领域的一个关键挑战是高质量 dermatological 深度注释数据集的稀缺,这限制了开发更复杂模型的能力。未来的工作可以探索基于回归的方法或多类别分类来更好地表示黑色素瘤厚度的连续性,但需要付出巨大努力来收集和整理能够准确反映黑色素瘤厚度全谱的数据集。例如,包括来自不同人群群体的数据或使用CLIP[40]等方法联合训练不同的模态。最后,将黑色素瘤深度与皮肤镜模式相关联是一个重要的方向,这将是未来的重点工作。在目前的研究中,我们探讨了深度特征与黑色素瘤深度之间的关系,但尚未研究这些特征的临床意义,即它们与观察到的皮肤镜特征之间的关系。然而,我们的研究为这项研究提供了一个起点。

4.4. 结论
本研究做出了两个主要贡献:首先,它改进了现有的黑色素瘤深度分类方法。其次,它提供了关于黑色素瘤皮肤镜特征与深度之间可能存在的渐变的新见解。第一个贡献具有重要的临床意义,因为它有助于医生在日常皮肤科咨询中做出决策。估计黑色素瘤的深度对手术计划决策有着重大影响。这种改进得益于使用了经过预训练的卷积神经网络(CNNs)和严格的验证方法(如k折交叉验证)。数据库的固有多样性也促进了这一改进。其次,关于中等深度范围内黑色素瘤及其与深度神经网络输出(PCA和UMAP)之间相关性的新颖研究,提供了关于皮肤镜黑色素瘤特征随深度变化的新见解。具体来说,尽管深度特征是为二分类训练的,但在转换空间中它们揭示了中等活检深度的中间 cluster。这一发现非常重要,因为它表明了黑色素瘤病变视觉特征的渐变。然而,这项研究为未来的研究指明了方向。多模态方法和新的多模态AI模型可能改善分类结果。结合皮肤镜图像信息与临床信息和其他图像模态(如热成像)可以增强模型的预测能力。另一个重要的未来方向是探索皮肤科医生报告的皮肤镜特征与深度特征之间的关系。这将使我们能够探索活检、皮肤镜特征和深度特征之间的联系。通过将临床标准嵌入模型损失函数中,可以开发出基于物理的神经网络。另一个重要的补充分析将是比较这些深度学习(DL)特征与手工制作的特征[35]的解释能力。

CRediT 作者贡献声明
Miguel Nogales:写作 - 审阅与编辑,撰写原始草稿,可视化,验证,监督,软件,资源,项目管理,方法论,研究,资金获取,形式分析,数据管理,概念化。
Bego?a Acha:写作 - 审阅与编辑,可视化,验证,监督。
Fernando Alarcón Soldevilla:形式分析,数据管理,概念化。
José-Juan Pereyra-Rodríguez:形式分析,数据管理,概念化。
Carmen Serrano:写作 - 审阅与编辑,可视化,验证,监督。

在写作过程中使用生成式AI和AI辅助技术的情况声明
在准备这项工作时,作者使用了DeepL Write工具来检查文本语法。在使用该工具/服务后,作者根据需要审阅和编辑了内容,因此对提交的文章内容负有全部责任。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号