肺结节：基于计算机断层的3D视觉变换器能够预测早期的高级别肺腺癌，这些肺癌可能属于微乳头型和/或实性亚型

《Intelligent Medicine》：A pulmonary nodule is worth 8?×?8?×?8 words: computed tomography-based 3D vision transformer predicts early-stage high-grade lung adenocarcinoma of micropapillary and/or solid subtypes

3D-ViT模型和Swin Transformer在1028例早期高分级肺侵袭性腺癌患者中，通过多中心HRCT影像分析，验证了其在预operative亚型分类（微乳头/实性）中的准确性（AUC 0.856，95%CI 0.845-0.877），显著优于ResNet（p<0.01）。模型通过注意力机制识别肿瘤异质性和边缘不规则性，并开发MS决策工具优化手术规划，将高复发风险亚型的检出率提升至75.4%-93.4%。

　　本研究探讨了如何利用深度学习技术，特别是3D视觉变换器（ViT）和Swin Transformer模型，对早期高分化肺部侵袭性腺癌（IAC）亚型（微乳头型/实体型）进行术前预测。这一研究的重要性在于，传统影像学评估方法难以准确识别这些具有高复发和死亡风险的亚型，而术后组织病理学分析又会延迟风险适应性手术计划的制定。因此，开发一种高效的术前预测工具，不仅能够提升诊断的准确性，还能优化手术方案，从而改善患者的预后。

### 一、研究背景与意义

随着高分辨率计算机断层扫描（HRCT）在肺部癌症筛查中的广泛应用，肺部结节的检测率显著提高。根据相关研究，60%至70%的肺部结节属于早期恶性肿瘤。尽管如此，传统方法在区分IAC亚型方面仍存在不足，特别是对于微乳头型和实体型这两种高风险亚型的识别。这些亚型的特征包括脱离的乳头状细胞团（微乳头型）或黏液产生型多边形肿瘤片（实体型），它们与术后复发和死亡风险密切相关。然而，当前依赖于术后组织病理学分析的亚型识别方法不仅耗时，而且容易出现误差，因此，开发一种能够实现术前准确识别的工具显得尤为重要。

此外，现有的深度学习模型大多专注于肺部结节的良恶性分类或IAC与非IAC的区分，但未能有效识别高风险的IAC亚型。这导致了临床决策的局限性，无法充分满足术前风险分层的需求。为了解决这一问题，研究者们开始探索使用基于Transformer的模型，这类模型能够捕捉CT图像中的长距离依赖关系，从而更全面地理解肿瘤的结构和特性。

### 二、研究方法与技术路线

本研究采用了一个多中心的回顾性队列，共纳入了906例经手术确诊的早期肺部腺癌患者。数据来源包括上海胸科医院、宁波大学附属医院和宁波医学中心利华利医院。其中，训练集有806例，验证集100例，外部测试集122例。这些数据均来自高质量的HRCT图像，并通过放射科医生进行结节轮廓勾画，以确保图像的准确性和完整性。

在模型构建方面，研究者们分别开发了3D-ViT、Swin Transformer（SwinT）和ResNet三种模型。3D-ViT和SwinT是基于Transformer架构的模型，而ResNet则是传统的卷积神经网络（CNN）模型。为了比较这些模型的性能，研究团队还构建了基于AlignSen框架的决策辅助工具，该工具结合了ViT和SwinT的预测结果，以及肿瘤大小和密度等临床指标，以指导手术切除范围的选择。

在数据预处理过程中，研究者们首先对CT图像进行了标准化处理，包括图像裁剪、分辨率重采样和CT值到物理密度的映射。随后，通过五种图像增强技术（如旋转、翻转、添加高斯噪声、伽马校正和对数校正）来提高模型的泛化能力。此外，为了平衡数据集中的正负样本比例，研究者们还对训练数据进行了五倍的增强。

### 三、研究结果与分析

在验证集和外部测试集中，3D-ViT模型的表现优于ResNet模型。具体而言，3D-ViT在验证集中的AUC值为0.856（95% CI：0.845, 0.877），而在外部测试集中的AUC值为0.806（95% CI：0.790, 0.816）。相比之下，ResNet在验证集中的AUC值为0.854（95% CI：0.841, 0.872），在外部测试集中的AUC值为0.760（95% CI：0.743, 0.776）。这些结果表明，3D-ViT在术前预测高风险IAC亚型方面具有更强的准确性和泛化能力。

同时，研究团队还发现，SwinT模型在验证集中的AUC值为0.833（95% CI：0.814, 0.850），在外部测试集中的AUC值为0.705（95% CI：0.680, 0.721）。尽管SwinT模型在验证集中的表现与3D-ViT相似，但在外部测试集中其性能显著下降，表明其泛化能力较弱。这可能与SwinT模型在设计上更注重局部特征有关，而3D-ViT模型则能够更全面地捕捉CT图像中的全局信息。

在临床验证方面，研究团队开发了AlignSen框架，该框架通过调整模型的灵敏度，使其与当前的手术选择标准保持一致。在验证集中，AlignSen ViT模型的灵敏度为88.0%，而AlignSen ResNet模型的灵敏度为76.0%。在外部测试集中，AlignSen ViT模型的灵敏度进一步提升至93.4%，而AlignSen ResNet模型的灵敏度仅为54.0%。这表明，基于ViT的模型在术前预测高风险IAC亚型方面具有更高的准确性和可靠性。

### 四、模型的解释性分析

为了进一步理解3D-ViT模型的决策机制，研究团队进行了注意力映射分析。注意力映射能够显示模型在分类过程中关注的区域，从而帮助医生更好地理解模型的判断依据。结果显示，3D-ViT模型在分类时更关注结节的核心区域和边缘结构，而误分类则往往与模型对结节周围区域的注意力分散有关。这可能意味着，模型在识别高风险IAC亚型时，更倾向于关注结节的整体结构特征，而非局部纹理。

此外，研究团队还通过t-SNE（t-分布随机邻域嵌入）技术对模型的特征空间进行了可视化分析。结果显示，3D-ViT模型的特征空间能够更清晰地分离高风险和低风险的结节，这与ResNet模型相比具有更高的可区分性。这表明，3D-ViT模型在捕捉结节的结构特征方面具有更强的能力，从而提升了分类的准确性。

### 五、模型的临床应用价值

基于3D-ViT和SwinT的模型在临床应用中展现出显著的优势。首先，它们能够提供术前的高风险IAC亚型预测，从而帮助医生制定更加精准的手术方案。其次，这些模型能够减少对术后组织病理学分析的依赖，尤其是在当前术后病理分析时间较长、准确性有限的情况下。通过术前预测，医生可以更早地识别高风险患者，避免不必要的手术或过早的手术，从而优化治疗策略。

此外，AlignSen框架的引入，使得模型能够与临床指南相结合，进一步提升其临床实用性。例如，在验证集中，AlignSen ViT模型能够正确识别出5/6（83.3%）接受次优手术（如段切除或楔形切除）的患者，而AlignSen ResNet模型则仅能识别出4/6（66.7%）。这表明，基于ViT的模型在识别高风险患者方面具有更高的准确性，从而减少了误诊的可能性。

在测试集中，AlignSen ViT模型同样表现出色。它能够正确识别出100%的接受次优手术的患者，而AlignSen ResNet模型则仅能识别出75%。这进一步证明了基于ViT的模型在术前预测高风险IAC亚型方面的优越性。同时，AlignSen模型在避免不必要的手术方面也表现出色，其特异性在验证集中为60.0%，而在测试集中为52.5%。这表明，基于ViT的模型在术前预测中能够有效减少对低风险患者的过度治疗。

### 六、研究的局限性与未来方向

尽管本研究取得了显著成果，但仍存在一些局限性。首先，由于硬件限制（如GPU内存和计算能力），3D-ViT模型的输入分辨率受到了一定限制。因此，未来的研究可以探索使用更高分辨率的输入，以进一步提升模型的性能。其次，本研究未考虑周围肺组织的上下文信息，而这些信息在IAC亚型的识别中可能具有重要意义。因此，未来的研究可以尝试将CNN和Transformer相结合，以捕捉局部病理特征与全局结构特征的相互作用。

最后，研究团队指出，扩大训练数据集，特别是纳入更多多中心的数据，将有助于进一步验证这些模型的性能，并减少Transformer模型可能存在的过拟合风险。此外，随着计算技术的不断进步，未来可以开发更先进的Transformer模型，如基于块的可分离Transformer，以进一步提升模型的泛化能力和实用性。

### 七、结论

本研究通过开发和验证3D-ViT和SwinT模型，展示了其在术前预测早期高分化肺部侵袭性腺癌亚型方面的强大潜力。这些模型不仅在准确性和泛化能力方面优于传统的ResNet模型，还能够与临床指南相结合，优化手术决策。特别是基于ViT的AlignSen模型，在提升手术决策的准确性方面表现尤为突出，具有广泛的应用前景。

此外，研究还提出了一个名为MS Tool的决策辅助工具，该工具结合了模型预测结果与临床指标，为医生提供了更加全面的决策支持。通过这一工具，医生可以更准确地判断患者的手术方案，从而减少对高风险患者的误诊和对低风险患者的过度治疗。

综上所述，基于Transformer的模型在肺部腺癌亚型识别和手术决策支持方面展现出显著的优势，为临床实践提供了新的工具和思路。未来的研究应进一步探索这些模型的临床应用，以提升其在实际医疗环境中的可用性和有效性。