整合CT、放射组学、临床变量与大语言模型病理报告的多模态Transformer（DLRTransformer）用于I期非小细胞肺癌（NSCLC）术后风险分层及辅助治疗获益预测

《Radiology: Imaging Cancer》：Multimodal Transformer Integrating CT and Pathology for Postoperative Risk Stratification in Stage I Non–Small Cell Lung Cancer

　　

目的：开发并评估一种可解释的多模态深度学习模型，以改善I期非小细胞肺癌（non–small cell lung cancer, NSCLC）的术后风险分层，并预测辅助治疗获益。

材料与方法：在这项多中心回顾性研究中，纳入I期NSCLC患者，开发了一种称为深度学习-放射组学-文本Transformer（Deep Learning-Radiomic-Text Transformer, DLRTransformer）的多模态模型。该模型整合了来自CT扫描的多视图2.5维深度学习特征、放射组学、临床变量，以及使用大语言模型（large language model, LLM）从病理报告中提取的预后嵌入。中心Transformer架构融合这些特征以预测无病生存期（disease-free survival, DFS）。在独立外部数据集上评估模型性能，并与基于指南的风险分层进行比较。分析模型衍生风险评分与肿瘤微环境（tumor microenvironment, TME）特征之间的关联，以评估生物学可解释性。

结果：共纳入来自五家中心的1073例患者（平均年龄±SD，60.8岁±9.8；550例男性）。在外部数据集上，DLRTransformer表现出稳健的预后性能（一致性指数，0.77–0.78），优于基于指南的风险分层（一致性指数，0.60–0.65）。风险评分与TME表型相关，包括肿瘤细胞比例增加和三级淋巴结构减少。观察到治疗与风险分层间的交互作用（交互风险比[hazard ratio, HR]，0.14；95% CI：0.06，0.32；P < .01）。在倾向评分匹配亚队列中，辅助治疗改善了高风险患者的DFS（HR，0.30；95% CI：0.11，0.84；P = .02），但未改善低风险患者（HR，1.70；95% CI：0.97，2.99；P = .06）。

结论：与基于指南的风险分层相比，DLRTransformer改善了术后风险分层，并识别出可从辅助治疗中获益的I期NSCLC患者。

关键词：深度学习，大语言模型（LLMs），CT，预后与预测，非小细胞肺癌（NSCLC），多模态深度学习，风险分层，辅助治疗，肿瘤微环境（TME）。

论文解读

研究背景：低剂量CT用于肺癌筛查后，肺癌临床格局发生改变，分期前移，I期非小细胞肺癌（NSCLC）发病率上升。手术切除仍是治愈性标准治疗，但I期NSCLC预后异质性明显，10%至30%患者术后复发。术后辅助治疗可降低复发风险，但伴随显著毒性，因此是否治疗成为关键临床困境。当前风险评估方法，包括国家综合癌症网络（National Comprehensive Cancer Network, NCCN）指南推荐的方法，主要依赖临床病理特征，预测准确性有限，常导致低风险患者过度治疗和高风险患者治疗不足。分子标志物如多组学分析和微小残留病灶可预测无病生存期（DFS）并指导辅助治疗，但经济可行性和广泛可及性限制其常规应用。NSCLC标准CT包含未被充分利用的预后信息，人工智能可提取定量影像生物标志物；病理报告叙述文本也包含结构化特征未捕获的预后信息，大语言模型（LLM）可系统提取这些非结构化信息。因此，研究人员旨在开发并评估整合影像、病理和临床变量的多模态Transformer生存框架，以改善I期NSCLC术后风险分层；次要目标是将模型风险评分与肿瘤微环境（TME）特征联系，评估其生物学基础。

研究人员开展了多中心回顾性研究。研究经牵头机构伦理委员会批准，患者信息来自已发表临床试验（NCT06737367），使用可获取的增强CT图像和临床病理数据。纳入接受R0切除的I期NSCLC连续患者。开发队列来自中心1，共516例，按8:2随机分为训练数据集412例和内部测试数据集104例。外部测试使用四个医疗中心的两个独立数据集：外部测试数据集1为151例，来自中心2的55例和中心3的96例；外部测试数据集2为227例，来自中心4的77例和中心5的150例。接受辅助治疗患者179例被严格排除于模型开发和验证队列，另用于治疗获益下游分析。数字全切片图像来自380例，用于风险评分与组织病理TME特征关联分析。临床病理数据包括年龄、性别、吸烟、病理分期、最大肿瘤长度、肿瘤位置、巩固肿瘤比（consolidation-to-tumor ratio, CTR）、肿瘤分化、脏层胸膜侵犯（visceral pleural invasion, VPI）、微血管侵犯（microvascular invasion, MVI）和最终病理报告全文。临床基线采用基于指南的风险分层系统（guideline-based risk stratification system, GRSS），依据NCCN推荐风险因素VPI、MVI和低分化肿瘤，将患者分为低风险和高风险。主要终点为DFS，即手术日期至首次记录复发或任何原因死亡的时间，最长随访5年。研究得出，DLRTransformer在外部数据集上表现稳健，优于GRSS，并识别辅助治疗获益人群，同时与侵袭性TME表型相关。

关键技术方法：研究队列来源于五家中心，包括中心1开发队列516例（训练412例、内部测试104例）、外部测试1为151例（中心2 55例、中心3 96例）、外部测试2为227例（中心4 77例、中心5 150例），患者来自已发表临床试验NCT06737367；辅助治疗队列179例，数字全切片380例。关键技术包括：PyRadiomics提取三维放射组学特征1561个；比较多视图2.5维（2.5D）ResNet-50等CT深度学习策略并提取1024维特征；使用LLM text-embedding-v3生成病理报告1024维嵌入，经TransformerCoxNN提取64维生存优化文本特征；构建多模态Transformer融合临床、放射组学、深度学习与病理文本特征预测DFS；CellViT-pro分析TME并分割三级淋巴结构（tertiary lymphoid structures, TLS）；倾向评分匹配和Cox交互模型评估治疗获益。

研究结果：

患者特征（Patient Characteristics）：多中心数据集包含1073例患者，平均年龄60.8岁±9.8，550例男性、523例女性，来自五家医疗中心。训练、内部测试、外部测试1和外部测试2的中位随访时间分别为67、61、53和46个月。四个数据集在病理分期、肿瘤长度、分化、性别、组织学类型和位置上存在基线差异，CTR和吸烟状态分布相似。分割准确性审计中，由两名资深病理学家（L.H.J. 和 Z.A.F.）独立验证，观察者间Cohen κ为0.89（95% CI：0.69，1.00）。

GRSS性能（Performance of the GRSS）：GRSS作为临床基准，一致性指数在训练数据集为0.54（95% CI：0.49，0.59），内部测试为0.60（95% CI：0.49，0.71），外部测试1为0.65（95% CI：0.53，0.77），外部测试2为0.60（95% CI：0.51，0.70）。高风险和低风险组Kaplan-Meier曲线重叠。各队列3年DFS率低风险组为0.88至0.95，高风险组为0.79至0.89。

单模态和多模态预后模型性能（Performance of Single- and Multimodal Prognostic Models）：研究人员评估临床、放射组学、病理文本、2.5D深度学习四种单模态模型及多模态DLRTransformer。DLRTransformer在训练、内部测试、外部测试1和外部测试2中的一致性指数分别为0.81、0.74、0.77和0.78。在腺癌亚组中分别为0.82、0.75、0.78和0.81。外部队列中未发现各模型一致性指数差异有统计学意义（P > .05）。与单模态模型相比，DLRTransformer在外部测试1中一致性指数差异为0.05至0.16，在外部测试2中为0.02至0.09。融合模型在多数比较中综合判别改善值为正。

风险分层与生存分析（Risk Stratification and Survival Analysis）：训练队列中确定DLRTransformer风险评分最佳截断值为0.530，并锁定用于后续数据集。训练数据集中高风险组DFS低于低风险组（HR，9.96；95% CI：6.03，16.45；P < .01）。该固定截断值应用于独立队列后，内部测试数据集（HR，4.27；95% CI：0.92，19.78；P = .001）、外部测试1（HR，4.95；95% CI：1.16，21.20；P < .01）和外部测试2（HR，4.44；95% CI：1.36，14.55；P < .01）均显示风险组间生存差异。多变量Cox回归调整常规临床病理协变量后，风险评分作为连续变量和二分变量均为DFS独立预测因子。低风险组3年DFS率为0.88至0.96，高风险组为0.64至0.73。GRSS高风险患者中，76.92%（190/247）至81.82%（54/66）被DLRTransformer重分类为低风险；GRSS低风险患者中，6.25%（4/64）至33.94%（56/165）被重分类为高风险。DLRTransformer高风险组MVI发生率（29.1% vs 20.4%；P = .033）和气道播散（spread through air spaces）发生率（39.4% vs 31.3%；P = .08）高于GRSS高风险组。

多尺度验证揭示风险分层的临床和生物学基础（Multiscale Validation Reveals Clinical and Biologic Basis of Risk Stratification）：宏观层面，DLRTransformer风险评分与已建立的不良预后因素相关，包括更高肿瘤分期、更高CTR、VPI、MVI和气道播散。梯度加权类激活映射（gradient-weighted class activation mapping）注意力图显示，模型预测集中于CT图像中关键肿瘤区域。TME分析涵盖380例，高风险肿瘤显示更侵袭性特征，包括肿瘤细胞比例更高、结缔组织和TLS比例降低，均有统计学意义。训练队列中，高风险病例肿瘤细胞比例增加（18.26% vs 11.46%；P < .01），TLS比例降低（5.96% vs 9.53%；P = .04），外部测试队列独立确认。

DLRTransformer分层预测辅助治疗获益（DLRTransformer Stratification Predicts Benefit from Adjuvant Therapy）：全队列分析发现DLRTransformer风险分层与辅助治疗存在交互作用（交互HR，0.14；95% CI：0.06，0.32；P < .01）。按治疗状态分层后，未接受辅助治疗的高风险患者DFS低于低风险患者（HR，4.70；95% CI：1.86，11.85；P < .01）；接受辅助治疗患者中，高风险与低风险亚组DFS差异无统计学意义（HR，0.65；95% CI：0.38，1.10；P = .15）。1:1倾向评分匹配后，匹配高风险队列中辅助治疗与DFS改善相关（HR，0.30；95% CI：0.11，0.84；P = .02）；匹配低风险队列中，接受与未接受辅助治疗患者DFS差异无统计学意义（HR，1.70；95% CI：0.97，2.99；P = .06）。

讨论部分总结：I期NSCLC术后管理因复发风险临床异质性和辅助治疗获益人群不明确而具有挑战性。基于指南的分层常不能满足精准医学需求。研究人员开发并评估了DLRTransformer，一种可解释的多模态深度学习框架，用于I期NSCLC术后管理。该模型整合四种数据模态，并将预测与TME联系，为复发预测和个体化辅助治疗决策提供工具。GRSS使用NCCN推荐病理特征，一致性指数为0.54至0.65，提示离散风险因素可能不能完全代表肿瘤异质性。DLRTransformer则产生明显生存梯度，低风险组3年DFS为0.88至0.96，高风险组为0.64至0.73。该模型建立了I期NSCLC稳健预后基准，超过一些典型报告一致性指数或曲线下面积为0.71至0.75的临床和影像模型。其性能核心之一是整合非结构化病理叙述报告，该数据流在分析中显示出强独立预后价值。多模态Transformer架构具有跨队列稳定性，而单模态模型在不同临床环境中表现脆弱。外部队列中虽未发现一致性指数差异有统计学意义，可能归因于样本量受限和事件密度较低，但多模态模型持续获得正向数值增量。综合判别改善结果提示，捕获影像形态与病理语义之间的跨模态交互有助于形成有生物学基础的风险分层。外部测试确认模型能可靠区分预后良好的低风险患者；相当比例GRSS高风险患者被重分类为低风险，其3年DFS率为85%。对这部分患者，辅助治疗微小生存获益可能不足以抵消毒性。模型可解释性通过多尺度验证解决：风险评分与肿瘤分期、VPI、MVI和气道播散相关；梯度加权类激活映射显示2.5维影像模块关注CT相关肿瘤区域；模型风险评分与侵袭性TME表型一致，高风险评分与更高肿瘤细胞密度和更低TLS频率相关，反映侵袭性增殖和抗肿瘤免疫受损。该工作主要贡献在于指导治疗决策。辅助治疗在I期NSCLC中仍是临床困境，当前指南常导致过度治疗和治疗不足。DLRTransformer可作为预测生物标志物，用于个体化辅助治疗。风险分层与治疗反应之间的交互作用将模型效用从单纯生存估计转向可操作临床指导。即使严格基线调整后，治疗队列中的高风险患者生存结局与低风险个体相当，说明模型识别出对系统治疗高度敏感的高风险表型；匹配低风险亚组未观察到治疗获益，提示惰性生物学特征，治疗相关毒性风险可能超过边际获益。局限性包括：回顾性设计存在选择偏倚，需前瞻性临床试验验证；多中心设计中影像采集协议和病理报告风格存在异质性；I期队列死亡事件有限，总体生存分析统计效能不足；受配对多模态数据限制，生物学和TME分析主要使用训练队列病例（380例中的295例），因此为探索性见解；研究未区分具体辅助治疗方案。

研究结论翻译：总之，用于I期NSCLC患者术后风险分层的多模态DLRTransformer通过整合影像、病理和临床数据形成具有生物学基础的预后特征，优于当前基于指南的风险分层。它准确识别需要辅助治疗的高风险患者，为I期NSCLC个体化治疗提供了稳健、可解释的工具。未来研究将聚焦于在前瞻性多中心队列中验证该预后特征，以进一步完善其临床效用并整合入标准治疗流程。