《Frontiers in Oncology》：Multimodal deep learning for prediction of postoperative recurrence in clear cell renal cell carcinoma: a clinical-radiologic-pathologic approach
编辑推荐：
目的：本研究旨在开发并验证一个多分类系统，该系统有效整合患者多模态数据（临床、影像及病理）中的互补信息，以识别透明细胞肾细胞癌（clear cell renal cell carcinoma, ccRCC）患者中具有五年术后复发高风险的人群。方法：这项回顾性多
目的：本研究旨在开发并验证一个多分类系统，该系统有效整合患者多模态数据（临床、影像及病理）中的互补信息，以识别透明细胞肾细胞癌（clear cell renal cell carcinoma, ccRCC）患者中具有五年术后复发高风险的人群。方法：这项回顾性多中心研究纳入了270例透明细胞肾细胞癌（ccRCC）患者，其中215例（79.6%）用于模型开发/验证，55例（20.4%）作为独立测试队列。根据术后5年内是否发生肿瘤复发，将患者分为复发组和非复发组。该队列中最后一例纳入病例于2018年7月接受手术。研究人员使用放射组学、深度学习（ResNet34）及基于深度特征的放射组学构建了单模态模型。随后，通过组合单模态模型的预测概率并将其传递给另一个分类器，构建了多模态模型。所有模型均使用受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUROC）进行评估。结果：共构建了25个分类模型。值得注意的是，单模态融合模型通常优于其对应的放射组学和基于深度学习的放射组学（deep learning-based radiomics, DL）模型。在五个单模态融合模型中，Fused_Non-enhanced模型展现了最佳的预测性能，AUROC值为0.837（95%置信区间[CI]：0.729-0.946）。类似地，多模态放射组学或DL模型相较于单模态对应模型表现出更优性能。多模态放射组学-深度学习（radiomics-DL）模型在独立测试数据集中达到了最高预测性能，AUROC值为0.967（95% CI：0.929-1.0）。结论：多模态放射组学-深度学习模型在预测透明细胞肾细胞癌（ccRCC）患者五年术后复发风险方面展现出高准确性。
研究背景：肾细胞癌（renal cell carcinoma, RCC）是最常见的肾癌类型，其中透明细胞肾细胞癌（clear cell renal cell carcinoma, ccRCC）为主要亚型。根治性肾切除术是局限性ccRCC的主要治愈性治疗手段，但术后肿瘤复发严重影响患者长期预后，约20%-40%的ccRCC患者在术后五年内出现复发。对于中高危或高危患者，推荐辅助免疫治疗。因此，精准预测术后复发风险对于制定个体化辅助治疗决策和合理临床管理至关重要。目前，单组学癌症数据仅提供有限信息，需整合多组学数据以全面捕捉潜在生物学信息。尽管已有若干生存与风险预测模型，但尚缺乏将多模态信息（包括人口学特征、实验室指标、影像学特征及病理切片）纳入ccRCC术后复发风险预测的研究。为此，本研究旨在探索不同人工智能技术整合多模态互补信息预测ccRCC患者术后复发风险的性能。
研究人员开展的研究：本研究为回顾性多中心研究，连续纳入2013年4月至2018年7月期间在三家医院（A、B、C）接受根治性或部分肾切除术的非转移性ccRCC患者，共270例（89例复发，181例非复发）。其中，来自A和B医院的215例患者用于模型开发/验证，来自C医院的55例患者作为独立测试队列。研究构建了四类模型：单模态放射组学模型（基于手工特征与机器学习）、单模态ResNet模型（端到端深度学习）、基于深度特征的放射组学（DL）模型（ResNet特征加机器学习）以及融合模型（堆叠集成）。融合模型包括单模态融合模型（整合同一模态的放射组学与DL模型）和多模态融合模型（跨模态整合）。最终构建了25个分类模型。结果显示，多模态放射组学-深度学习（radiomics-DL）模型在独立测试数据集中达到最高预测性能，AUROC值为0.967（95% CI：0.929-1.0）。该论文发表在《Frontiers in Oncology》。研究表明，多模态融合模型通过整合来自不同模态的互补信息，显著优于单模态模型，为ccRCC术后复发风险预测提供了高效的非侵入性方法，有望支持临床决策和个体化治疗策略。
主要关键技术方法（不超过250字）：本研究样本队列来源于三家医院（A、B医院用于训练/验证，C医院用于独立测试）。主要技术方法包括：1）影像预处理：CT图像进行重采样、灰阶归一化与离散化；超声（US）图像进行去噪与对比度增强；组织病理（HP）切片采用Macenko颜色归一化标准化染色差异，并提取非重叠补丁。2）放射组学特征提取：使用PyRadiomics从CT（三期，2264特征/期）、US（1899特征）、HP（93特征）及临床数据（41特征）中提取特征，经LASSO回归或F检验筛选高稳定性特征（组内相关系数>0.75），每模型最终限制6个特征。3）深度学习模型：采用ResNet34架构，预训练权重初始化，双通道输入（图像与感兴趣区域掩模），使用交叉熵损失和Adam优化器，应用数据增强、dropout和早停机制。4）基于深度特征的放射组学：从训练好的ResNet全连接层前一层的特征，经LASSO筛选后由机器学习分类器预测。5）融合模型：采用堆叠集成策略，将基模型的预测概率作为元特征，输入逻辑回归元分类器输出最终预测。所有元分类器仅在训练数据集上训练，严格防止数据泄露。
研究结果：
3.1 患者人群特征：研究纳入270例ccRCC患者（男194例，女76例）。单变量逻辑回归识别出五个显著复发风险因素：最大肿瘤直径、动静脉血栓、淋巴结肿大、坏死及饮酒史。这些发现与既往文献一致，确认了临床-放射学特征对区分复发的价值。
3.2 ccRCC自动分割模型：构建了基于nnU-Net的自动分割模型，在测试数据集上达到高Dice相似系数（Dice Similarity Coefficient, DSC）0.897，表明与金标准高度一致。但本研究为保证多中心数据与模态间严格一致性，仅使用手动感兴趣区域（ROI）。
3.3 分类模型的构建与验证：
3.3.1 单模态放射组学模型：从三期CT、US、HP图像及临床数据中提取放射组学特征，经特征选择后构建六个单模态模型。在独立测试数据集中，Radiomics_Cortical模型表现最佳（AUROC=0.741），而Radiomics_US模型表现最低（AUROC=0.640）。
3.3.2 单模态ResNet模型：开发了五个基于ResNet34的模型。ResNet_Non-enhanced模型在测试数据集中取得最优性能（AUROC=0.728），而ResNet_US模型表现较差（AUROC=0.647）。
3.3.3 基于深度特征的放射组学模型：开发了五个基于深度特征的放射组学（DL）模型。DL_HP模型在测试集中表现最佳（AUROC=0.801）。雷达图显示，基于深度特征的放射组学在定量指标上普遍优于对应的原始ResNet模型，凸显了联合深度学习-放射组学方法的优势。
3.3.4 单模态融合模型：通过堆叠泛化开发单模态融合模型。这些模型一致提高了分类性能，其中Fused_Non-enhanced模型达到最高AUROC（0.837），超越其对应的放射组学和DL模型，表明整合机器学习和深度学习视角可更稳健地挖掘病灶信息。
3.3.5 多模态融合模型：为利用互补信息，构建了多模态融合模型。多模态放射组学模型和多模态深度学习模型在测试中AUROC分别为0.858和0.924，显著优于单模态方法。模态消融分析表明，CT和HP是放射组学性能的核心驱动因素，而CT、HP和US对深度学习性能至关重要。最终，多模态放射组学-深度学习模型达到最高预测性能，AUROC为0.967，证实了整合多模态信息进行准确分类的优越性。
讨论总结：讨论部分指出，多模态放射组学-深度学习模型的高性能得益于不同数据模态的互补性（如CT捕获三维空间异质性，US提供实时组织硬度与灌注指标，病理学揭示肿瘤微环境细节）。与既往研究比较，该模型在预测性能上优于仅依赖单模态（如CT放射组学或数字病理学）的模型。研究还强调了临床转化潜力：所需数据（三期CT、超声、病理全切片）均为术后常规采集，推理时间短（<5分钟/患者），可无缝融入术后工作流程。模型的可解释性方面，未来将引入Grad-CAM和SHAP等框架。局限性包括：排除5年内无复发死亡患者可能引入选择偏倚；所有中心位于同一地理区域，限制泛化性；独立测试队列较小（55例）；部分临床变量定义简单且存在中心间不平衡；超声与病理切片仍需手动勾画ROI；回顾性设计可能存在选择偏倚；未进行生物信息学分析探索潜在生化机制。
研究结论：多模态放射组学-深度学习模型被引入作为一种新颖且有效的非侵入性方法，用于预测ccRCC患者5年术后复发风险。这一进展突显了此类模型在支持临床决策和促进ccRCC患者个体化治疗策略方面的潜力。
