《iMetaMed》：A Multimodal Deep Learning Framework Integrating Tumor Microenvironment Niches for Overall Survival Prediction in Esophageal Squamous Cell Carcinoma
编辑推荐：
食管鳞状细胞癌（ESCC）总生存期（OS）的精准预测受限于传统分期系统的预后分辨率不足。为此，研究人员开发了MENISA——一种整合临床数据、CT影像、全切片病理图像（WSI）以及注释的肿瘤微环境（TME）生态位（特别是神经周围浸润和淋巴血管浸润）的多模态深度
食管鳞状细胞癌（ESCC）总生存期（OS）的精准预测受限于传统分期系统的预后分辨率不足。为此，研究人员开发了MENISA——一种整合临床数据、CT影像、全切片病理图像（WSI）以及注释的肿瘤微环境（TME）生态位（特别是神经周围浸润和淋巴血管浸润）的多模态深度学习框架，用于预测OS。在两个多中心队列共450例患者中，该模型取得了稳健的预测性能（内部验证C-index：0.778；外部验证C-index：0.675），并显著将患者分层为不同的风险组（p ≤ 0.001）。可解释性分析识别出TME生态位是重要的预后驱动因素，通过引入中间尺度的TME生态位作为互补的预后维度，弥合了宏观影像组学与介观组织学之间的鸿沟。本研究证明了整合中间尺度微环境特征的临床实用性，为ESCC个体化风险分层提供了一种精准肿瘤学工具。
论文解读
一、研究背景与问题
食管癌（EC）是全球重大健康负担，根据GLOBOCAN 2022数据，其发病率居全球癌症第11位，癌症相关死亡率居第7位。东亚地区发病率尤为突出，中国约占全球食管癌病例的近一半。在太行山区等高危区域，年发病率超过每10万人100例，其中食管鳞状细胞癌（ESCC）约占90%。尽管治疗手段不断进步，ESCC的预后仍然较差，5年生存率低于20%。虽然免疫治疗联合化疗已将晚期ESCC的中位总生存期（OS）从约12个月延长至17个月，但仍有超过30%的患者在1年内出现复发或死亡。
精准预测OS对于ESCC的风险分层和治疗个体化至关重要。然而，当前临床标准主要依赖TNM分期和PD-L1表达，这些静态、单维度的指标无法捕捉肿瘤生态系统的时空异质性，限制了其预后分辨率。CT影像和人工智能技术虽已显示出改善OS估计的潜力，但多尺度影像数据的整合——如3D CT提供的宏观空间信息和组织病理图像提供的介观组织细节——在保证模型泛化性和临床适用性的前提下仍面临困难，尤其是在ESCC OS研究样本量有限的情况下。
肿瘤微环境（TME）是一个复杂生态系统，包含癌细胞、免疫细胞、基质细胞、血管和神经成分，这些成分之间发生动态交互，在肿瘤进展和治疗反应中发挥核心作用。CT-based深度学习影像组学可捕捉某些宏观TME特征，组织病理影像则提供互补的介观信息。值得注意的是，TME内特定的空间生态位——包括神经周围浸润（PNI）、淋巴血管浸润（LVI）和空间免疫浸润模式——已成为影响肿瘤行为和临床结局的重要预后因素。这些生态位层面的特征占据CT与病理分辨率之间的中间尺度，但常规深度学习方法往往无法充分捕捉，导致其预后价值被低估。
二、研究内容与意义
研究人员开发了MENISA——一个多模态深度学习框架，明确整合临床数据、多尺度影像（CT和WSI）以及生物学定义的TME生态位来预测ESCC的OS。该框架专为临床转化设计，利用基础模型进行稳健的特征编码，并引入几何感知的插补策略来协调异构的2D和3D CT数据。通过多中心队列验证，研究人员证明整合TME生态位显著提升了预后准确性和风险分层能力，将范式从静态分期转向动态、微环境感知的精准肿瘤学框架。
三、主要技术方法
研究人员采用回顾性多中心队列设计，纳入三个患者队列：来自山东大学齐鲁医院的训练队列（n=273）用于模型开发和训练；同样来自齐鲁医院的内部验证队列（n=63）；以及来自辽宁省肿瘤医院的外部验证队列（n=114），用于评估模型跨中心的泛化能力。纳入标准包括：无新辅助治疗或术前放化疗史、病理确诊为ESCC、具备术前CT扫描和福尔马林固定石蜡包埋组织标本。主要终点为OS。
MENISA框架由三个整合模块组成：多模态特征提取、稳健特征选择和生存预测。首先从四个领域聚合共1707个特征：CT影像（107个手工影像组学指标和50个基于预训练医学视觉基础模型经主成分分析（PCA）提取的深度潜在特征）；组织病理（1536个通过病理特异性基础模型从WSI提取的深度表征）；TME生态位（7个注释的微环境标志物，包括PNI、LVI和空间免疫浸润模式）；临床数据（7个标准人口学和分期变量）。为缓解高维特征空间的过拟合问题，研究人员应用弹性网络（Elastic Net）正则化结合稳定性选择作为特征筛选策略，将输入空间缩减至80个候选特征。特征选择仅在训练队列上进行。所选多模态特征经z-score标准化后输入DeepHit神经网络架构，用于估计离散时间生存概率以进行OS预测。训练过程中引入特征级数据增强策略，包括高斯噪声注入和特征级dropout，以及模态级dropout以增强跨模态鲁棒性。针对2D与3D CT勾画差异，研究人员提出掩码感知多层感知机（Mask-aware MLP）进行特征插补，在外部数据集中预测和填充缺失或稀疏的特征列，实现特征空间一致性。
四、研究结果
基线特征与TME异质性。 共纳入450例ESCC患者。三个队列的平均年龄约62岁，以男性为主，吸烟饮酒比例无显著差异，AJCC第8版分期主要集中在II期和III期。仅合并症在三个队列间存在显著差异（p=0.049）。OS事件率分别为30.0%、41.3%和28.1%，无统计学显著差异。部分TME生态位特征在队列间无显著差异（如LVI比例p=0.268），但PNI在外部验证队列中比例最高（p<0.01），组织学类型、肿瘤浸润淋巴细胞（TIL）、肿瘤周围浸润淋巴细胞和瘤内髓系细胞等特征在外部验证队列中呈现显著差异，反映了不同临床群体间肿瘤生物学和患者健康状态的异质性。
MENISA模型的稳健生存预测与风险分层。 内部验证队列中模型C-index为0.778（95% CI: 0.666–0.876），外部验证为0.675（95% CI: 0.604–0.741）。时间依赖性AUC分析显示内部队列总体AUC为0.858，外部队列为0.712。3年生存率AUC分别为0.860（内部）和0.737（外部）；5年生存率AUC分别提升至0.864（内部）和0.788（外部）。IBS在内部队列为0.222，外部队列为0.203，表明预测误差较低。校准分析显示1年、3年和5年时间点上预测与观测生存概率之间具有可接受的一致性。Kaplan-Meier分析显示高风险组与低风险组在内部（log-rank p<0.001）和外部（log-rank p=0.001）队列中均呈现显著分离。外部队列按肿瘤分期分层分析显示II期C-index为0.617，III期为0.637，模型性能保持稳定。
生存模型与多模态融合策略的比较。 基于DeepHit的模型在内部验证中C-index为0.778、AUC为0.858，优于Cox比例风险模型（CoxPH，C-index=0.693，AUC=0.747）、DeepSurv（C-index=0.723，AUC=0.787）、随机生存森林（RSF，C-index=0.693，AUC=0.730）和NMTLR（C-index=0.725，AUC=0.830）。融合策略比较显示，基于弹性网络特征选择的早期融合达到最优性能（C-index=0.778，AUC=0.858），显著优于标准早期融合（C-index=0.712，AUC=0.735）和晚期融合（C-index=0.668，AUC=0.743）。
多模态融合显著增强生存预测。 多模态模型在内部验证中C-index为0.778，显著优于所有单模态模型：CT影像（0.536）、WSI（0.635）、临床数据（0.407）和TME生态位（0.595）。外部验证中多模态模型C-index为0.675，同样优于各单模态模型（CT：0.580，WSI：0.630，临床：0.476，TME生态位：0.570）。AUC分析进一步验证了多模态策略的有效性，Kaplan-Meier分析证实多模态方法在内部和外部队列中均提供最显著的风险分层。
CT特征插补协调异构影像协议。 当仅使用2D特征时，模型判别能力显著下降（C-index从0.778降至0.638）。在外部队列中实施特征插补后，C-index从0.611显著提升至0.675，AUC提升至0.712。掩码感知MLP在模拟缺失设置下实现了高重建性能（R2=0.791，Pearson相关系数=0.897），Kolmogorov-Smirnov检验显示最小分布差异（KS=0.022，p=0.291），表明插补特征与原始3D特征分布高度接近。相比之下，均值、KNN和MICE等常规插补方法的重建精度和分布一致性均明显较低。
可解释性分析揭示互补的多模态特征贡献。 SHAP分析显示，病理特征（特别是深度学习衍生的形态学表征）是主要贡献者。CT特征通过捕捉肿瘤异质性、病灶范围和密度分布等宏观特征提供关键互补信息。模型自主识别出关键TME生态位特征，其中LVI和PNI位列前六项预后贡献因素。临床特征（包括肿瘤分期和合并症状态）仍保持强预测能力。
决策曲线分析。 在内部队列中，模型在1年时与临床模型净获益相当，在3年和5年时优势逐渐增大。外部验证队列呈现一致模式，模型在大多数阈值范围内维持优于或相当的净获益，尤其在更长随访时间点上。模型始终优于仅分期和仅临床策略，并提供比"全部治疗"策略更大的净获益。
五、讨论与结论
本研究的实质性创新在于将TME生态位作为关键预测特征引入预后模型。与单纯来自宏观CT或介观病理图像的常规临床变量相比，TME生态位——特别是PNI和LVI——对OS展现出更强的预测能力。在PNI中，肿瘤细胞分泌神经营养因子（如NGF和BDNF），主动吸引并侵入周围神经，同时建立以CD8?T细胞耗竭为特征的免疫抑制微环境。在LVI中，缺氧信号上调VEGF-A等因子，诱导血管渗漏和细胞外基质重塑，为肿瘤细胞进入血管创造条件。这两个生态位并非孤立运作，可通过基质金属蛋白酶（MMP）介导的基质重塑等机制相互作用和协同，共同增强肿瘤侵袭性。研究结果强化了一个新兴范式：ESCC的OS预测应超越宏观和介观影像特征，纳入封装TME内动态细胞相互作用的中间尺度TME生态位。
在临床部署方面，研究人员评估了无病理特征的多模态融合设置（仅使用CT影像、临床和TME变量），模型C-index为0.756、AUC为0.784，性能虽适度降低但仍可接受，表明框架可灵活适应不同输入配置。
研究局限性包括：外部验证集相对较小且存在人口学和病理特征差异；中位随访32.8个月及5年后低事件率可能限制长期生存预测的可靠性；特征插补方法对训练与外部数据之间的分布偏移敏感。未来研究可从更大规模、多中心前瞻性队列和延长随访中获益。
总之，通过整合多尺度数据和TME感知特征，本研究提供了一个预测ESCC OS的多模态深度学习模型。模型通过多种技术策略增强泛化性——包括使用基础模型进行特征提取、弹性网络正则化进行降维、DeepHit架构进行生存分析——并通过基于MLP的插补方法提升临床适用性。模型有效识别高风险患者，显示出支持个体化治疗决策的潜力。重要的是，它证明了TME生态位的关键预后价值，将风险分层从基于分期的范式推进到整合宏观、介观和中间尺度特征的多模态框架。
