基于纵向乳腺X线摄影与临床数据的多模态深度学习模型预测乳腺癌复发风险及复发亚型

《Radiology: Artificial Intelligence》：A Deep Learning Model to Predict Breast Cancer Recurrence Using Longitudinal Mammograms and Clinical Data

　　

目的： 开发一种整合纵向乳腺X线摄影（longitudinal mammograms）与静态临床数据（static clinical data）的深度学习模型，用于预测乳腺癌的复发风险（recurrence risk）及复发亚型（recurrence subtype）。 材料与方法： 本回顾性研究（retrospective study）纳入了2004年1月至2020年12月期间接受影像检查的患者数据。研究人员开发了一种整合治疗前乳腺X线摄影特征（pretreatment mammographic features）与临床数据的多模态深度学习模型（multimodal deep learning model）。研究采用多任务框架（multitask framework）联合预测复发（二分类任务）及复发亚型（局部、区域、远处）。模型在单一机构队列内完成训练与评估。 结果： 共纳入3923例患者（平均年龄±标准差，52.89岁±10.98；3923例[100.0%]为女性）及19684次检查。在测试队列中，模型在总体复发预测上取得了受试者工作特征曲线下面积（area under the receiver operating characteristic curve, AUC）为0.80（95% CI：0.74，0.85）及精确率-召回率曲线下面积（area under the precision-recall curve, AUPRC）为0.54（95% CI：0.43，0.64），优于单模态方法。在复发患者中进行的复发亚型预测方面，模型取得了65.1%（95% CI：60.2，71.1）的平衡准确率（balanced accuracy）及0.72（95% CI：0.68，0.78）的AUC。 结论： 所提出的多模态深度学习框架在复发预测及复发亚型区分方面均优于现有模型。 关键词： 乳腺癌复发；多模态；深度学习；乳腺X线摄影；乳腺；卷积神经网络（CNN）

论文解读：基于纵向乳腺X线摄影与临床数据的多模态深度学习模型预测乳腺癌复发

一、研究背景与问题

乳腺癌复发及远处转移是导致乳腺癌相关死亡的主要原因。尽管筛查与治疗手段不断进步，仍有约20%的患者最终死亡。当前的治疗后监测策略依赖于标准化的固定间隔影像学检查，最常用的是乳腺X线摄影或数字乳腺断层合成。然而，这种"一刀切"的监测方式未能考虑个体风险差异，可能导致高风险患者的复发检出延迟。治疗前的风险分层因此有望通过同时估计总体复发概率及可能的复发模式（包括局部、区域及远处事件），为个体化随访提供依据，进而指导监测强度、频率及影像学检查方式的选择。

既往的统计及机器学习方法在复发预测方面性能有限，主要受限于数据不完整及难以捕捉乳腺癌的复杂性。人工智能技术能够整合影像、临床特征及分子数据等多源异构信息，这种多模态整合至关重要，因为复发风险反映的是患者、肿瘤及治疗相关因素的共同作用，单一数据源无法全面表征。已有研究将组织病理图像与临床信息相结合，但单时间点的病理图像无法捕捉肿瘤表型的时序变化。尽管乳腺MRI及增强乳腺X线摄影在特定患者中可能提供更高敏感性，但其非常规使用及较高的资源需求限制了可扩展性。相比之下，治疗前乳腺X线摄影是常规检查，具有广泛可及、无创、经济高效且临床可扩展的优势，能够提供整个乳腺的全面视图，同时捕捉肿瘤及周围组织信息。治疗前获取的纵向乳腺X线摄影可能捕捉与肿瘤生长、侵袭及侵袭性随时间变化相关的特征，将其与临床及治疗信息整合，可能为个体化监测及辅助治疗规划提供更早期的依据。

既往研究表明，基于乳腺X线摄影的深度学习模型可提升癌症检测及风险估计的效率与特异性，但纵向乳腺X线摄影联合临床数据能否可靠预测初始治疗后的复发仍不明确。因此，本研究旨在开发一种整合纵向乳腺X线摄影与静态临床数据的深度学习模型，以预测乳腺癌复发风险及复发亚型。论文发表于《Radiology: Artificial Intelligence》。

二、研究设计与技术方法

研究人员开展了一项回顾性、单机构队列研究，纳入2004年1月1日至2020年12月31日期间在荷兰癌症研究所（Netherlands Cancer Institute）接受乳腺X线摄影检查的连续乳腺癌患者。研究经该机构伦理审查委员会批准（IRBd21-059）。纳入标准包括：具有治疗前获取的纵向乳腺X线摄影、可获取的临床/治疗/结局数据，以及初始治疗后至少1年的随访记录。排除标准包括：所需乳腺X线摄影检查缺失或质量不足、关键临床或结局数据缺失、随访不足1年。

研究人员开发了MultiModalNet——一种整合纵向治疗前乳腺X线摄影及结构化临床变量的多模态深度学习框架。队列按患者层面以70%、15%、15%比例划分为训练集（2746例）、验证集（588例）及内部测试集（589例），并在模型构建过程中于开发队列内进行五折交叉验证。模型为每位患者纳入最多三次治疗前检查的乳腺X线摄影，每次检查包含四个标准视图（左头尾位、左内外斜位、右头尾位、右内外斜位）。影像分支采用预训练的视觉Transformer（vision transformer）提取纵向乳腺X线摄影特征，并通过基于注意力的模块整合各视图及各检查时间点的特征。与此同时，36项人口统计学、肿瘤相关及治疗相关临床变量经多层感知器（multilayer perceptron）处理。影像与临床表征随后通过跨模态注意力融合模块（cross-modal attention fusion module）进行融合，生成共享的多模态表征。研究采用多任务学习框架，一个预测头负责总体复发二分类，另一个预测头负责复发亚型（局部、区域、远处）分类。

三、研究结果

数据集特征： 研究队列共纳入3923例乳腺癌患者（平均年龄±标准差，52.89岁±10.98；全部为女性），其中531例（13.5%）发生局部、区域或远处复发，3392例（86.5%）未复发。复发患者平均随访时间为8.49年，未复发患者为10.71年。相邻乳腺X线摄影检查的平均间隔为1.09年±0.39。独立测试队列包含80例复发患者及509例未复发患者。

模型预测性能： 在仅影像模型中，基于视觉Transformer的模型取得了最高的复发预测性能（AUC 0.67），优于ResNet、DenseNet及MobileNet模型。在12种仅临床数据的机器学习模型中，随机森林（random forest）模型性能最高（AUC 0.74；AUPRC 0.45）。集成方法中，袋装法（bagging）性能最高（AUC 0.75；AUPRC 0.46）。整合纵向乳腺X线摄影与肿瘤相关、治疗相关及人口统计学变量的多模态模型取得了最高的总体复发预测性能（AUC 0.80 [95% CI：0.74，0.85]；AUPRC 0.54 [95% CI：0.43，0.64]），敏感性为80.0%，特异性为66.0%。消融分析显示，完整多模态模型的性能高于移除任一数据模态的模型。在复发亚型分类方面，仅影像模型性能最低，仅临床模型居中，多模态模型取得了65.1%（95% CI：60.2，71.1）的平衡准确率及0.72（95% CI：0.68，0.78）的宏平均一对多AUC，显著高于仅临床模型（平衡准确率53.8%，差异11.3%，P = .003；AUC 0.69，差异0.03，P = .03）。

时间-事件分析： 在内部测试队列中，239例患者被划分为高风险组，329例为低风险组。Kaplan-Meier分析显示，模型预测的高、低风险组之间的治疗后复发差异显著（风险比[hazard ratio, HR] 3.69；95% CI：2.02，6.75；P < .001）。高风险组复发总例数（n = 45）为低风险组（n = 14）的3.21倍，而低风险组未复发例数（n = 315）为高风险组（n = 194）的1.62倍。基于模型预测的整合评分，研究人员通过Cox比例风险回归生成了个体患者的时间依赖性累积复发风险曲线，复发组患者始终表现出高于非复发组的累积风险。

亚组分析： 模型在预测局部、区域及远处复发方面表现稳定，AUC分别为0.76、0.74及0.71。在部分临床相关亚组中观察到较高的AUC值，包括肿瘤分期较晚的患者、三阴性乳腺癌患者及携带特定基因突变的患者。相反，早期疾病、ERBB2（原HER2）阳性癌症及有卵巢癌病史的患者AUC相对较低。时间依赖性分析显示，模型预测性能在不同随访时长内保持稳定，但AUC值随随访时间延长略有下降。

模型可解释性： SHAP（Shapley additive explanations）分析显示，肿瘤相关临床特征对模型预测贡献最强，其中病理淋巴结分期（pathologic nodal stage）及病理肿瘤分期（pathologic tumor stage）是最具影响力的预测因子，表明淋巴结受累及肿瘤负荷是预测复发风险的主要决定因素。其他重要预测因子包括治疗相关变量（如辅助治疗及激素治疗）、治疗反应（如原发癌病理完全缓解状态）及人口统计学因素（如绝经状态、任何癌症家族史及诊断年龄）。手术类型及卵巢癌病史等特征的SHAP值接近零，对模型输出影响极小。SHAP蜂群图进一步显示，较高的病理淋巴结分期通常与阳性SHAP值相关（提示更高的预测复发风险），而较年轻的诊断年龄倾向于对预测复发风险产生正向贡献。

四、讨论与结论

本研究开发的MultiModalNet模型整合纵向治疗前乳腺X线摄影与临床数据，在内部测试队列中对总体复发预测取得了AUC 0.80及AUPRC 0.54，复发亚型预测取得了65.1%的平衡准确率及0.72的AUC，优于仅临床模型。模型还成功将患者划分为复发风险显著不同的高、低风险组（HR 3.69；P < .001）。这些发现表明，纵向乳腺X线摄影特征与既定临床变量整合时提供了互补的预后信息。与既往主要依赖统计模型、结构化临床变量、分子数据或单时间点影像的研究相比，本研究通过纳入最多三次治疗前乳腺X线摄影检查来预测治疗后复发，其纵向设计可能捕捉单次检查无法获得的与肿瘤进展及侵袭性相关的时序变化。尽管临床变量对模型预测的贡献强于影像特征，但联合模型的性能提升表明纵向影像提供了互补而非冗余的信息。此外，区分局部、区域及远处复发超越了传统的二分类复发预测，可能为随访规划提供更多临床相关信息。

本研究存在以下局限性：第一，研究为回顾性且主要在单一机构进行，可能限制普适性，尽管进行了探索性外部分析，仍需在更大规模的独立多中心队列中验证；第二，乳腺X线摄影可能仅部分反映肿瘤生物学特征，仅影像模型相对有限的性能提示影像单独不足以进行复发预测，纳入MRI、病理、基因组或治疗反应数据可能提升性能；第三，模型需要详细的纵向影像及临床数据以及大量计算资源，可能限制部分环境中的实施，其固定长度设计在检查次数不足三次时需要填充，可能引入人为相关性；第四，复发事件尤其是亚型特异性事件相对少见，导致类别不平衡及统计效力受限；第五，亚组、生存及可解释性分析均为探索性，应谨慎解读。

研究结论：MultiModalNet整合纵向治疗前乳腺X线摄影与临床数据，可预测乳腺癌总体复发并区分局部、区域及远处复发。该模型优于所评估的单模态方法，并能识别具有不同复发风险的患者。未来多中心及前瞻性研究应评估其普适性、校准度、临床效用及在不同人群中的表现。经进一步验证后，该模型有望支持个体化监测、治疗规划及临床试验选择。临床上，MultiModalNet可在治疗前识别高风险复发患者以考虑早期多学科会诊、风险适应性治疗规划及临床试验入组；治疗后，模型预测可指导监测强度（包括随访间隔及影像学检查方式选择），高风险患者可能受益于更密切的影像随访及在临床适当时采用更敏感的检查方式（如乳腺MRI或增强乳腺X线摄影），而低风险患者可能在指南允许范围内进行监测降级。这些应用仍属假设性，需要前瞻性验证以确立临床有意义的阈值、证明结局改善并确保与现有指南的一致性。