通过共注意力深度学习整合放射学和组织学数据，以预测转移性前列腺癌患者的无进展生存期

《Chinese Medical Journal》：Integrating radiology and histology via co-attention deep learning for predicting progression-free survival in patients with metastatic prostate cancer

前列腺癌进展预测研究提出跨模态协同注意力模型，整合MRI和病理切片数据，通过双通道特征提取与Transformer注意力机制实现多模态信息融合。多中心队列验证显示该模型显著优于单模态方法，C-index达0.825，AUC 0.711-0.933，为精准预测CRPC提供新范式。

　　在当前前列腺癌治疗领域，特别是针对转移性前列腺癌（mPCa）的管理中，疾病向去势抵抗性前列腺癌（CRPC）的转变已成为一个关键的挑战。随着治疗手段的不断进步，尽管许多患者在初始阶段可以通过去势治疗获得较好的控制效果，但随着时间推移，肿瘤往往发展为对传统治疗手段不再敏感的状态。这一转变不仅意味着疾病的自然进程变得更加复杂，也对临床治疗策略提出了更高的要求。传统上，医生主要依赖临床指标，如前列腺影像报告和数据系统（PI-RADS）评分、前列腺特异性抗原（PSA）水平和格利森（Gleason）评分等，来评估患者的病情和预后。然而，这些指标虽然在诊断过程中具有重要价值，却在预测疾病是否向CRPC转化方面存在明显局限。

更进一步地，这些传统临床指标无法全面反映肿瘤内部复杂的生物学交互作用，也无法准确捕捉癌症进展的动态特性。因此，它们在预测疾病演变方面往往不够精准。目前的诊断方法通常将这些指标单独分析，这导致了对某些肿瘤潜在侵袭性的低估，或者忽略了那些可能预示疾病即将进展为CRPC的细微信号。这种分析方式的局限性凸显了开发更加先进、综合的预测模型的迫切需求。通过整合多种诊断手段获取的数据，可以更全面地理解肿瘤的行为特征，并为治疗决策提供更有价值的依据。

近年来，随着人工智能技术的快速发展，特别是深度学习在医学影像领域的应用，为整合和解读多模态数据提供了新的可能性。例如，影像学数据和病理学数据分别提供了关于肿瘤形态和细胞组成的重要信息。然而，每种数据来源都具有独特的视角，如果能够有效地进行整合，将有助于形成对肿瘤行为的更完整认知。深度学习技术具备从大量数据中识别复杂模式和关联的能力，因此成为提升癌症进展预测准确性的有力工具。它不仅可以帮助医生更早识别可能进展为CRPC的患者，还可能揭示肿瘤对标准治疗产生抵抗的潜在机制。

本研究提出了一种跨模态协同注意力的深度学习模型，用于整合影像学和病理学数据，以预测mPCa患者的无CRPC进展生存期。该模型的核心理念是通过协同注意力机制，使影像学和病理学数据在分析过程中相互补充，从而形成对肿瘤特征的统一理解。协同注意力机制的设计目标是增强每种模态数据的可解释性，并揭示在单独分析时无法察觉的交互效应。这种增强预测能力的方法对于延长患者接受有效治疗的时间窗口至关重要，有助于改善mPCa患者的临床预后。

在本研究中，我们纳入了来自三家医院的366例mPCa患者。所有研究过程和方法均获得了相关医院伦理委员会的批准。由于研究设计为回顾性，并且使用的是已有的诊断数据，因此根据回顾性研究的伦理指南，免除了知情同意的程序。这种处理方式确保了研究符合所有医学研究的伦理准则。患者的选择遵循了明确的纳入和排除标准。纳入标准包括：病理学确诊的mPCa；入院前的磁共振成像（MRI）数据和术后全切片成像（WSI）数据；以及包括年龄、PSA水平、格利森评分、PI-RADS评分和临床肿瘤-淋巴结-转移（TNM）分期在内的全面临床病理信息。排除标准包括：患有其他类型癌症的患者；已经接受过可能影响前列腺癌治疗的患者；临床资料不完整；或影像数据质量较差的患者。通过这一严格的筛选过程，我们确保了用于模型训练和测试的数据具有高质量和高度相关性。

研究对象被系统地划分为四个不同的队列：训练队列（n = 217）、内部验证队列（IVC）（n = 54）、外部测试队列1（n = 44）和外部测试队列2（n = 51）。这种队列划分方式有助于在不同临床环境中全面评估模型的预测能力。无CRPC进展生存期（CFS）被定义为从初始治疗开始到CRPC发生或随访结束的时间间隔。对于在随访结束时仍未出现去势抵抗状态的患者，或因各种原因失访的患者，均被归为删失数据。这种定义方式确保了对生存时间的准确计算，并为模型的评估提供了合理的数据基础。

在影像数据处理方面，我们收集了包括T2加权和表观扩散系数（ADC）序列在内的MRI图像。这些图像通过预训练的ResNet-34网络进行处理，以提取与前列腺癌相关的有意义特征。预处理步骤包括将所有图像重新采样到统一的分辨率，以确保不同机构数据集之间的一致性。经验丰富的放射科医生手动勾画肿瘤区域，并由资深放射科医生对这些分割结果进行复核，以解决任何分歧。在病理数据处理方面，我们利用WSI数据，这些数据由病理学家扫描并标注，以识别癌变区域。随后，这些标注的WSI被分割为小块，并在20倍放大下进行处理，再调整至224×224像素的尺寸，以便进一步分析。这一过程确保了病理数据的准确性，并为模型提供了高质量的输入信息。

本研究的核心方法学创新在于其特征提取和整合过程。对于影像学和病理学数据，我们分别使用预训练的ResNet-34网络提取模态特异性特征。然后，通过一种新的跨模态协同注意力机制，将这些特征进行整合，以实现影像学和病理学信息之间的对齐和融合。在提出的协同注意力模块中，每512维的特征嵌入被视为一种模态内部模式的表示，并作为协同注意力模块的输入。通过引入基于Transformer的注意力模块，我们能够捕捉不同模态之间的相互关联，其中影像学嵌入加上类别标记被用作查询。这种将影像学信息与全局病理学信息相结合的方式有助于增强跨模态的交互作用，使模型能够动态关注并整合来自MRI和病理学的互补信息。这种方法旨在利用每种数据类型的内在优势，从而揭示潜在的生物标志物，并提高模型的总体预后准确性。

研究模型的结构设计采用了双通道处理机制，分别处理影像学和病理学数据，最终通过协同注意力机制整合成一个统一的特征集。这种设计使模型能够利用不同数据类型之间的复杂相互依赖关系，从而提升其预测疾病进展的能力。在验证过程中，模型首先在训练队列中进行训练，然后在内部验证队列中进行调优和验证，最后在两个独立的外部测试队列中进行测试，以评估其在不同临床环境下的泛化能力和稳定性。通过多种统计分析方法，如多变量Cox回归分析、预测误差曲线随时间变化的分析以及时间依赖性受试者工作特征（ROC）曲线分析，我们对模型的性能进行了全面评估，并将其与单模态模型进行了比较，以验证整合风险评分的独立预后价值。

研究结果表明，本研究开发的整合模型在预测mPCa患者进展为CRPC方面表现出显著的优越性。模型的评估基于多个指标，包括一致性指数（C-index）、Cox回归分析中的风险比（HR）以及受试者工作特征曲线下的面积（AUC）。在内部验证队列中，模型的C-index达到了0.825，表明其具有极强的预测能力。而在外部测试队列中，C-index分别为0.803和0.785，虽然略有下降，但仍显示出良好的预测效果。这些结果不仅强化了整合模型在不同临床环境下的稳定性和可靠性，还表明其相较于传统单模态模型具有更高的预测准确性和更强的区分能力。

在研究过程中，我们发现整合风险评分在预测CRPC进展方面具有独立的预后价值。多变量Cox回归分析显示，该评分对CRPC进展的预测能力非常强，其风险比（HR）均显示出高度的统计显著性。例如，在内部验证队列中，HR为11.109，95%置信区间（CI）为3.342–36.933；在外部测试队列1中，HR为33.075，95% CI为6.556–166.852；在外部测试队列2中，HR为21.236，95% CI为5.103–88.602。这些结果表明，整合风险评分作为一种独立的预后指标，具有良好的稳定性，并能有效识别那些更有可能进展为CRPC的患者。

与单模态影像学模型和单模态病理学模型相比，整合模型在预测准确性方面表现出明显的优势。预测误差曲线随时间变化的分析显示，所有三种模型在不同验证和外部测试队列中的平均误差均有所差异，其中整合模型的平均误差低于单模态模型。时间依赖性ROC曲线及其对应的AUC值在12个月、24个月和36个月的时间节点上分别被评估。整合模型的AUC值范围在0.711到0.933之间，显示出其在不同时间点上均具有较高的预测能力。这些结果进一步确认了整合模型在预测疾病进展方面的优越性，并表明其在临床实践中具有广泛的应用前景。

尽管当前研究结果令人鼓舞，但该研究也指出了未来研究的方向。为了进一步验证模型在实际临床环境中的应用效果，需要开展前瞻性试验，以评估其在真实患者群体中的预测能力和治疗指导价值。此外，将其他类型的生物信息，如基因组数据或生化标志物，整合到模型中，可能有助于提升其预测能力，并为mPCa的生物学机制提供更加深入的理解。这种多维度的数据整合方式有望推动前列腺癌治疗策略的进一步优化，并为患者提供更加个性化的诊疗方案。

综上所述，本研究展示了通过整合影像学和病理学数据，利用先进的机器学习技术，可以显著提升对CRPC进展的预测能力，为mPCa的管理和治疗提供了新的思路和方法。这一研究不仅有助于深化对癌症进展机制的理解，还可能为改善患者预后提供新的工具和手段。随着人工智能技术的不断进步，未来有望开发出更加智能和精准的模型，为前列腺癌患者提供更有效的治疗指导和支持。