编辑推荐：
乳腺癌新辅助化疗（NAC）前准确预测病理完全缓解（pCR）至关重要。研究人员开发多模态集成全自动管道系统（MIFAPS），整合多种数据预测 pCR。结果显示，MIFAPS 预测性能良好且优于单模态模型，有助于乳腺癌个性化治疗。
在乳腺癌治疗领域，新辅助化疗（NAC）已成为局部晚期乳腺癌患者的主要治疗手段。它能缩小肿瘤体积、降低转移风险，还能增加保乳手术的机会。更重要的是，部分患者在接受 NAC 后可达到病理完全缓解（pCR），这与良好的治疗预后密切相关，甚至部分达到 pCR 的患者有可能省略手术，避免乳房切除。然而，目前在 NAC 前准确预测 pCR 却困难重重。
传统的监测方法，像体格检查、超声（US）、乳腺 X 线摄影等，在评估肿瘤对 NAC 的反应时存在局限性。其中，磁共振成像（MRI）虽能提供较为全面的肿瘤成像信息，在判断肿瘤范围和形态方面优于其他方法，但它预测 pCR 的灵敏度仅为 64%，且基于实体瘤疗效评价标准（RECIST）对 pCR 的评估在临床实践中也不够及时和充分 。
随着医学的发展，机器学习尤其是放射组学成为研究热点。不过，以往放射组学研究因可重复性低、样本量小，临床适用性受限，而且其 “手工制作” 的特征也难以捕捉图像中的全部信息。深度学习虽能提取适应任务的深度特征，提高模型准确性和可重复性，但此前多基于单模态图像，模型准确性有待提升，且缺乏多中心或前瞻性验证。此外，新兴的组织病理学全切片图像（WSI）虽能反映分子特征或遗传模式，基于 WSI 的深度学习在预测预后和治疗反应方面有一定优势，但 MRI 和 WSI 融合对乳腺癌 NAC 的 pCR 预测价值尚不明确。
在这样的背景下，为解决乳腺癌 NAC 前难以准确预测 pCR 的问题，烟台毓璜顶医院等多家国内研究机构的研究人员开展了一项重要研究。他们开发并验证了一种多模态集成全自动管道系统（MIFAPS），该系统整合了治疗前 MRI、苏木精 - 伊红（H&E）染色的活检切片和临床风险因素，用于预测局部晚期乳腺癌患者对 NAC 的 pCR。研究成果发表在《SCIENCE ADVANCES》上，为乳腺癌的精准治疗带来了新的希望。
研究人员在开展这项研究时，用到了几个主要关键的技术方法。首先，收集了多中心、前瞻性的 1004 例局部晚期乳腺癌患者的数据集，包括烟台毓璜顶医院、北京大学深圳医院等多家医院的患者。其次，运用深度学习技术分别构建基于 MRI 和 WSI 的模型。其中，MRI 模型包含自动分割和分类子网，WSI 模型基于多实例学习和注意力模块构建。最后，通过逻辑回归将基于 MRI 的深度学习特征、基于 WSI 的深度学习特征和临床特征进行整合，构建 MIFAPS 模型 。
下面来详细看看研究结果：
- 临床特征：研究共纳入 1004 例患者，回顾性研究中训练和验证集、内部测试集、合并外部测试集分别有 20%、20%、26% 的患者达到 pCR，前瞻性研究中前瞻性测试集有 25% 的患者达到 pCR，不同数据集间 pCR 患者分布无显著差异。患者的年龄、肿瘤大小、雌激素受体（ER）、孕激素受体（PR）、人表皮生长因子受体 2（HER2）、增殖标记物 Ki - 67 和分子亚型等临床特征在 pCR 和非 pCR 患者间存在差异 。
- MIFAPS 的性能：MIFAPS 通过逻辑回归系数整合三种模态，其评分公式为：MIFAPS 评分 = 6.933×MRI 评分 + 5.560×WSI 评分 + 3.321× 临床评分 - 8.358。该系统在内部测试集（AUC = 0.932）、合并外部测试集（AUC = 0.882）和前瞻性测试集（AUC = 0.909）中均能准确预测 pCR，灵敏度和特异性分别在 0.815 - 0.947 和 0.766 - 0.854 之间。在临床工作流程中，MIFAPS 可辅助制定个性化治疗方案，高评分提示对标准治疗反应良好，低评分则表明可能存在化疗耐药，患者或许能从新疗法中获益 。
- 与单模态和双模态模型的比较：MIFAPS 在预测 pCR 方面优于单模态模型。在合并外部测试集和前瞻性测试集中，MRI 模型、WSI 模型和临床模型的 AUC 均显著低于 MIFAPS。而且，MIFAPS 能纠正单模态模型误诊病例，如在合并外部测试集中，可纠正 MRI 模型误诊的 33.33% 的非 pCR 和 89.47% 的 pCR 病例。同时，MIFAPS 也优于双模态模型，MRI + WSI、MRI + 临床、WSI + 临床模型的 AUC 均低于 MIFAPS 。
- 亚组分析：MIFAPS 在不同分子亚型、不同化疗方案和不同病变大小亚组中均表现出良好的预测能力。例如，在管腔亚组、HER2 亚组、三阴性亚组，以及病变直径≤2 cm 和 > 2 cm 的亚组中，MIFAPS 都取得了较高的 AUC 值 。
- 模型可视化：通过应用梯度加权类激活映射（Grad - CAM）对 MRI 模型进行可视化，发现其热图聚焦于乳腺肿瘤和瘤周区域。基于 WSI 的模型通过构建注意力热图，显示高评分患者关注肿瘤组织区域，低评分患者则关注肿瘤和纤维组织区域。进一步分析发现，高评分患者的高关注区域中淋巴细胞较多，肿瘤和结缔组织细胞较少 。
- 生物学基础探索：对 67 例患者进行 RNA 测序和基因分析，发现高评分患者与免疫反应途径、干扰素 - γ 产生和 T 细胞增殖的正调控相关。高评分组中 CD4 记忆 T 细胞和 M1 巨噬细胞水平较高，M2 巨噬细胞水平较低，免疫组化染色也证实了这一差异 。
- 误分类病例分析：分析 MIFAPS 的预测错误病例，发现 MRI 模型可能因对肿瘤区域学习不佳而关注非肿瘤区域导致错误；WSI 模型中，非 pCR 患者的高关注区域含大量淋巴细胞，pCR 患者则关注特定结缔组织，这可能导致误分类。基因分析还发现，高评分误判患者的免疫反应途径下调 。
研究结论和讨论部分指出，MIFAPS 在外部和前瞻性测试中表现优异，优于单模态模型，这表明多模态深度学习在乳腺癌早期 pCR 预测中具有重要价值。高深度学习评分与免疫反应上调和肿瘤微环境中抗肿瘤细胞的促进有关，为预测 pCR 提供了生物学依据。然而，该研究也存在一些局限性，如样本量可进一步扩大，模型基于单中心数据开发，MRI 模型仅用特定阶段训练，WSI 模型使用单尺度图像，RNA 测序可能丢失基因表达异质性信息等。尽管如此，这项研究开发的 AI 模型为局部晚期乳腺癌患者的个性化治疗提供了潜在的应用方向。未来，通过扩大样本量、改进模型融合方法等，有望进一步提高模型性能和泛化能力，推动乳腺癌精准治疗的发展 。
