CaPaMoE:一种用于预测乳腺癌新辅助化疗反应的临床感知病理混合专家框架

《Journal of Visual Communication and Image Representation》:CaPaMoE: A clinical-aware pathology mixture-of-experts framework for predicting Neoadjuvant chemotherapy response in breast cancer

【字体: 大 中 小 】 时间:2026年09月21日 来源:Journal of Visual Communication and Image Representation 2.8

编辑推荐:

   •CaPaMoE整合了全切片图像和临床变量。•双基础模型改善了病理特征表示。•临床感知的混合专家模块实现了自适应多模态特征融合。•CaPaMoE在两个临床队列中提高了病理完全缓解的预测效果。•消融实验验证了临床引导和专家路由的有效性。引言新辅助化疗已成为局部晚期或高风险早期乳

  
  • •
    CaPaMoE整合了全切片图像和临床变量。
  • •
    双基础模型改善了病理特征表示。
  • •
    临床感知的混合专家模块实现了自适应多模态特征融合。
  • •
    CaPaMoE在两个临床队列中提高了病理完全缓解的预测效果。
  • •
    消融实验验证了临床引导和专家路由的有效性。

引言

新辅助化疗已成为局部晚期或高风险早期乳腺癌患者的标准治疗组成部分。通过在手术前给予全身治疗,新辅助化疗可以降低原发肿瘤分期、增加保乳手术的可能性,并提供体内化学敏感性评估 [1]、[2]、[3]、[4]。病理完全缓解通常定义为手术时乳腺和腋窝淋巴结中无残存浸润性癌,已与多种乳腺癌亚型的长期预后改善相关 [5]、[6]、[7]。然而,只有部分患者能达到病理完全缓解,对新辅助化疗无应答者进行过度治疗会使他们承受不必要的毒性并延误最佳局部治疗 [8]、[9]。因此,准确的治疗前病理完全缓解预测对于支持个体化治疗决策和基于风险的治疗策略设计至关重要。
在常规临床实践中,病理完全缓解的可能性主要根据临床病理学因素进行估计,如激素受体状态、HER2状态、增殖指数、临床分期和分子亚型。虽然基于这些变量构建的传统预后模型提供了一定程度的风险分层,但其预测性能往往有限,且无法完全捕捉反映肿瘤生物学和肿瘤微环境的复杂空间及形态学模式。与此同时,应用于数字病理全切片图像的深度学习方法已在多种任务中展现出强大能力,包括肿瘤检测、分级、亚型分类和生存预测 [10]、[11]、[12]、[13]、[14]。最近,大规模病理基础模型如Virchow2和UNI进一步提高了特征质量和跨数据集的可迁移性 [15]、[16]、[17]。然而,现有的大多数基于全切片图像的新辅助化疗疗效预测方法依赖于单一特征提取器,且将临床病理变量视为可选协变量或完全忽略。
从建模角度来看,仍存在两个重要挑战。首先,治疗前的全切片图像在患者间、分子亚型间和中心间可能表现出显著异质性,不存在单一"最佳"表示能普遍占优 [18]。不同的病理基础模型可能捕捉到互补的视觉线索,而这些表示的最优组合可能因人而异。其次,临床变量——如ER、PR、HER2和Ki-67——编码了高层生物学背景信息,可指导哪些视觉模式对预测治疗反应最为相关,但它们很少被用于显式调节图像衍生特征的融合方式 [19]。近期的研究也探索了将病理图像与放射学、蛋白质组学、转录组学或临床信息相结合以预测治疗反应及其他临床相关任务 [20]、[21]、[22]。大多数多模态方法采用静态融合策略,例如特征拼接或简单的晚期融合,这些策略不会根据个体患者特征调整其整合方案 [10]、[11]、[12]、[13]。
为了解决上述局限性,我们提出了CaPaMoE——一种面向乳腺癌治疗前病理完全缓解预测的临床感知病理混合专家框架。该框架建立在基于注意力的多实例学习骨干网络之上,联合利用了来自两个病理基础模型(Virchow2和UNI)的全切片图像衍生特征以及常规临床病理学变量。框架的核心是一个模态级混合专家模块,由三个专家组成,分别专注于仅Virchow2、Virchow2+UNI和仅UNI表示。一个轻量级门控网络以全局全切片描述符和紧凑临床嵌入为条件,生成针对每张切片的专家混合权重。在训练过程中,我们采用Gumbel-Softmax退火方案,使门控分布从平滑的软分配逐步演变为更锐利的、接近离散的专家选择,从而在保持可微性的同时鼓励专家专业化。

各节摘要

基于全切片图像预测乳腺癌新辅助化疗疗效

几项近期研究探索了利用治疗前活检全切片图像预测乳腺癌新辅助化疗后的病理完全缓解。Li等人基于H&E染色的活检图像开发了一种深度学习病理完全缓解评分,并表明该图像衍生生物标志物在病理完全缓解预测方面优于传统临床病理学因素 [13]。Li等人进一步利用弱监督全切片图像分析扩展了这一工作,并证明结合全切片图像特征与临床变量可获得更好的判别能力

概述

我们提出了CaPaMoE——一种用于预测乳腺癌新辅助化疗病理完全缓解的临床感知病理混合专家框架。所提出的模型是一种混合多模态学习框架,整合了组织病理全切片图像和结构化临床病理学变量。全切片图像被切分为图像块,由两个病理基础模型Virchow2和UNI提取图像块级特征。每个特征流随后由基于注意力的多实例学习骨干网络处理,生成类别特定的切片级表示

数据集描述与评估细节

共从两个医学中心回顾性收集了1230例乳腺癌患者的1230张治疗前H&E全切片图像:烟台毓璜顶医院556例(2018-2022年)和辽宁省肿瘤医院674例(2018-2023年)。纳入标准为经组织病理学确诊为浸润性乳腺癌并接受标准新辅助化疗后手术的女性患者,病理缓解评估基于切除标本。对于每位患者,我们检索了其诊断信息

结论

在本研究中,我们提出了CaPaMoE——一种用于预测乳腺癌新辅助化疗病理完全缓解的临床感知病理混合专家框架。该框架建立在基于注意力的多实例学习骨干网络之上,通过模态级混合专家模块和具有Gumbel-Softmax退火的临床感知门控网络,将来自两个病理基础模型(Virchow2和UNI)的全切片图像衍生特征与常规临床病理学变量相结合,实现切片特异性且临床指导的异质信息融合

CRediT作者贡献声明

张卓: 撰写——审稿与编辑,撰写——初稿,可视化,验证,软件,方法论,正式分析,概念化。赵锋: 资源,方法论。张海诚: 撰写——审稿与编辑。褚同鹏: 撰写——审稿与编辑。张勇: 资源。余国华: 资源。王齐: 撰写——审稿与编辑。李西良: 资源,方法论。毛宁: 撰写——审稿与编辑,指导,资源,项目管理,数据整理,

利益冲突声明

作者声明不存在已知的可能影响本文报告的竞争性经济利益或个人关系。

致谢

毛宁部分受国家自然科学基金委员会(82371933, 82572188)、山东省自然科学基金(ZR2021MH120)、山东省优秀青年科学基金(ZR2024YQ075)和山东省泰山学者工程基金(tsqn202211378)资助。
Zhuo Zhang|Ruijun Tang|Feng Zhao|Haicheng Zhang|Tongpeng Chu|Yong Zhang|Guohua Yu|Qi Wang|Xiliang Li|Ning Mao
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号