知识引导的多模态学习CLASP用于乳腺癌新辅助化疗病理完全缓解（pCR）与生存的可解释预测：多中心队列验证

《Laboratory Investigation》：Knowledge-guided Multimodal Learning for Interpretable Prediction of Pathological Complete Response and Survival in Breast Cancer

　　

目的：对新辅助化疗（NAC）的病理完全缓解（pCR）进行治疗前估计，可能支持乳腺癌风险分层及未来反应适应性临床研究。然而，现有深度学习方法常依赖“黑箱”视觉模式识别，存在可解释性差、数据依赖高以及在异质队列间泛化性有限等问题。研究人员在此提出CLASP（Clinical Language-Aligned Slide Pathology），一种知识驱动的多模态框架，将病理专家知识与视觉语言基础模型协同。
材料与方法：CLASP整合由CONCH编码的全切片图像（WSI）特征、患者特异性临床数据，以及由大语言模型（LLMs）集合生成的16个层次化病理文本先验。通过新型视觉语言特征聚合模块和多任务一致性约束，该模型将视觉生物标志物与语义概念对齐，以联合预测pCR和预后。
结果：在来自多个医疗中心的4个独立队列的1,486例患者中验证，CLASP取得较强判别性能，内部测试曲线下面积（AUC）为0.881，并在外部验证中保持稳健性（AUC为0.875和0.845），其AUC点估计高于所评估的11种基线方法。值得注意的是，CLASP还显示改善的数据效率，在少至8个训练样本（少样本学习）时达到有竞争力的性能。可解释性分析提示，模型高亮区域与公认的、与治疗反应相关的病理特征一致，例如肿瘤浸润淋巴细胞（TILs）和间质结构。
结论：这些发现提示，病理信息引导的多模态学习可能为治疗前风险分层提供候选框架。

研究背景：乳腺癌仍是全球女性最常见恶性肿瘤和癌症相关死亡的主要原因。新辅助化疗（NAC）已成为局部晚期和高危早期乳腺癌的标准治疗，旨在降期并促进保乳手术。病理完全缓解（pCR）定义为乳腺和腋窝淋巴结无残留浸润癌，是NAC反应的临床相关指标，与良好长期结局相关，但其预后相关性因分子亚型而异。NAC反应高度异质，约40%–70%患者未达pCR，并可能承受无治疗获益的不必要毒性。因此，从诊断活检材料进行治疗前pCR概率和预后估计，可能提供临床相关风险分层。计算病理学已推动全切片图像（WSI）分析；深度学习方法，尤其多实例学习（MIL），可直接从苏木精-伊红（H&E）染色切片预测治疗反应。但现有方法存在两大局限：多数模型为数据驱动黑箱，仅依赖像素视觉模式，忽略病理学教材中结构化医学知识，导致数据效率低、跨中心泛化差；临床病理评估本身多模态，整合显微发现与临床背景，但许多人工智能（AI）模型未充分整合视觉特征与临床表格数据，限制预测上限。视觉语言模型如CLIP、COCA及病理专用CONCH提供范式转变，但仅应用预训练编码器不足，关键挑战在于如何主动注入专家级领域知识。大语言模型（LLM）拥有医学知识，可生成文本先验，指导视觉模型关注生物学相关区域。研究人员提出CLASP，一种知识驱动、多模态深度学习系统，用于统一pCR预测和生存分析。CLASP整合三路信息：CONCH编码的高分辨率WSI特征；LLM生成病理先验，由四个先进LLM作为“虚拟专家组”整理16个层次形态描述；患者临床表格数据。通过视觉语言特征聚合和TaskRes适配器，将视觉块与文本先验对齐；采用多任务学习策略与一致性约束，强化短期反应与长期预后的逻辑一致性。中心目标是研究整理后的病理文本先验与活检WSI特征及常规临床变量对齐后，能否在多中心异质队列中改善可解释和数据高效风险预测。假设为：纳入病理信息语义先验有助于桥接低层视觉特征与临床有意义的形态概念，提高模型可解释性和跨队列可移植性。

关键技术方法：多中心回顾性队列来自West China Hospital, Sichuan University（SCUWCH；2011-04至2023-11）、The First Affiliated Hospital of Sun Yat-sen University（FAHSYU；2020-02至2023-12）、Shanxi Province Cancer Hospital（SPCH；2015-02至2024-08）和Shengjing Hospital of China Medical University（SHCMU；2018-01至2023-08）。CLASP以CONCH编码治疗前活检WSI特征，整合患者临床变量和由ChatGPT-5.2、Claude sonnet 4.5、Gemini 3与Qwen max生成并人工筛选的16个层次病理文本先验；采用视觉语言特征聚合、TaskRes适配器和多任务一致性约束，联合预测pCR与生存。评估AUC、C-index、校准和决策曲线等。

研究结果：
患者人口学与基线特征：共纳入1,486例接受NAC的女性浸润性乳腺癌患者。开发队列来自SCUWCH和FAHSYU（n=982），按7:1.5:1.5随机分为训练集687例、验证集147例、内部测试集148例；外部SPCH队列200例，外部SHCMU队列304例。外部测试集较训练集更早期：cT₁-T₂比例在SPCH为82.0%、SHCMU为93.1%，训练集为52.8%；SHCMU以cN₀为主（94.1%）；SPCH的Luminal A比例为66.5%，高于训练集44.8%。pCR率分别为训练集29.1%、内部测试集33.8%、SPCH 17.0%、SHCMU 36.2%。SPCH中位随访62.5个月、事件率15.0%；SHCMU和开发队列中位随访分别为36.5和约33个月。该异质性为泛化评价提供严格场景。

跨队列pCR预测的稳健性能：开发阶段训练集AUROC为0.936、AUPRC为0.883；验证集AUROC为0.913、AUPRC为0.783。内部测试集AUROC为0.881，SPCH外部验证为0.875，SHCMU外部验证为0.845。泛化性能显示外部队列中性能下降可忽略。精确率-召回率与类别平衡方面，AUPRC分别为内部0.769、SPCH 0.815、SHCMU 0.789；内部测试集正确识别96.0%的pCR患者，SPCH和SHCMU分别正确分类76.5%和75.5%的pCR病例，非pCR特异性分别为89.8%和89.2%。固定分类阈值为0.282，概率分布呈明显分离。

预后价值与任务一致性分析：总体队列中，pCR患者死亡12/431（2.8%），非pCR患者死亡78/1055（7.4%）；Kaplan-Meier分析显示pCR患者总生存更好（log-rank P=0.013）。但该关联在不同队列和分子亚型间变化：pCR患者死亡率在SCUWCH为0.9%、SHCMU为1.8%、FAHSYU为1.7%、SPCH为20.6%；Luminal A为4.6%、Luminal B为1.5%、HER2-enriched为0.0%、三阴性乳腺癌（TNBC）为7.1%。配对不一致分析显示总体不一致率为30.7%。因此，多任务一致性约束被解释为软正则化，而非确定性规则。生存预测C-index：发现集0.958、验证集0.940、内部测试集0.766、SPCH 0.756、SHCMU 0.768。按预测pCR状态分层，预测pCR患者总生存更好：内部测试集P=0.039，SPCH P=0.0022，SHCMU P=0.00036；训练集P<0.0001，验证集P=0.077。预测pCR概率与预测生存风险呈负相关：发现集?0.506、验证集?0.531、内部测试集?0.515、SPCH ?0.351、SHCMU ?0.206。校准方面，pCR预测Brier评分内部0.187、SPCH 0.139、SHCMU 0.212；校准截距接近零，校准斜率0.86、0.85、0.89，ECE为0.067、0.069、0.065；Hosmer-Lemeshow检验内部P=0.063、SPCH P=0.101，SHCMU P=0.041提示残余校准不良。生存预测整合Brier评分内部0.44、SPCH 0.23、SHCMU 0.38；D-cal内部P=0.053、SPCH P=0.045、SHCMU P=0.010；预测生存时间MAE分别为16.8、19.9、18.8个月。结论为CLASP在外部分布偏移下保留判别性能，但校准和生存分布可移植性并不完美。

文本先验与多任务一致性约束的消融分析：在验证集中，无文本先验模型C-index为0.8039、pCR AUC为0.8735；使用未筛选LLM候选先验C-index为0.8788、AUC为0.8393；专家筛选后的16个病理先验达到最佳C-index 0.9400、AUC 0.9130。多任务分析中，仅生存训练C-index为0.861；无一致性约束多任务训练C-index为0.870、pCR AUC为0.846；加入一致性约束且λ=0.5时C-index为0.940、AUC为0.913，预测生存风险与预测pCR概率的Spearman相关从?0.065变为?0.531。结论为筛选文本先验提供增量价值，一致性约束作为软正则改善pCR判别、生存预测和输出一致性平衡。

与最先进方法的基准比较及数据效率：比较11种方法，包括临床基线ClinicalOnly、传统MIL方法MeanPooling、MaxPooling、DSMIL、ABMIL、TransMIL、ILRA，以及视觉语言方法MIZero、ABMILPrompt、CoOp、OrdinalCLIP。CLASP在三个独立测试队列中pCR AUC和生存C-index点估计最高。内部测试集AUC为0.881，高于ILRA的0.799（P=0.092）和OrdinalCLIP的0.780；SPCH为0.875，高于ABMIL的0.745（P=0.041）；SHCMU为0.845，高于ClinicalOnly的0.738（P=0.006）。C-index在内部、SPCH、SHCMU分别为0.766、0.756、0.768，高于OrdinalCLIP的内部0.622和SPCH 0.619。少样本1-shot至32-shot学习中，CLASP学习曲线更陡；仅8个训练样本即达到传统MIL方法32样本或全数据相当C-index；4-shot时AUC已超过0.50，而多数MIL接近随机；32-shot时超过若干基线全数据性能。ClinicalOnly的pCR AUC在内部、SPCH、SHCMU分别为0.790、0.742、0.738，CLASP对应为0.881、0.875、0.845，绝对差为0.091、0.133、0.107。决策曲线显示CLASP在SPCH阈值26%–82%、SHCMU阈值66%–94%比ClinicalOnly和默认策略净获益更高；70%阈值下净获益在SPCH为0.673、0.485、0.433，在SHCMU为0.346、0.188、?0.206；配对差为0.188（95%CI 0.077–0.302）和0.159（95%CI 0.052–0.262）。优势不均，某些阈值ClinicalOnly更高，部分点估计置信区间含零。结论为CLASP点估计优于评估基线并具数据效率，但净获益依队列和阈值变化。

视觉语言基础模型的影响：比较CONCH与MUSK、PathGen-CLIP-L、Patho-CLIP-L、PLIP、QuiltNet-B32。CONCH在三个独立测试队列的七项指标中表现最稳健。内部测试集中，CONCH AUC为0.881、准确率0.878、敏感性0.960、PPV 0.750；第二名MUSK AUC为0.755、准确率0.750。SPCH中CONCH AUC为0.875，高于MUSK的0.782，C-index为0.756；SHCMU中CONCH AUC为0.845、C-index为0.768，优于PathGen-CLIP-L的AUC 0.729、C-index 0.677。QuiltNet-B32在SPCH敏感性0.853，但特异性0.482、PPV 0.252。CONCH保持敏感性与特异性平衡。结论为CONCH提供最有效的视觉语言对齐。

亚组性能分析：按年龄、绝经状态、cT、cN、分子亚型和Ki-67分层。SHCMU外部队列中，早期cT₁-T₂ AUROC为0.849，局部晚期cT₃-T₄为0.798；cN_0-2为0.845，cN₃为0.862。TNBC内部测试集AUROC为0.963、SPCH为0.879；HER2-enriched内部测试集为0.958、SPCH为1.00；Luminal A内部测试集为0.934、SHCMU为0.830。Ki-67高表达组在SHCMU为0.865，低表达组为0.817。生存C-index在多数亚组中稳健，内部测试集高危TNBC亚组C-index为0.708。结论为跨临床异质亚组保持预测能力。

可解释性与可视化：采用Shapley加法解释（SHAP）和CellViT++细胞分割，并由乳腺病理医生复核。对正确预测pCR者，模型关注抗肿瘤免疫和有利微环境特征，如血管周围免疫套、基质TILs、高瘤内TILs、浆细胞样炎症浸润、水肿/黏液样间质和高微血管密度。对正确预测非pCR者，模型关注免疫排斥和巨噬细胞样间质、中性粒细胞微脓肿样灶、出血/含铁血黄素信号、致密促结缔组织增生或胶原丰富间质。补充图谱覆盖16个病理先验。结论为模型高亮区域可与可识别H&E形态模式对应，支持病理信息引导的可解释性，但不建立因果机制。

讨论部分总结：计算病理学主要挑战为临床概念与图像特征之间的语义鸿沟。与数据驱动MIL方法如DSMIL、TransMIL相比，CLASP使用16个专家筛选、LLM生成的病理原型，TaskRes适配器和视觉语言特征聚合对齐视觉块与形态概念；消融支持筛选文本先验的贡献。少样本实验中，8个训练样本的C-index可与传统MIL方法32样本相当。外部队列在肿瘤分期和分子亚型构成上不同，CLASP仍保持AUROC高于0.84、C-index高于0.75。编码器比较支持CONCH较MUSK和PLIP等更平衡。与ClinicalOnly直接比较显示pCR AUC绝对增益0.091、0.133、0.107；两模型均使用年龄、绝经状态、cT、cN、分子亚型、Ki-67，ClinicalOnly未含WSI特征和病理文本先验。ER、PR、HER2未单独输入，组织学分级未纳入，因此该比较未涵盖全部常规可用预测因子。外部性能支持跨评估队列可移植性，但不证明独立于站点特异效应。SHAP可视化将预测与可识别病理模式联系，pCR相关区域包括TILs和血管周围免疫套，非pCR相关区域包括促结缔组织增生间质、免疫排斥和中性粒细胞微脓肿。pCR被选为主要预测终点，因其直接描述NAC病理反应，且在长期生存随访成熟前所有患者均可获得。pCR预后关联因分子亚型而异，不建立试验级生存替代。CLASP未直接评估复发预测，其治疗前pCR估计不替代手术病理评估。联合建模可能显示预测贡献，但验证集仅7例死亡，未证明增量临床获益。一致性约束为软正则化，鼓励pCR概率与生存风险的负相关，但不表示个体患者高pCR概率与高生存风险必然矛盾。预期用途为已选NAC的无特殊类型（NST）浸润性乳腺癌患者的研究性治疗前风险评估；不决定是否给予NAC或何种替代治疗。估计pCR概率当前不能改变治疗、常规反应评估或计划手术。校准对应用至关重要；训练来源Youden阈值0.282仅用于回顾性分类报告，不含临床行动获益与危害；特定阈值需在目标人群和治疗场景中验证。测试队列未用于再校准或临床阈值选择。决策曲线分析显示潜在效用，但优势因队列和阈值变化，部分置信区间含零。限制包括回顾性设计和患者均完成NAC与手术；图像输入仅限治疗前活检H&E；部分数据分层死亡数有限；外部队列概率与生存分布校准不完美；LLM生成并经专家筛选的先验可能遗漏罕见形态变异；H&E图像和常规临床变量不能捕获所有分子、空间和时间决定因素。

研究结论翻译：总之，CLASP代表计算病理学的重要进展，从数据饥渴型模式识别转向知识感知推理。通过协同视觉语言基础模型与临床见解，其提供可解释且数据高效的预测，可能支持乳腺癌治疗前风险分层。该框架可能通过识别较高反应概率患者和潜在较高残留风险特征患者来支持治疗前风险分层。未来需前瞻性研究确定CLASP引导的风险评估能否安全地指导新辅助治疗中的反应适应治疗策略。