《Science Progress》：Explainable hybrid vision transformer-convolutional neural network with cross-attention fusion for multi-institutional breast cancer receptor status prediction from H&E histopathology images
编辑推荐：
人工智能（AI）融入数字病理学已彻底改变乳腺癌症诊断，为自动化和精细化分子分型提供了变革性机遇，而分子分型对精准肿瘤学至关重要。受体状态——雌激素受体（ER）、孕激素受体（PR）和人表皮生长因子受体2（HER2）——的准确判定仍然是指导个性化治疗规划和预后评估
人工智能（AI）融入数字病理学已彻底改变乳腺癌症诊断，为自动化和精细化分子分型提供了变革性机遇，而分子分型对精准肿瘤学至关重要。受体状态——雌激素受体（ER）、孕激素受体（PR）和人表皮生长因子受体2（HER2）——的准确判定仍然是指导个性化治疗规划和预后评估的关键。然而，传统免疫组织化学（IHC）和分子检测受到资源密集、周转时间长和观察者间变异性的限制，凸显了对可扩展计算替代方案的需求。本研究提出了一种新颖的集成AI驱动框架，可直接从苏木精-伊红（H&E）染色的组织病理学图像预测乳腺癌症受体谱。该框架采用混合视觉Transformer-卷积神经网络（ViT-CNN）架构，结合交叉注意力融合机制，以捕获全局上下文信息和细粒度局部特征。实验显示，ER、PR和HER2预测的AUC分别为0.967、0.952和0.941，相对于表现最佳的先前方法（DCS-ST）在相同协议下重新评估，相对提升分别为12.4%、9.8%和10.8%（绝对AUC差异为0.107、0.085和0.092）。此外，该框架能够自动将分子亚型分为Luminal A、Luminal B、HER2富集型和三阴性类别，宏平均F1分数为95.7%。在来自三个合作机构的2,847张外部全切片图像上进行了全面的多机构验证（不包括主要BINO医院测试集），在所代表的染色方案和扫描仪上表现出 consistent 性能（相对于内部测试集，平均AUC降低0.83个百分点）。集成的可解释性模块，包括注意力可视化和Grad-CAM，增强了可解释性，支持病理学家审查。在单机构回顾性工作流程审计中，AI辅助与估计72.7%的诊断周转时间减少相关（从常规平均72.4小时减少到19.8小时；第6.10节，其中约65%的AI辅助时间是不可逐项列出的排队和物流时间），并且在120张WSI的读者研究中，观察者间一致性更高（kappa 0.847至0.967）。这些临床影响估计是假设生成性的，需要前瞻性验证。研究结果将该框架定位为一种有前景的可解释AI辅助数字病理学方法，值得进行前瞻性多中心临床评估。
**研究背景**：人工智能（AI）已成为数字病理学的变革性工具，深度学习模型在乳腺癌症诊断任务中表现强劲。乳腺癌症的分子分型主要基于ER、PR和HER2三种关键生物标志物的表达，这些标志物是影响治疗选择的主要因素。传统受体状态检测方法主要为免疫组织化学（IHC）染色和荧光原位杂交（FISH），虽满足现有临床标准，但存在资源密集、周转时间长、观察者间变异性大和高成本等显著缺陷。近期研究表明，IHC判读在不同病理学家和病理设施之间差异可达20%，对治疗选择产生负面影响。AI在数字病理学中的兴起使自动化生物标志物评估成为新可能，直接从常规H&E染色切片预测受体状态的能力有望在资源有限环境中实现分子分型的可及性。纯CNN架构擅长捕获空间局部特征，但在建模长程依赖关系方面存在根本局限；基于Transformer的方法利用全局自注意力建模上下文关系，但需要大量预训练数据，且在没有架构修改的情况下在细粒度局部形态学线索上表现不佳。现有混合CNN-Transformer架构通常采用顺序或加性融合策略，无法实现分支间的双向特征级通信。这一差距直接推动了本工作提出的交叉注意力融合设计。
**研究开展与结论**：研究人员提出了一种新颖的集成AI驱动框架，采用混合ViT-CNN架构与交叉注意力融合机制，直接从H&E染色组织病理学图像预测乳腺癌症受体谱。实验显示ER、PR和HER2预测AUC分别为0.967、0.952和0.941，相对于最佳先前方法（DCS-ST）在相同协议下重新评估，相对提升分别为12.4%、9.8%和10.8%。框架能够自动将分子亚型分为Luminal A、Luminal B、HER2富集型和三阴性类别，宏平均F1分数为95.7%。在来自三个合作机构的2,847张外部全切片图像上进行多机构验证，表现出稳定性能（相对于内部测试集平均AUC降低0.83个百分点）。集成的可解释性模块增强了可解释性，支持病理学家审查。在单机构回顾性工作流程审计中，AI辅助与估计72.7%的诊断周转时间减少相关，在120张WSI读者研究中观察到更高的一致性（kappa 0.847至0.967）。这些临床影响估计是假设生成性的，需要前瞻性验证。研究结果将该框架定位为一种有前景的可解释AI辅助数字病理学方法，值得进行前瞻性多中心临床评估。重要意义在于：该框架是唯一结合混合ViT+CNN架构、全面多任务学习、先进交叉注意力机制、完整可解释性特征和广泛多中心验证的方法，为下一代AI驱动数字病理学建立了方法论基础，支持精准肿瘤学和全球分子分型的公平可及性。
**关键技术方法**：研究人员采用的主要关键技术方法包括：（1）多机构数据采集，主要数据来自巴基斯坦Bahawalpur的BINO医院（8,247张全切片图像，5,632例患者，2020年1月至2024年12月），外部验证数据来自三个合作机构（SKMH、AKUH、NIH Islamabad，共2,847张WSI）；（2）Macenko颜色归一化预处理流程，结合深度学习分割与传统图像处理的组织分割，多尺度重叠补丁提取（224×224、512×512、1024×1024像素，50%步长）；（3）动态尺度切换模块（DSSM），基于核密度（ND）阈值0.62自适应选择补丁尺度；（4）双分支特征提取：ViT分支采用PLIP-ViT-Base基础模型（约208,000图像-文本对预训练），前6个Transformer块冻结、后6个微调；CNN分支采用ResNet-50（ImageNet初始化，全微调），含空间注意力门和空洞卷积；（5）8头双向交叉注意力融合模块（d=1024），ViT查询关注CNN键值，CNN查询关注ViT键值；（6）多任务分类头（ER、PR、HER2及分子亚型），采用焦点损失（α=0.25，γ=2.0）和固定权重（wER=0.40，wPR=0.30，wHER2=0.30）；（7）贝叶斯不确定性量化通过蒙特卡洛dropout（30次前向传播，置信度阈值0.85）；（8）可解释性模块包括Grad-CAM、注意力可视化和概念激活向量（CAVs）；（9）统计验证采用DeLong检验、McNemar检验、Bonferroni校正和五折交叉验证。
**研究结果**：
**个体受体状态预测性能**：通过内部保留测试集（1,237张WSI，845例患者）评估，框架在ER、PR和HER2预测中分别达到AUC 0.967、0.952和0.941，准确率分别为94.8%、92.6%和91.3%，敏感性和特异性均衡，表明临床可靠性。
**分子亚型分类结果**：通过四类softmax分支评估，Luminal A、Luminal B、HER2富集型和三阴性的F1分数分别为96.5%、93.9%、95.2%和97.1%，宏平均F1为95.7%，三阴性乳腺癌表现最佳。混淆矩阵显示错误主要集中于Luminal A与Luminal B之间，为临床预期重叠。
**与先进方法比较分析**：与2023-2025年九种近期方法比较，仅DCS-ST在相同协议下重新运行。相对于重新评估的DCS-ST（ER AUC=0.860，PR AUC=0.867，HER2 AUC=0.849），提出方法相对提升12.4%、9.8%和10.8%（绝对差异0.107、0.085、0.092），DeLong检验经Bonferroni校正后均显著（HER2最不稳健，p=0.003）。计算效率分析显示每张WSI推理时间2.3秒，兼容近实时使用。可解释性特征区别于大多数竞争方法。
**消融研究**：通过多配置评估各组件贡献，CNN-only准确率87.6%，ViT-only 90.2%，无融合ViT+CNN 92.4%，完整混合ViT+CNN+交叉注意力融合达96.8%。DSSM自适应提取比固定224×224和1024×1024配置平均AUC分别高2.5和1.9个百分点。交叉注意力融合相比拼接+MLP（91.3%）、加性融合（90.6%）、门控融合（92.7%）、FiLM条件化（91.8%）和多阶段渐进融合（93.4%）表现最佳（96.8%），所有成对比较经Bonferroni校正后显著（p<0.001）。移除DSSM降低平均AUC 2.5个百分点，禁用多任务学习降低准确率2.3个百分点，替换可解释性模块不影响AUC但降低病理学家信心评分从9.2至7.6。
**多机构验证结果**：通过三个合作机构外部数据集（2,847张WSI）评估，ER AUC范围0.954-0.961，PR AUC范围0.943-0.948，HER2 AUC范围0.929-0.935，合并外部数据集加权平均AUC为0.958、0.945和0.932，相对于BINO医院测试集平均降低0.83个百分点。留一机构交叉验证（LOIO）平均AUC为0.960、0.946和0.932，与主要测试集结果相差在0.9个百分点以内，确认模型未过拟合机构特异性特征。
**公共基准评估**：在TCGA-BRCA（1,047张WSI）上ER、PR、HER2 AUC分别为0.951、0.937和0.924，相对于BINO测试集降低1.5-1.7个百分点；在BreaKHis（4类）上准确率93.7%，与近期先进结果相当，确认交叉注意力融合和PLIP预训练有效迁移至地理差异数据集。
**注意力可视化与可解释性分析**：通过注意力可视化和Grad-CAM分析，ER阳性病例关注分化良好的管状结构和均匀核形态，三阴性病例关注高级别特征包括淋巴细胞浸润和坏死区域，HER2阳性病例关注膜相关染色区域。两名委员会认证乳腺病理学家使用QuPath验证，平均Dice相似系数0.87±0.04，确认模型注意力与临床相关肿瘤区域强对齐。
**计算性能与效率分析**：通过计算性能评估，训练时间每WSI 45.2秒，推理2.3秒，GPU内存8.7GB（推理），模型参数127.4M（ViT：86.6M，CNN：25.4M，融合：15.4M），FLOPs 2.84×1011，吞吐量1,565.2 WSI/小时（推理），端到端约1,452 WSI/小时。
**临床影响评估**：通过单机构回顾性工作流程审计和120-WSI读者研究评估，周转时间从72.4小时降至19.8小时（降低72.7%），观察者间一致性从kappa 0.847升至0.967（提升14.2%），诊断信心从7.3升至9.2（提升26.0%），每例成本从287.50美元降至145.20美元（降低49.5%）。所有临床影响估计为假设生成性，需要前瞻性验证。
**错误分析与失败案例**：通过错误分析，HER2不确定（2+）病例占误分类约3.1%，高度坏死TNBC区域占2.4%，图像伪影占6.3%。贝叶斯不确定性模块标记87.5%低置信度预测供病理学家审查。
**统计验证与显著性检验**：通过与重新评估DCS-ST的DeLong配对检验，未调整p值ER<0.001、PR<0.001、HER2=0.003，Bonferroni校正后均显著（ER和PR<0.003，HER2=0.009）。效应量Cohen's d为1.84、1.67、1.52，统计功效0.97、0.94、0.91。McNemar检验p<0.001。
**校准分析**：通过Brier分数和期望校准误差（ECE）评估，ER Brier分数0.043、ECE 2.1%，PR Brier 0.057、ECE 2.8%，HER2 Brier 0.068、ECE 3.4%，最大校准误差（MCE）均低于7.2%，表明优秀概率校准。
**病理学家比较**：通过在360张WSI子集（每受体120张）上比较，AI框架在ER、PR、HER2准确率上分别超过平均病理学家5.4、5.9和8.0个百分点（94.8% vs 89.4%，92.6% vs 86.7%，91.3% vs 83.3%）。AI辅助条件下病理学家准确率进一步提升至96.1%、94.1%和93.4%，表明框架最佳定位为决策支持工具。
**亚组分析**：通过亚组分析，年龄亚组间AUC无显著差异（DeLong检验p=0.14、0.18、0.21），肿瘤分级对HER2 AUC有显著影响（ANOVA p=0.003），Grade 3最低（0.921）。浸润性导管癌与浸润性小叶癌间无显著差异（p>0.05）。种族数据未系统可用。
**讨论部分总结**：讨论部分分析了框架的性能与临床意义，指出相对于重新评估DCS-ST的AUC提升及临床影响估计的假设生成性质，强调72.7%周转减少和49.5%成本降低为单机构回顾性估计，约65%的AI辅助时间归因于物流而非AI处理。讨论了技术创新与方法学进展，包括混合ViT+CNN架构、28方程数学框架、Grad-CAM/注意力图/CAVs可解释性（Dice 0.87±0.04）。社会影响与可及性方面，内部数据表明约58%病例可避免不必要的确认性IHC/FISH检测。与先进方法比较显示本方法为唯一结合所有关键元素的方法。多机构验证确认鲁棒性（平均AUC差异0.83个百分点）。临床实施考虑中，读者研究诊断信心从7.3升至9.2。局限性包括：主要数据集来自单机构可能引入机构偏差；消融非完全析因；HER2改进最不稳健；八个其他基准方法未重新运行仅描述性比较；临床影响为单机构回顾性估计；前瞻性队列与档案病例混合非时间保留；所有四机构均位于巴基斯坦可能引入地理和人口偏差；仅关注H&E WSI相比多染色方法有限；未纳入预后相关性；纵向AI辅助病理学未探索。未来方向包括扩展至Ki-67和PD-L1等额外生物标志物、多模态基因组和放射数据整合、纵向预后模型开发。
**研究结论翻译**：本研究提出了一种新颖的可解释混合ViT-CNN框架，结合交叉注意力融合，用于从H&E组织病理学图像进行多机构乳腺癌症受体状态预测。该框架在ER、PR和HER2预测中分别达到AUC 0.967、0.952和0.941，分子亚型宏平均F1分数95.7%，相对于最佳重新评估先前方法（DCS-ST）在相同评估协议下相对提升12.4%、9.8%和10.8%（HER2改进最不稳健，p=0.003）。跨2,847张外部WSI的多机构验证表明在不同染色方案和扫描仪配置下具有稳健泛化能力，AUC降低0.83个百分点。基于单机构回顾性工作流程审计和120-WSI读者研究的临床影响评估提示估计72.7%的诊断周转时间减少、每例49.5%的成本降低和观察者间一致性改善（kappa 0.847至0.967）；这些假设生成性估计需要前瞻性验证。集成的可解释性模块经病理学家注释区域验证（Dice分数0.87±0.04），为临床采用和法规合规提供了必要的透明决策支持。框架的计算效率提示在资源受限环境中部署的可行性（每WSI 2.3秒，吞吐量1,565 WSI/小时）。未来研究方向包括扩展至额外生物标志物（包括用于增殖性Luminal A与Luminal B分层的Ki-67和用于三阴性乳腺癌免疫检查点抑制剂资格筛查的PD-L1）、多模态基因组和放射数据整合以及治疗反应纵向预后模型开发。提出的混合ViT-CNN架构和交叉注意力融合机制为下一代AI驱动数字病理学建立了方法论基础，支持精准肿瘤学和全球分子分型的公平可及性。
