《Intelligence-Based Medicine》：TransFusion-BCNet: A Transformer-Driven Multi-Modal Fusion and Explainable Deep Learning Framework for Breast Cancer Diagnosis
编辑推荐：
本研究针对乳腺癌诊断中单模态成像算法临床可靠性不足、多模态数据融合不充分及模型可解释性差等问题，提出了一种名为TransFusion-BCNet的Transformer驱动多模态融合与可解释深度学习框架。通过TriFusion-Transformer实现三层融合（模态内、模态间、决策级），结合FusionAttribution Map提供区域级和模态级可解释性，并利用MetaFusion Optimizer优化训练过程。在CBIS-DDSM、BUSI、TCGA-BRCA和RIDER Breast MRI数据集上达到99.4%的准确率，显著提升诊断精度与临床可信度，为AI辅助乳腺癌筛查提供了透明、稳健的决策支持工具。
乳腺癌是全球女性最常见的恶性肿瘤，早期准确诊断对提高治疗效果和降低死亡率至关重要。然而，现有的AI辅助诊断系统多依赖单一模态影像（如 mammography），忽略了超声、MRI及临床数据的互补价值，且传统融合方法难以捕捉多模态间的复杂关联。此外，大多数深度学习模型如同“黑箱”，缺乏可解释性，导致临床医生难以信任其决策依据。
为解决上述问题，研究人员在《Intelligence-Based Medicine》上发表了题为“TransFusion-BCNet: A Transformer-Driven Multi-Modal Fusion and Explainable Deep Learning Framework for Breast Cancer Diagnosis”的研究。该研究提出了一种集成Transformer架构的多模态融合框架，通过TriFusion-Transformer实现三层级特征融合，结合FusionAttribution Map提供双层级可解释性（区域显著性图和模态贡献度），并采用MetaFusion Optimizer动态优化训练过程。在CBIS-DDSM、BUSI、TCGA-BRCA和RIDER Breast MRI等多个公开数据集上的实验表明，TransFusion-BCNet在准确率（99.4%）、精确度（99.0%）、召回率（99.2%）和F1分数（99.1%）上均显著优于现有CNN-Transformer混合模型，为临床提供了一种高精度、可解释且稳健的乳腺癌诊断工具。
关键技术方法
研究采用多模态数据（ mammography、ultrasound、MRI、临床特征），通过预处理（强度归一化、patch采样、数据增强）和模态特异性编码器提取特征。TriFusion-Transformer通过自注意力机制实现模态内、模态间和决策级融合。FusionAttribution Map结合Grad-CAM和SHAP算法生成可解释性输出。MetaFusion Optimizer采用进化搜索与梯度微调相结合的混合优化策略提升模型泛化能力。所有实验基于NVIDIA RTX A6000 GPU完成，使用5折交叉验证确保结果稳健性。
研究结果
1. 模型性能对比
TransFusion-BCNet在四类数据集上均达到最优性能（CBIS-DDSM准确率99.4%，BUSI 97.9%），显著领先于VGG16（88.1%）、ResNet-50（94.2%）及ViT（96.5%）等基线模型。其AUC值均高于0.99，且训练收敛速度比传统优化器快50%。
2. 可解释性验证
FusionAttribution Map生成的显著性图与放射科医生标注的病灶区域高度重合（IoU=0.81），模态贡献度分析显示T1加权MRI对预测影响最大（35%），临床特征贡献占15%，符合临床先验知识。
3. 预后分析扩展
基于TCGA-BRCA数据的生存分析显示，高风险组患者中TP53突变频率达78%，且Wnt信号通路（NES=2.76）和Notch通路（NES=2.63）显著富集，提示这些分子特征与预后不良相关。
结论与讨论
TransFusion-BCNet通过多层次融合和可解释性设计，解决了多模态乳腺癌诊断中的异构数据整合与临床信任问题。其不仅提升了诊断精度，还通过FAMap模块使AI决策过程对医生透明。研究进一步拓展至预后分析，揭示了关键基因突变（如TP53）与信号通路（如PI3K/AKT）在乳腺癌进展中的作用。未来工作需在多中心前瞻性数据中验证泛化能力，并探索轻量化部署方案以适配资源受限场景。
