基于多阶段双模态超声图像的深度学习模型BLTA-CNN在乳腺癌新辅助化疗早期疗效预测中的应用研究

本研究针对乳腺癌新辅助化疗(NAC)疗效早期预测的临床难题，创新性地提出融合双模态层间特征(BLFFM)和时序混合注意力(THAM)的卷积神经网络模型BLTA-CNN。通过整合灰度超声(GUS)与彩色多普勒血流成像(CDFI)在化疗前(pre-NAC)和首周期后(NAC1)的多阶段图像数据，模型实现了84.9%的预测准确率，较传统方法提升显著。该研究为临床个性化治疗方案调整提供了重要决策支持，成果发表于《BMC Medical Imaging》。

　　

乳腺癌作为威胁女性健康的头号恶性肿瘤，其治疗过程中新辅助化疗(NAC)的疗效预测一直是临床难点。传统病理检查虽为金标准，但存在创伤性和滞后性缺陷，而超声检查虽具无创优势，却受制于操作者依赖性及图像质量限制。更严峻的是，约10-35%患者对NAC无显著响应，既承受无效治疗的身心伤害，又错失最佳手术时机。这一临床困境呼唤能早期精准预测疗效的新方法。

上海交通大学医学院附属仁济医院的研究团队创新性地将深度学习技术与多阶段双模态超声图像相结合，开发出BLTA-CNN模型。该研究收集101例局部晚期乳腺癌患者化疗前后的3000组超声图像数据，通过独创的双模态层间特征融合模块(BLFFM)挖掘灰度超声(GUS)与彩色多普勒血流成像(CDFI)的互补信息，结合时序混合注意力模块(THAM)捕捉病灶动态变化特征。实验显示该模型准确率达88.53%，F1-score达81.67%，显著优于主流分类模型，相关成果发表于《BMC Medical Imaging》。

关键技术包括：1) 构建四分支网络处理pre-NAC和NAC1阶段的GUS/CDFI图像；2) BLFFM模块通过层间密集连接实现跨模态特征共享；3) THAM模块整合CBAM空间-通道注意力与时序注意力机制；4) 采用患者级五折交叉验证确保结果可靠性。

【研究结果】

1. 多模态数据验证：实验证实双模态数据(GUS_pre+CDFI_pre)预测效果优于单模态(准确率提升4.16%)，而多阶段数据(GUS_pre+1+CDFI_pre+1)组合达到最优指标。

2. 特征融合比较：BLFFM2通过边缘裁剪保持特征图分辨率，其准确率(83.93%)较常规Sum融合提升2.7%，证明层间融合策略的有效性。

3. 注意力机制优化：THAM模块在CBAM基础上引入时序注意力，使F1-score达81.67%，较基线提升7.69%，显著增强病灶动态特征捕捉能力。

4. 模型对比实验：BLTA-CNN在八类主流模型中全面领先，阴性预测值(NPV)达92.6%，意味着能可靠识别化疗敏感患者，避免过度治疗。

该研究首次实现基于多阶段双模态超声的NAC疗效早期预测，其创新性体现在三方面：临床层面，为治疗策略动态调整提供客观依据；技术层面，BLFFM和THAM模块为医学图像时序分析提供新范式；应用层面，模型部署后可减轻超声诊断对医师经验的依赖。未来研究可结合代谢组学数据进一步提升预测精度，而当前成果已为乳腺癌精准医疗带来突破性工具。