基于超声与病理图像多模态融合策略的乳腺癌腋窝淋巴结转移预测模型构建

本研究创新性地将术前超声图像与H&E染色穿刺病理图像通过深度学习（DL）进行多模态融合，构建预测乳腺癌腋窝淋巴结转移（ALNM）的多层融合模型（AUC 0.7019）。通过对比PLNet（病理模型）和ULNet（超声模型）等单模态性能，证实融合策略可提升综合预测效能（准确率0.7353，召回率0.7576），为临床腋窝手术决策提供新型辅助工具。

　　

背景

乳腺癌（BC）全球女性发病率居首，腋窝淋巴结转移（ALNM）是影响预后的关键因素，单个淋巴结阳性可使死亡风险增加6%。现有评估手段如超声（准确率70-85%）和前哨淋巴结活检（SLNB）（>90%准确率）各有局限，亟需开发无创精准预测方法。

材料与方法

回顾性纳入211例经核心针活检（CNB）确诊的乳腺癌患者（2023.02-2024.03），采集每例患者的乳腺原发灶超声图像和H&E染色病理切片。通过标准化预处理（224×224像素归一化、随机裁剪增强）后，分别构建病理模型（PLNet/ViT）和超声模型（ULNet/ResNet50），并设计包括多层融合在内的5种跨模态整合策略。采用8:2划分训练集/测试集，在NVIDIA RTX 3090集群上以AdamW优化器（初始学习率0.001）进行模型训练。

结果

单模态模型中，PLNet在病理图像分析表现最优（AUC 0.7195），ULNet在超声图像召回率突出（0.7488）。多层融合模型综合性能最佳：准确率0.7353（vs 超声单模0.7186）、召回率0.7576（提升1.3%）、F1-score 0.7463。热图可视化显示模型重点关注超声图像的低回声区边界和病理切片中的癌巢浸润前沿（图5），与临床高风险特征高度吻合。值得注意的是，Ki-67≥14%和HER2阳性患者ALNM风险显著增高（P<0.05）。

讨论

该研究首次实现超声宏观特征与病理微观特征的深度耦合。虽然融合模型AUC（0.7019）未显著超越单模态，但其通过SE注意力机制和批量归一化（BN）层有效整合跨模态特征，在保持特异性（90.4%）的同时将召回率提升至75.8%，有望减少47.7%的超声假阴性漏诊。相较于Bove团队基于临床-影像组学的方案（AUC 0.886），本研究侧重原始图像级融合，为Z0011试验倡导的精准腋窝管理提供新思路。

局限性

样本量较小（n=211）可能影响模型泛化性，且回顾性设计存在选择偏倚。未来需通过前瞻性多中心研究验证，并尝试引入EfficientNetV2等新型架构优化特征提取。

结论

多模态融合策略为乳腺癌ALNM术前预测开辟了新途径，其平衡的性能指标（F1-score 0.7463）展现出临床转化潜力，有望辅助制定个体化腋窝手术方案，减少不必要的SLNB创伤。