基于Transformer的多模态学习在乳腺癌筛查中的应用：融合影像与遗传数据的BI-RADS分类新范式

《Journal of Radiation Research and Applied Sciences》：Transformer-based multi-modal learning for breast cancer screening: Merging imaging and genetic data

本研究针对乳腺癌筛查中影像诊断主观性强、遗传信息利用不足的临床痛点，创新性地开发了融合乳腺X线影像组学、深度学习特征与RNA-Seq遗传标志物的多模态BI-RADS分类框架。通过Swin-UNETR/nnU-Net病灶分割、ResNet50/ViT特征提取及DNABERT基因分析，结合LASSO-XGBoost特征选择，最终实现96.17%的准确率和97.22%的AUC，为精准乳腺癌筛查提供了可解释的AI解决方案。

　　

乳腺癌作为全球女性癌症相关死亡的主要原因之一，早期准确诊断对改善预后至关重要。尽管乳腺X线摄影结合BI-RADS（Breast Imaging-Reporting and Data System）分类系统已成为筛查金标准，但传统方法面临三大挑战：放射科医师解读存在主观差异，特别是对BI-RADS 3-4类的中等风险病灶判断一致性低；单纯影像学方法对致密型乳腺或遗传高风险人群敏感性不足；现有AI模型多局限于单一模态数据，未能充分利用分子生物学信息。这些局限性促使研究者探索融合影像特征与遗传标志物的创新解决方案。

为突破这些技术瓶颈，研究人员开展了一项开创性研究，开发了首个整合乳腺X线影像组学、深度学习特征与RNA-Seq遗传数据的多任务学习框架。研究团队从五家医疗中心收集了4265例患者的乳腺X线图像（含1724例配套RNA-Seq数据），通过系统比较Swin-UNETR与nnU-Net的病灶分割性能，结合ResNet50/Vision Transformer（ViT）提取深度特征，并采用DNABERT解析基因表达谱。经过严格的ICC可靠性评估和LASSO/RFE/ANOVA特征选择，最终构建的多模态分类模型在外部测试集上达到96.17%的准确率和97.22%的AUC，显著优于单模态方法。这项发表于《Journal of Radiation Research and Applied Sciences》的研究，为乳腺癌精准筛查建立了新标准。

关键技术方法包括：1）多中心4265例乳腺X线图像数据集构建，按BI-RADS分类分层（1类853例，2类1066例等）；2）Swin-UNETR与nnU-Net的病灶自动分割对比；3）ResNet50/ViT深度特征与107维影像组学特征联合提取；4）DNABERT处理的RNA-Seq遗传特征分析；5）LASSO-XGBoost等多模态特征融合分类策略。

【2.1 数据集和预处理】研究采用五家医疗中心的4265例数字化乳腺X线图像，设备涵盖Hologic Selenia Dimensions等多型号，分辨率50-85μm。1724例配套RNA-Seq数据包含BRCA1/2等关键基因突变信息，患者平均年龄54.2岁，30%携带乳腺癌家族史。通过旋转、噪声添加等数据增强技术解决类别不平衡问题。

【2.2 病灶自动分割】Swin-UNETR以DSC 0.94显著优于nnU-Net的0.88，归因于其移位窗口机制能更好捕捉长程依赖关系。Hausdorff距离3.8mm的表现证实其对病灶边界的精确定位能力。

【3.3 特征可靠性评估】ICC分析筛选出稳定性>0.75的特征，最终保留45个影像组学特征（Swin-UNETR）和39个遗传特征，为后续分类提供可靠输入。

【3.5 BI-RADS分类性能】多模态融合展现绝对优势：LASSO-XGBoost组合在测试集达到96.17%准确率，其中BI-RADS 5类的识别精度高达97.3%。ViT端到端分类也取得92.68%的优异表现，证实Transformer架构在医学图像分析中的潜力。

【4.2 实际应用价值】该框架的临床意义体现在三方面：1）通过自动化分割和特征提取减少诊断变异；2）整合分子标志物实现个性化风险评估；3）Grad-CAM可视化提供可解释的决策依据。相比既往单模态研究如Zhang等（2021）96.4%的准确率，本研究通过多模态融合将AUC进一步提升至97.22%。

讨论部分强调，这是首个系统整合影像组学、深度学习和遗传数据的乳腺癌分类研究。创新性体现在：1）建立跨模态特征可靠性评估标准；2）验证Transformer架构在医学多模态学习中的优越性；3）为"影像+基因组学"的精准医学范式提供实证。局限性包括数据地理来源较集中和计算资源需求较高，未来将通过模型压缩和扩大样本多样性进行优化。

这项研究标志着乳腺癌筛查进入多模态智能诊断新时代，其方法论框架可扩展至其他癌症的早期检测。通过有机融合影像表型与分子特征，不仅提升了诊断准确性，更推动了肿瘤筛查从经验医学向循证医学的范式转变，为临床实践提供了切实可用的AI决策支持工具。