《Frontiers in Human Neuroscience》：Prediction of hormone receptor status in breast cancer brain metastases using an MRI-based multimodal deep learning framework
编辑推荐：
摘要：乳腺癌脑转移瘤（Breast Cancer Brain Metastases, BCBMs）影响10–20%的转移性乳腺癌患者，准确判定激素受体（Hormone Receptor, HR）状态对个体化治疗至关重要。传统基于活检的评估具有侵入性且可能无法反
摘要：乳腺癌脑转移瘤（Breast Cancer Brain Metastases, BCBMs）影响10–20%的转移性乳腺癌患者，准确判定激素受体（Hormone Receptor, HR）状态对个体化治疗至关重要。传统基于活检的评估具有侵入性且可能无法反映多发转移灶的分子异质性。研究人员开发了一种新型多模态深度学习（Deep Learning, DL）框架，利用TCIA（The Cancer Imaging Archive）中BCBM-RadioGenomics数据集（165例患者268项MRI检查、专家验证肿瘤分割、107个PyRadiomics提取的放射组学特征及临床HR状态），整合三种互补信息：(1)由3D ResNet从肿瘤感兴趣区（Region of Interest, ROI）提取的3D DL特征；(2)放射组学特征；(3)通过大脑半球及脑区独热编码表示的解剖位置编码（Anatomical Position Encoding），采用硬参数共享（Hard Parameter Sharing）的多任务协同学习框架同时预测雌激素受体（Estrogen Receptor, ER）、孕激素受体（Progesterone Receptor, PR）及人表皮生长因子受体2（Human Epidermal Growth Factor Receptor 2, HER2）状态，并使用加权损失函数处理类别不平衡。所提模型对HER2、ER、PR预测的受试者工作特征曲线下面积（Receiver Operating Characteristic–Area Under the Curve, ROC?AUC）分别为0.8763±0.0393、0.8621±0.0304、0.8993±0.0192，优于传统机器学习基线；多任务学习尤其改善了具有挑战性的PR预测，三模态融合持续优于单模态方法。研究表明利用多模态DL方法进行BCBMs无创分子分型具可行性与临床潜力，可减少侵袭性活检需求并实现更准确的脑转移分子表征。
论文解读：《基于MRI多模态深度学习框架预测乳腺癌脑转移瘤激素受体状态》
一、研究背景与立题依据
乳腺癌是全球女性最常见的恶性肿瘤，其中10–20%的晚期患者发生乳腺癌脑转移（Breast Cancer Brain Metastases, BCBMs），预后极差。激素受体包括雌激素受体（Estrogen Receptor, ER）、孕激素受体（Progesterone Receptor, PR）及人表皮生长因子受体2（Human Epidermal Growth Factor Receptor 2, HER2），其状态决定内分泌治疗及靶向治疗决策。原发灶与脑转移灶间可因克隆演化产生分子异质性，故直接获取脑转移灶HR状态尤为重要。传统评估依赖脑转移灶穿刺活检，具侵入性、有操作风险且难以反映多灶间的空间异质性。近年放射组学（Radiomics，从医学影像中提取高通量定量特征）与深度学习（Deep Learning, DL）为肿瘤无创分子分型提供了可能，但现有方法存在三方面局限：(1)仅用DL特征或放射组学单一模态，未充分利用互补信息且忽略解剖位置信息；(2)将ER、PR、HER2作为独立任务分别训练，忽视其生物学相关性及知识迁移机会；(3)未将肿瘤解剖位置（可反映分子亚型偏好性转移模式）纳入模型。为此，研究人员利用公开数据集BCBM-RadioGenomics，构建并验证一种整合三维DL特征、放射组学特征及解剖位置编码的三模态多任务深度学习框架，以实现BCBMs的HR状态无创预测。该论文发表于Frontiers in Human Neuroscience。
二、主要关键技术方法概述
研究人员采用TCIA中BCBM-RadioGenomics数据集（217例患者对应2568个病灶，T1加权增强MRI、专家标注肿瘤分割、预计算107维放射组学特征及患者级HR状态）。以病灶为训练单元，按患者分组行5折交叉验证防止数据泄漏。构建三模态互补融合架构：①3D ResNet?18从64×64×64肿瘤ROI提取256维深度特征；②107维放射组经过全连接层降维至64维；③大脑半球（左/右）与脑区（额/颞/顶/枕/小脑/脑干）编码为10维独热向量并经嵌入层映射为32维位置编码；三者拼接为352维融合特征。采用硬参数共享（Hard Parameter Sharing）多任务学习框架，共享特征提取器后接三个任务专属输出头分别预测ER、PR、HER2，总损失为各任务二分类交叉熵之和且PR损失权重λPR=2.0以缓解类别不平衡（病灶级PR阳性率18.1%）。训练使用AdamW优化器、余弦退火学习率、早停法，ROI图像施以旋转/翻转/缩放/弹性形变数据增强。评估指标含ROC?AUC、PR?AUC（Precision?Recall Curve下面积）、准确率及F1值（阈值由Youden's J统计量确定），患者级推断采用病灶预测概率均值聚合。
三、研究结果
4.1 Baseline models（基线模型）
研究人员设置随机森林（Radiomics only）、XGBoost、LightGBM、SVM及单独3D CNN、双模态融合（3D CNN+Radiomics）等基线，统用患者级5折交叉验证比较。
4.2 Ablation studies（消融实验）
①单模态及模态组合贡献：3D CNN单独表现最佳（HER2 ROC?AUC=0.8421），放射组学单独次之（0.8277），位置编码单独近随机（≈0.52）；双模态CNN+放射组学（0.8598）显著优于单模态；加入位置编码的全三模态模型达最高（HER2: 0.8763±0.0393；ER: 0.8621±0.0304；PR: 0.8993±0.0192），证实三模态互补。②多任务vs单任务：多任务学习全面优于分头训练，PR任务提升最明显（ROC?AUC从0.8634升至0.8993），验证共享表示助数据丰富任务向数据匮乏任务迁移。③损失加权影响：PR损失权重λPR=2.0时PR预测最优（ROC?AUC=0.8993），较等权（λ=1.0）提升0.0281；过大权重致性能下降。
4.3 Comparative experiments（对比实验）
①与传统机器学习基线比：所提模型HER2/ER/PR的ROC?AUC分别超最佳ML基线（LightGBM）0.0486、0.0329、0.0658。②与单/双模态DL比：三模态融合均优于3D CNN only及CNN+放射组学双模态。③患者级推断：病灶概率均值聚合后患者级ROC?AUC为HER2 0.7099、ER 0.6468、PR 0.7047，四种聚合策略无显著差异，均值法综合最优。④病灶数目混淆分析：ER/HER2阳性者平均病灶数略多（Spearman r=0.179/0.144, p<0.05），PR无关联；调整病灶数后模型预测仍独立显著（PR p<0.001, OR=15.41；HER2 p<0.001, OR=7.33），表明预测源于局部影像特征非病灶计数。
4.4 Feature visualization and interpretability（特征可视化与可解释性）
Grad?CAM显示模型关注肿瘤实质区：HER2阳性倾向于不规则边缘及不均匀强化区，ER阳性偏向均匀强化及边界清楚区，PR阳性激活肿瘤内特定亚区。置换重要性分析表明3D DL特征对HER2/ER贡献最大（ROC?AUC降幅0.0198/0.0245），放射组学特征对PR最重要（降幅0.0234），位置编码贡献较小但稳定（降幅0.0067–0.0123）。探索性分析示HER2阳性稍趋颞叶分布（32.4% vs 24.7%, p=0.08）。
四、讨论与结论翻译
讨论指出该多模态DL框架通过三模态互补融合、多任务协同学习及解剖位置编码解决现存三大局限，显著优于传统ML及单模态方法，尤其改善严重类别不平衡下PR预测。多任务硬参数共享实现相关知识迁移，适度损失加权（λPR=2.0）有效缓解不平衡。位置编码虽单独贡献有限，并入后提供生物学空间信号。局限性含样本量偏小、原发灶HR可能作金标准引入偏差、病灶级组织引入采样偏差、位置–分子关联需大样本验证等；未来应外部多中心验证、纳入多参数MRI/PET、加不确定性量化及临床前瞻性试验。
结论（原文翻译浓缩）： 本研究证明利用整合3D DL特征、放射组学特征及解剖位置编码并通过多任务学习框架可从脑MRI无创预测BCBMs的ER、PR及HER2状态，所提框架解决了单模态信息不全、忽视激素受体生物学关联及解剖背景利用不足三大问题，显著优于基线方法，尤在PR预测通过加权损失及相关任务知识迁移获ROC?AUC达0.8993，为治疗规划及患者管理提供潜在无创替代或补充手段，减少侵袭性活检需求。
