多模态生存预测中的模态失衡问题：机制解析与平衡学习策略BMLSurv的创新突破

本文揭示了多模态生存预测中基因组学与病理学数据间存在的模态能力差距(ICG)扩大现象，通过理论分析首次阐明病理学模态因梯度传播受限导致的"学习失衡"机制。作者提出BMLSurv创新框架，整合自增强学习(SEL)和同伴辅助学习(PAL)策略，通过实时失衡度量(IM)和风险排序蒸馏技术，显著提升病理学模态贡献，在TCGA数据集上实现生存预测性能突破。

　　

Highlight

• 发现联合生存建模中模态能力差距(ICG)扩大的新现象，通过理论分析揭示病理学模态因梯度传播受限导致的学习失衡问题

• 提出创新性平衡多模态学习框架BMLSurv，集成自增强学习(SEL)和同伴辅助学习(PAL)策略

• SEL策略利用实时失衡度量(IM)动态增强病理学特异性梯度传播

• PAL策略通过新型风险排序蒸馏技术，使强基因组学模态辅助弱病理学模态学习

• 在TCGA数据集上验证BMLSurv显著缩小ICG，性能超越现有最优方法

Methodology

本研究首先通过理论建模分析多模态生存预测中的梯度传播过程，发现病理学模态的贡献度衰减源于反向传播时梯度被基因组学模态"主导"。基于此，BMLSurv框架设计双重策略：SEL模块构建动态权重调节器，根据实时计算的IM值对病理学特征施加任务感知监督；PAL模块创新性地将基因组学模态输出的风险排序作为"知识锚点"，通过KL散度优化实现跨模态知识迁移。

Datasets and preprocessing

实验采用TCGA三大癌症数据集(BRCA/LGG/LUSC)，病理图像经40倍镜检后提取组织区域特征，基因组数据通过FPKM标准化和PCA降维。为确保可比性，所有模态数据均进行生存时间分段对齐处理，最终构建包含临床随访信息的标准化多模态数据集。

Conclusion

本研究首次系统阐释多模态生存预测中的模态失衡现象及其形成机制，提出的BMLSurv框架通过仿生学习策略实现双模态协同优化。特别值得注意的是，风险排序蒸馏技术为跨模态知识迁移提供了新范式，该技术路线可拓展至其他医学多模态学习场景。