在线教学：提取分解后的多模态知识以用于乳腺癌生物标志物预测

《IEEE Transactions on Medical Imaging》：Online Teaching: Distilling Decomposed Multimodal Knowledge for Breast Cancer Biomarker Prediction

基于基因组学和病理学多模态数据融合的GMKDN模型创新性地提出批样本多模态知识分解（BMKD）模块和在线相似性保持知识蒸馏（OSKD）模块，在TCGA-BRCA和QHSU测试集上显著优于现有方法。

　　

摘要：

免疫组化（IHC）生物标志物的预测从多模态数据融合中受益匪浅。然而，基因组数据和病理数据的同步获取常常受到成本或技术限制的制约。为了解决这一问题，我们提出了一种新型的基因组引导的多模态知识分解网络（GMKDN），该框架在训练过程中有效整合了基因组数据和病理数据，并在推理过程中动态适应可用数据。GMKDN引入了两项关键创新：（1）批量样本多模态知识分解（BMKD）模块，它将输入特征分解为特定于病理的、通用的多模态成分以及特定于基因组的成分，以减少冗余并提高知识的可转移性；（2）在线相似性保持知识蒸馏（OSKD）模块，该模块优化激活相似性矩阵，以促进教师模型和学生模型之间的稳健知识转移。BMKD模块提高了跨模态的泛化能力，而OSKD模块增强了模型的鲁棒性，特别是在某些模态在推理过程中不可用时。在TCGA-BRCA数据集和一个外部测试队列（QHSU）上进行的广泛评估表明，GMKDN的表现始终优于现有的最先进（SOTA）基于切片的多实例学习（MIL）方法以及其他多模态学习模型，为乳腺癌生物标志物预测树立了新的基准。我们的代码可在https://github.com/qiyuanzz/GMKDN获取。