基于非对称模拟增强流重建的多模态缺失学习框架及其在医疗诊断与自动驾驶中的应用

本文提出非对称模拟增强流重建（ASE-FR）框架，通过分布一致流重建（DCFR）模块解决多模态数据缺失时的分布对齐问题，结合非对称模拟训练增强模型鲁棒性，并采用模态共享知识蒸馏（MSKD）策略实现跨模态知识迁移。该框架在医疗影像-电子病历融合诊断、自动驾驶多传感器集成等场景展现显著优势，实验表明其在AVMNIST等数据集上准确率最高达94.71%。

　　

Highlight

非完整多模态学习面临重建数据分布失配、非对称跨模态结构和知识共享不足等挑战。本文提出ASE-FR框架三大创新：

分布一致流重建模块（DCFR）

利用可逆归一化流（normalizing flow）将可用模态特征映射到共享潜空间，通过逆向流生成缺失模态的伪特征。例如在图文任务中，模型能从文本特征生成符合真实图像分布的表示，避免下游任务因分布差异导致的性能下降。

非对称模拟训练

通过随机掩码和扰动特征（如模拟传感器失效或雾天LiDAR信号衰减），使模型适应现实场景中的非对称缺失。这种"主动破坏式"训练显著提升了自动驾驶系统在极端天气下的决策稳定性。

模态共享知识蒸馏（MSKD）

教师模型（完整模态）通过对比学习向学生模型（缺失模态）迁移跨模态共享知识。例如在情绪识别中，学生模型能仅凭语音推断与面部表情相关的情绪状态（如"愤怒"或"愉悦"），实现知识互补。

实验验证

在医疗多模态数据集（如包含T1/T2加权MRI序列的临床数据）和CMU-MOSI情感分析数据中，ASE-FR的误差率低至1.1376，显著优于传统生成对抗网络（GAN）和变分自编码器（VAE）方法。

讨论

临床MRI常缺失部分扫描序列（如FLAIR或MP-RAGE），ASE-FR通过流重建保持组织特征一致性；在智能制造中，即使振动传感器失效，模型仍能通过温度-声音模态相关性进行故障诊断。

Conclusion

ASE-FR为医疗跨模态诊断（如电子病历-影像融合）、自动驾驶多传感器系统提供了缺失数据补偿的新范式，其分布对齐机制和知识蒸馏策略可扩展至穿戴设备健康监测等场景。