《Neurocomputing》：Sample-centric adversarial masking for robust multimodal learning under missing modalities
编辑推荐：
多模态学习通过整合来自不同数据源的互补信息，在下游任务中取得了显著成功。然而，在现实环境中，由于硬件资源限制、异构数据采集条件和隐私法规，模态缺失频繁发生，这对鲁棒多模态学习构成了根本性挑战。现有研究通常采用模态中心（modality-centric, MC）
多模态学习通过整合来自不同数据源的互补信息，在下游任务中取得了显著成功。然而，在现实环境中，由于硬件资源限制、异构数据采集条件和隐私法规，模态缺失频繁发生，这对鲁棒多模态学习构成了根本性挑战。现有研究通常采用模态中心（modality-centric, MC）视角，即假设易损性主要由缺失模态的类型决定，这一视角忽视了样本间的异质性，并面临组合爆炸的可扩展性问题。为解决上述局限，研究人员提出了一种样本中心（sample-centric, SC）视角，该视角在单个样本层面识别缺失模态的易损性，并采用对抗训练（adversarial training）以高效探索指数级增长的缺失组合空间。基于此，研究人员提出了SAMA（Sample-Aware Masking with Adversarial training），一个将样本特定对抗掩码与知识蒸馏（knowledge distillation, KD）相结合的框架。SAMA的掩码生成器利用每个样本的表征和预测，生成样本特定的对抗掩码，而部署模块则在掩码输入下学习鲁棒性；教师模块则在完整输入下提供可靠的监督。通过在DVM、Pad-ufes-20和CREMA-D三个基准上的大量实验，SAMA在绝大多数条件下优于现有方法，并在所有三个基准上取得了最佳平均准确率，验证了样本中心掩码策略在鲁棒多模态学习中的有效性，尤其是在信息通道数量庞大的场景中。
多模态学习在融合多源异构数据方面具有显著优势，但现实场景中因硬件约束、采集条件差异、隐私限制等因素导致的模态缺失（missing modalities）问题严重威胁模型鲁棒性。现有研究多采用模态中心（modality-centric, MC）视角，认为易损性主要由缺失模态的组合类型决定，但这忽略了样本个体差异，且随着模态数增加，缺失组合呈指数增长，导致方法难以扩展。为此，研究人员提出样本中心（sample-centric, SC）视角，在个体样本层面识别易损缺失模式，并引入对抗训练高效探索缺失组合空间。研究人员提出了SAMA（Sample-Aware Masking with Adversarial training）框架，将样本感知对抗掩码与知识蒸馏（knowledge distillation, KD）相结合：教师模块从完整输入中提供稳定监督，掩码生成器依据每个样本的表征和预测生成针对性对抗掩码，部署模块则学习在掩码输入下保持鲁棒。理论上，研究人员证明SC目标等价于更严格的KL到贝叶斯分布鲁棒目标；实验中，SAMA在DVM、Pad-ufes-20、CREMA-D三个基准上均取得最佳平均准确率，并显著优于现有方法。该框架首次从样本层面解决了缺失模态鲁棒性问题，为高维模态场景提供了可扩展方案。
研究人员采用的关键技术方法包括：基于binary Concrete重参数化的可微掩码采样，结合直通估计器（straight-through estimator, STE）实现梯度传播；使用谱归一化或梯度惩罚稳定对抗训练；教师-学生蒸馏架构，教师提供融合嵌入和预测分布作为软标签；Beta先验正则化约束掩码边际丢弃概率，保持探索多样性；采用余弦退火课程策略逐步增加生成器使用频率，避免训练初期过扰动。实验涉及DVM（车辆分类，25维模态组合）、Pad-ufes-20（皮肤病变诊断，8:1:1划分，5折交叉验证）以及CREMA-D（视听情感识别）三个数据集。
结果方面，论文分为6小节。4.1节介绍数据集和实验设置：DVM和Pad-ufes-20将每个表格特征视为独立模态，分别产生2^26和2^42种缺失组合，CREMA-D为传统双模态设置。4.2节规定评估协议：对DVM和Pad-ufes-20按缺失率采样掩码，CREMA-D评估全部配置。4.3节主评估显示：DVM上SAMA平均准确率55.43%，较最佳对比方法DMRNet（48.39%）提升7个百分点；Pad-ufes-20上SAMA达63.31%，优于MMANet（60.40%）；CREMA-D上SAMA平均63.33%，超过DMRNet（61.63%）。4.4节样本级易损缺失评估中，SAMA在基于损失、置信度下降、预测熵和不一致四种脆弱性标准下均优于所有方法。4.5节消融研究证明掩码生成器贡献最大（去除后平均准确率下降关键点），分解实验表明样本条件与对抗搜索的交互是主要优势来源。4.6节效率分析显示SAMA训练时间3.98小时，低于多数MC方法，推理开销与基线持平。4.7节掩码生成器分析通过类内/类间一致性（分离分数DVM达0.34，Pad-ufes-20达0.28）、掩码-脆弱性对齐（成对一致性88.0%和71.4%，超过固定规则上限）以及样本特异性-鲁棒性关联（替换掩码比例越高，准确率单调下降）验证了样本条件掩码的有效性。
讨论部分总结认为，SAMA通过样本级对抗掩码主动发现并学习个体易损缺失模式，避免了枚举所有组合，在均匀分布缺失和样本特定缺失场景下均表现优越；与MC方法相比，其优势在高维表型模态场景中更为明显。消融分析强调掩码生成器的样本条件化是关键，单纯对抗搜索或单纯样本条件化均不足以取得最佳效果。研究结论为：SAMA首次从样本中心视角解决缺失模态鲁棒性，结合对抗掩码与知识蒸馏，使部署模型无需穷举指数级组合即可应对未知缺失模式，在三个基准上取得最佳平均性能，为大规模多模态系统的鲁棒学习提供了有效方向。局限性方面，SAMA依赖完整输入预训练教师，在完全监督稀缺的场景下优势减弱，未来可扩展至不完整训练设定。
