MCE框架：解决缺失模态不平衡下的多模态学习挑战与能力增强策略

本文提出模态能力增强（MCE）框架，针对多模态学习中缺失率不平衡（Imbalanced Missing Rates）引发的模型偏差与表征退化问题，创新性地融合学习能力增强（LCE）和表征能力增强（RCE）机制，通过动态梯度激励与跨模态补全任务提升模型鲁棒性与泛化能力，为多模态识别任务提供了通用且高效的解决方案。

　　

亮点（Highlights）

• 范式转变（Paradigm Shift）：我们将缺失率不平衡视为模式识别中的普遍挑战，而非特定领域问题，并追溯其根本原因为学习动态失衡与表征退化。

• 原理性量化（Principled Quantification）：引入基于Shapley值的模态贡献度量方法，结合新颖的效用函数与实用的性能边界，用于不平衡分析。

• 协同整合（Synergistic Integration）：提出MCE框架，统一动态学习激励（LCE）与表征增强（RCE），证明其整合对鲁棒多模态学习至关重要。

• 实证有效性（Empirical Effectiveness）：在多个模式识别任务中验证MCE，为未来研究建立强大且可推广的基线。

不平衡多模态学习（Imbalanced Multi-modal Learning）

多模态学习天然面临由模态异质性引发的公平性与不平衡挑战。模型易偏向更强或信息更丰富的模态，导致其他模态利用不足，整体性能下降。为缓解此问题，先前研究提出诸如原型对齐以强化较弱模态、自适应特征与模态加权策略，以及根据训练进度动态分配权重等技术。

问题表述（Problem Formulation）

我们考虑一个不完全多模态数据集D = {(X_n, E_n, Y_n)}^N_n=1。对于每个样本n，X_n = {x_n,m}^M_m=1包含最多M个模态，E_n = {E_n,m}^M_m=1是二元存在指示符，E_n,m ∈ {0,1}。Y_n表示任务特定真实值。

所有模态均缺失的样本（∑_mE_n,m = 0）被排除在训练与评估之外，因其不携带可观测信号。此标准做法避免引入不可学习噪声。在部署时处理此类情况（例如，通过群体先验）属于不同研究范畴。

数据集与预处理（Datasets and Pre-processing）

我们在四个公开多模态基准上评估MCE性能，每个涉及不同任务：城市场景分割（nuScenes）、3D脑肿瘤分割（BraTS2020）、情感识别（IEMOCAP）和数字识别（AudiovisionMNIST）。

nuScenes是一个供非商业使用的城市场景数据集。传感器套件包括6个摄像头（Cameras）、5个雷达（RADAR）单元和1个激光雷达（LiDAR）。摄像头布置以捕捉不同视角：前、前左、前右、后、后左、后右。

BraTS2020包含多模态MRI扫描：T1、T1对比增强（T1ce）、T2和FLAIR序列。任务是对神经胶质瘤的三个子区域进行分割：增强肿瘤（ET）、肿瘤核心（TC）和整个肿瘤（WT）。

IEMOCAP是一个多模态情感识别数据集，包含视频、音频和文本转录。我们遵循常见预处理，提取OpenFace特征、Mel频率倒谱系数（MFCC）和GloVe词嵌入。

AudiovisionMNIST是基于MNIST的合成数据集，配对手写数字图像与相应音频读数。

讨论：计算考量与实用权衡（Discussion: Computational Considerations and Practical Trade-offs）

Shapley值计算因其独特优势而被证明合理。与仅依赖缺失率或重要性度量的启发式方法不同，Shapley值考虑了单个模态贡献及其在不同联盟内的交互。这种全面方法能够更精确地分配学习资源，特别是对于否则可能被忽视的代表不足模态。然而，尽管有其优势，Shapley值引入了计算开销，因其需要对所有模态子集进行评估。我们通过蒙特卡罗采样与性能边界来缓解此问题，在可管理成本下保持高精度。

结论（Conclusion）

本文提出模态能力增强（MCE），一个解决不完全多模态学习中缺失率不平衡的原理性框架。核心创新在于紧密耦合的诊断-治疗循环：LCE通过双因子机制动态识别并激励表现不佳的模态，而RCE通过子集预测与辅助补全任务将这些激励转化为鲁棒、跨模态一致的特征。

该框架的通用性通过其在多个任务（分割、分类）与模态（视觉、音频、文本、传感器）上的有效性得到证明。未来工作将探索更高效的Shapley值近似与扩展到动态模态缺失。