《Journal of King Saud University Computer and Information Sciences》：Noise-adaptive cross-modal training with evidential deep learning-based uncertainty
编辑推荐：
成对噪声监督下的跨模态检索具有挑战性，因为不匹配的图像—文本对常被强制作为正对，扭曲共享嵌入空间并降低检索鲁棒性。研究人员提出噪声自适应跨模态训练（Noise-Adaptive Cross-Modal Training, NACM），一个将动态可靠性估计与差异
成对噪声监督下的跨模态检索具有挑战性，因为不匹配的图像—文本对常被强制作为正对，扭曲共享嵌入空间并降低检索鲁棒性。研究人员提出噪声自适应跨模态训练（Noise-Adaptive Cross-Modal Training, NACM），一个将动态可靠性估计与差异化优化相结合的统一框架。NACM通过融合全局损失统计与局部证据置信度（evidential confidence）改进样本划分，其中前者刻画损失空间中的可分性，后者度量模型支持的对应可信度。基于这种可靠性感知划分，NACM通过不确定性感知对齐优化相对干净对，而仅通过不确定性门控软结构正则化（uncertainty-gated soft structural regularization）利用噪声对。该设计避免无差别过滤和对不可靠标注的直接强化，使干净与噪声样本在训练中发挥互补作用。在Flickr30K、MS-COCO和CC152K上的实验表明，在合成和真实噪声对应下具有鲁棒且有竞争力的性能。额外消融研究和不确定性分布分析进一步验证主要组件的贡献，并说明估计不确定性如何转化为差异化优化强度。
研究背景与问题。跨模态检索旨在将视觉和文本输入对齐到共享嵌入空间（shared embedding space），实现图像到文本和文本到图像检索。实际图像—文本数据中，标注对常不完美，存在不匹配、弱对齐或语义损坏；在成对监督（pairwise supervision）下，每个标注对直接作为正对，噪声会使检索目标系统性偏置：损坏对被强化为正，语义相关但未标注实例被过度抑制为负，共享嵌入几何被扭曲，相似度估计和检索鲁棒性下降。现有方法多通过配对矫正、证据建模、重匹配或一致性正则化处理噪声，但常把噪声视为静态问题，而非随表示空间演化持续调整的学习过程；且保留的“干净”子集仍可能含弱对齐或部分可靠样本，等权处理会注入不稳定梯度。预测熵只能反映匹配分布弥散，不能说明模型是否有足够证据支持决策，因此需要区分不确定性来源，并让可靠性主导主对齐、不可靠监督慎重且差异化参与。
研究内容与结论意义。研究人员将成对噪声监督下的跨模态检索形式化为统一噪声自适应学习问题，提出噪声自适应跨模态训练（Noise-Adaptive Cross-Modal Training, NACM）框架，将动态可靠性估计与差异化优化结合：先估计训练对可靠性并动态划分为相对干净和噪声子集；干净分支以不确定性感知对齐为主；噪声分支不直接强化原始硬标注，而仅通过不确定性门控的软结构正则化利用。该设计避免无差别过滤和直接强化不可靠标注，使干净与噪声样本在训练中互补。实验表明在合成和真实噪声对应下具有鲁棒且有竞争力表现，消融和不确定性分布分析验证主要组件贡献并展示估计不确定性向差异化优化强度的转化，为鲁棒多模态检索提供可靠性估计与不确定性优化结合的方向。
关键技术方法概括（≤250字）：样本队列包括Flickr30K、MS-COCO和真实噪声CC152K。方法核心为：噪声感知动态样本划分（NDSP）按双向匹配损失经二成分Beta混合模型（BMM）得全局可靠性，并用Softplus相似度构造双向证据支持得局部证据置信度，等权融合后动态路由干净/噪声子集；不确定性感知干净对齐（UCA）融合预测熵与证据强度不确定性，以自适应温度调节对比目标，并加入特征空间对抗一致性项；受控噪声监督利用（CNU）用先进先出（FIFO）记忆队列中的干净锚点训练轻量代价网络，将代价转为软目标，以对称KL（SymKL）正则化并由噪声批平均不确定性门控。
研究结果。模拟噪声对应上的结果（Results on simulated noisy correspondences）：在Flickr30K和MS-COCO 1K的20%、40%、60%合成噪声下，NACM均取得最高总体rSum。Flickr30K 60%噪声时，图像到文本R@1较SCAN提高57.6个百分点，rSum超过NCR 22.1点；MS-COCO 1K上较SCAN和NCR的rSum增益分别为225.1和15.2点。与L2RM相比，Flickr30K三噪声率下rSum增益9.4—23.1点，MS-COCO为4.8—10.1点，且噪声率升高时优势扩大，说明高噪声下鲁棒性更强。
真实世界噪声对应上的结果（Results on real-world noisy correspondences）：在CC152K上NACM取得最高rSum 380.7，优于ReCon；图像到文本R@1为43.1%与ReCon持平，R@5和R@10为67.7%和77.9%；文本到图像R@5和R@10为68.9%和78.4%，高于ReCon，R@1为44.7%略低于ReCon的44.9%。同一部分还进行噪声比误设敏感性研究：真实40%噪声、假定30%/40%/50%时rSum分别为511.1/505.6/494.2，适度低估（40%到30%）提高5.5点，高估到50%降低11.4点，说明不需要假定比例精确匹配，但过度保守的干净子集配额可能丢弃有效监督。
MS-COCO 5K上的比较（Comparison on MS-COCO 5K）：在20%和50%噪声下NACM的rSum分别为437.7和434.6，均最高。20%噪声下略超ReCon（437.6），文本到图像R@1/R@5/R@10较ReCon提高4.1/2.0/0.8个百分点；相较CLIP-14和CLIP-32的rSum提高148.3和201.4点。50%噪声下rSum 434.6，较ReCon和CLIP-32高6.3和303.5点，文本到图像R@1/R@5/R@10较ReCon提高5.6/3.2/2.0点；rSum从20%到50%仅小幅下降，表明严重损坏下总体检索稳定。
跨骨干配置比较（Comparison across backbone configurations）：在冻结MobileCLIP2-S2骨干并仅优化模态特定残差适配器和代价网络的实现中，绝对检索分数在三个合成噪声率下更高；Flickr30K的rSum较原配置提高38.6/45.2/59.0点，MS-COCO提高9.3/11.7/17.2点。该比较用于记录配置敏感性及NACM对冻结MobileCLIP2-S2嵌入的适用性，不能将差异仅归因于NACM组件。该部分还比较可靠性和不确定性信号：基于证据的可靠性估计在训练中提供更强干净/噪声判别，证据不确定性比熵不确定性对两组分离更清晰，支持二者联合使用。
消融研究（Ablation study）：在Flickr30K 40%噪声下完整模型rSum 505.6；去除CNU降至504.0，去除UCA降至498.9，去除NDSP降至493.6，表明三者提供互补作用，其中在该留一组件协议下NDSP影响最大。作者还报告Flickr30K 20%噪声三个随机种子的rSum为513.2/510.9/514.6，均值512.9±1.9，表明结果跨随机初始化较稳定。
UCA的机制分析（Mechanistic analysis of UCA）：通过Flickr30K 40%噪声下熵不确定性和自适应温度的经验累积分布函数（empirical cumulative distribution function, ECDF）分析（真实干净/噪声标签仅用于事后分析，训练不可见），噪声对总体向更高熵不确定性，干净对更集中于低不确定性；熵不确定性曲线下面积（AUC）从Epoch 1的0.743升至Epoch 12的0.786并在Epoch 13为0.780，Kolmogorov–Smirnov（KS）统计量从0.358升至0.426后略降至0.416。自适应温度AUC为0.598/0.620/0.651，KS为0.146/0.178/0.226，噪声对平均温度更高、干净对更低，温度分离弱于熵不确定性。该分析说明估计不确定性被转化为差异化优化强度：高不确定性对获得更平滑对齐目标，低不确定性对获得更尖锐约束；作者强调这是事后检验，不能单独证明UCA带来显著准确率提升。
讨论部分总结：可靠性融合中，BMM概率反映损失分布全局可靠性结构，证据置信度提供局部样本特定可靠性；两者互补，等权融合被作为简单对称无参数默认规则，而非普适最优。消融仅在该特定留一组件协议下提供证据，不应解释为任意模块插入顺序或骨干配置下均单调提升。UCA机制分析只检验路径是否按预期工作，不能证明UCA单独显著提升检索准确率。骨干配置差异同时改变初始图像和文本表示，不能仅归因于NACM组件。噪声比敏感性呈不对称，过度估计损坏水平比适度低估更有害。总体，讨论强调可靠性估计与不确定性感知优化整合是鲁棒多模态检索的有前景方向。
研究结论翻译：研究人员提出NACM，一个用于成对噪声监督下跨模态检索的统一噪声自适应框架。通过动态估计样本可靠性，NACM通过三个协同组件——动态样本划分、不确定性感知干净对齐和受控噪声监督利用——为干净对和噪声对分配不同优化角色。该设计强化可信监督，同时降低不可靠标注的负面影响。噪声检索基准上的实验结果展示了鲁棒且有竞争力的性能，进一步消融分析验证了各组件有效性。总体而言，该工作表明，将可靠性估计与不确定性感知优化相结合是鲁棒多模态检索的一个有前景方向。
