举证责任：视觉-语言识别中非对称决策级融合的校准证据仲裁

《Information Fusion》：Burden of Proof: Calibrated Evidential Arbitration for Asymmetric Decision-Level Fusion in Vision–Language Recognition

　　

• •
  我们识别出了非对称且保持默认结果的融合方式，并通过实证表明盲目融合是有害的。
• •
  提出了"挽救–损害"评估框架。
• •
  引入了一种不训练任何神经网络的仲裁器。

引言

少样本识别要求模型仅从少量带标签示例中区分出新类别。预训练视觉-语言模型提供了一种现成的识别能力：类别描述将预训练知识与当前类别关联起来，而支持图像为它们提供了具体的视觉参考[1]。利用支持示例的自适应方法已证明了这种额外信息的价值，例如保留预训练分类分数并加上从带标签图像检索到的匹配分数[2]。此类信息为纠正原始预测中的错误提供了额外证据。然而，纠正预测意味着需要允许额外信息改变最终标签；即使在编码器冻结的情况下，它也可能影响已经正确的预测。因此，融合必须解决如何在不不必要地丢失现有正确决策的前提下利用互补信息的问题。

互补预测也可能源于对相同输入的不同使用方式。在我们的少样本设定中，默认结果和主要挑战者来自同一个冻结的视觉-语言模型（VLM），并使用相同的查询图像和支持图像。默认结果是一次性的类别预测，而挑战者则是通过比较和排序支持图像获得的；另一个VLM也可以提供挑战者。当默认结果错误而挑战者正确时，挑战者便具有价值，但这些纠正机会与挑战者自身的错误混杂在一起。决策是非对称的：保留默认结果是系统的基础选择，挑战者只有拥有足以证明切换合理的证据时才能替换它。因此，两个答案之间的每一次冲突都会引发同样的问题：什么才能证明替换一个已经给出的答案是合理的？

可靠性感知融合通过评估证据质量来处理不一致。可信多视图分类使用视图特定的证据和不确定性来组合预测[3]，而Huang等人则为每种模态学习类别依赖的可靠性[4]。这些机制降低了不可靠来源的影响，但一个来源仍然可能为错误的类别提供强有力的证据。如果该证据促使替换发生，原本正确的默认结果就会变成错误。困难之处在于来源支持度与切换后果之间：分数表明某个来源偏好哪个类别，但并不能确定采用该类别是纠正了还是破坏了当前答案。决定是否切换需要审视类似的支持在过往中是更多地纠正了默认错误（挽救）还是将正确的默认结果变成了错误（有害覆盖），而不仅仅是比较当前的置信度。图1(a,b)将这一选择在同一组冲突上进行可视化，按挑战者减去默认的文本和视觉边距绘制。它展示了采用所有挑战者以及基于原始边距进行门控所接受的挽救和有害覆盖分别是什么样的。

即使所选的切换总体上提高了准确率，仍然存在进一步的问题：为了获得这种收益，能够接受多少次有害覆盖？学习延迟机制为每个输入选择一个决策者以减少组合系统的预测损失[5]。该损失与整体准确率一样，反映了挽救和有害覆盖的净效应，并未分别报告为获得收益所需的有害覆盖次数。选择规则可以在提高整体准确率的同时仍然覆盖大量正确答案。这两种后果的权重也不同：拒绝一个挑战者可能错过一次挽救但保持原始结果不变，而接受一次有害覆盖则使系统变得比之前更差。因此，我们将保护现有正确预测作为与利用可用挽救相并列的独立接受条件。这将保持默认的融合转化为带有举证责任的仲裁：用于切换的证据必须对照过往的挽救和有害覆盖进行测试，且接受区域必须由被接受的切换中有害覆盖的比例（选中-损害率）来设定。

我们提出了校准证据仲裁（Calibrated Evidential Arbitration, CEA）以满足这一要求。CEA将来源对标签的支持度转化为切换的证据，并使用有害覆盖目标来选择接受哪些切换。冻结的CLIP文本对齐通道和DINOv3视觉支持通道分别对两个标签进行评分，产生挑战者减去默认的边距。一个边距表明某个通道偏好哪个答案；校准则审视这种支持的后果。在恰好有一个预测正确的发展集冲突上，每个通道将其边距映射到相应范围内挽救的比例。当挽救和有害覆盖几乎势均力敌时，该通道几乎没有理由偏向任何答案，因此CEA保留更多未决的质量。缺乏支持挑战者的理由由此与拥有支持默认结果的证据区分开来。在Dempster规则下，一个完全未决的通道不会改变另一个通道的证据，因此其不确定性不会被解读为反对，组合后的质量产生一个切换分数。CEA使用Clopper-Pearson（CP）上界对发展集的选中-损害率进行筛选，保留满足目标的最宽覆盖阈值，并在留出集冲突上进行评估；图1(c)展示了由此产生的接受区域的类型。只有当挑战者的切换分数达到该阈值时，挑战者才会替换默认结果；否则，保留默认结果。

我们的贡献如下：

• •
  冲突构成与切换收益。 我们使用挽救-损害分解来分别统计挽救、有害覆盖和仍然错误结果，其中仍然错误结果表示用一个错误标签替换另一个错误标签。分析表明冲突池的构成如何决定切换带来的收益：池中相对于挽救的有害覆盖越多，规则就必须越有选择性才能将纠正机会转化为净收益。选中-损害率、覆盖率和净收益则分别度量了损害、干预频率和收益。
• •
  面向切换结果的多通道证据仲裁校准。 我们引入CEA，它将文本和视觉支持度校准为关于{挑战者正确，默认正确}框架的证据，保留未决质量，使用Dempster规则组合证据，并根据有害覆盖目标选择接受阈值。识别器和证据编码器保持冻结；每个默认-挑战者设定只需从带标签的发展集冲突中拟合两个单调映射和一个标量阈值。
• •
  纠正收益与损害减少的实证验证。 我们在四个少样本基准上使用三个VLM默认结果进行评测。接受所有挑战者在18–46%的冲突中会覆盖正确的默认结果，并降低最强默认结果的准确率。在5%有害覆盖目标下进行CP筛选，CEA在InternVL3-8B上的平均留出选中-损害率为2.65%，在Qwen2.5-VL上为2.72%。在融合规则比较中，它将对直接采用挑战者的净收益分别从$+63.7$提升至$+117.6$个冲突和从$+118.3$提升至$+159.4$个冲突。在InternVL3默认结果下替换挑战者，重新校准后的留出选中-损害率为2.69%。

本文其余部分组织如下。第2节综述相关工作。第3节阐述保留或切换的决策并介绍CEA。第4节报告实验结果。第5节总结本文并讨论局限性。

章节摘要

基于视觉-语言模型的少样本识别

少样本识别要求模型从少量带标签示例中识别出新类别。预训练视觉-语言模型使这成为可能，因为它们可以仅从类别描述进行分类：CLIP将图像与诸如"a photo of a {class}"这样的文本提示进行匹配，无需任务特定训练[1]。其在多模态融合中的使用已被作为独立的研究领域进行综述[6]。自适应方法随后使用带标签示例来调整模型。CoOp替换手工制作的

校准证据仲裁

我们提出了校准证据仲裁（Calibrated Evidential Arbitration, CEA），这是一个辅助来源只有在满足经过校准的举证责任时才能推翻默认预测的框架。图2概述了该流程。首先，每个冻结的证据通道被校准为Dempster-Shafer质量函数（第3.2节）。然后Dempster规则组合各通道的质量，冲突质量K被记录为不一致诊断（第3.3节）。最后，接受阈值根据预先指定的

实验

我们在四个少样本识别基准上使用三个不同强度的默认识别器对CEA进行评估。实验首先量化盲目采用挑战者的代价，然后评估风险校准的仲裁，在相同的选中-损害率下比较融合规则，检验融合可行性条件，最后替换挑战者来源。我们还额外报告了计算成本。

结论

我们论证了，在强模型已经持有预测结果的保持默认结果领域中，决策级融合可以被有效地表述为仲裁：挑战者只有满足经过校准的举证责任才能替换默认结果。挽救-损害分解将纠正收益与有害覆盖区分开来，并使有害覆盖率成为一个主要控制量；按此度量，盲目融合通常有害，在18–46%的冲突中覆盖正确的答案

CRediT作者贡献声明

Guichao Zhou：撰写-审阅与编辑，撰写-初稿。Yuwu Lu：撰写-审阅与编辑，监督指导。

利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系可能影响本文所报告的工作。

Guichao Zhou|Yuwu Lu