基于模态支持候选集学习与可靠性自适应路由的鲁棒单输出多模态危机分类统一框架

《Journal of King Saud University Computer and Information Sciences》：CandidateFusion-MKAN: a unified framework for robust multimodal crisis classification across diverse supervision and evidence conditions

　　

多模态危机分类在真实应急场景中面临不确定性：文本与图像可能支持相同或不同的人道主义类别，提供互补线索，或出现缺失与退化。本研究在单输出分类约束下考察上述情形，即模型仅返回一个Top-1类别。研究人员提出CandidateFusion-MKAN，一个用于鲁棒单输出多模态危机分类的统一框架。模态支持候选集学习（MSCSL）保留由文本与图像标注共同支持的类别；候选集似然（CSL）将概率集中于观测到的候选集，而有界自适应软目标（BAST）引导集内概率分配。分别监督的文本、图像与联合专家保留模态特有与跨模态预测路径，并通过可靠性自适应路由进行组合。在官方CrisisMMD划分上的实验涵盖973个标签一致与1，264个标签不一致测试实例、一个包含463个实例的代理定义互补证据子集、43种干净、缺失与退化证据条件，以及事件与灾害类型不相交的迁移测试。在标签一致监督下，CandidateFusion-MKAN达到92.60%的准确率。在完整测试集上，相对于匹配的文本–图像概率平均，其将Set-NLL降低0.048，并将可容许性ECE从0.214降至0.047。在代理定义的互补证据子集上，其以85.53%匹配最佳AnyAcc，同时将Set-NLL从0.431降至0.363。上述结果为跨越多样监督与证据条件的鲁棒单输出分类提供了证据。

**研究背景与问题** 灾害期间，应急管理者需要关于受灾人员、基础设施损毁、救援活动与捐赠需求等情况的快速可靠态势信息。社交媒体帖子往往早于正式报告提供此类证据，多模态分类器可将大量图文帖子转换为可用于筛查与分派的人道主义类别。然而，真实危机帖子中文本与图像可能支持相同或不同的人道主义类别，可能提供互补线索，也可能出现文本缺失、图像不可用、视觉内容模糊或表征受损等情形。现有研究通常将监督条件与证据条件分开处理：CrisisMMD的Setting A从训练与测试中移除模态标签不一致样本，而若干Setting B研究虽在训练中加入不一致样本，却仍保留标签一致的Setting-A测试集；关系感知方法刻画互补或相悖的图文内容，缺失模态方法研究不完整输入，但这些工作并未在统一的单输出评估中覆盖全部四类条件。此外，危机数据呈强长尾分布，在至少一个模态支持"受灾人员"类别的帖子中，92.4%具有不同的映射文本与图像标签，将两个模态级观测压缩为单一帖子级标签会在优化前移除大量少数类监督。因此，研究人员旨在开发并评估一个统一的单输出多模态危机分类器，在异构证据条件下保留模态支持的监督，具体考察四个子目标：标签一致时是否保留常规分类行为；标签不一致时是否在学习中保留文本与图像各自支持的标注；在不改变最终输出空间的前提下分析语义相关但预测相异的互补证据；以及在一个或两个模态缺失或退化时评估预测与证据分配。

**技术方法概述** 研究人员采用官方CrisisMMD v2.0人道主义类别划分（13，608训练、2，237开发、2，237测试图文实例），将八个原始类别按预定义映射独立应用于文本标注与图像标注， Consolidate为五个类别。使用冻结的CLIP ViT-L/14（336像素分辨率）提取全局与token/图像块表征，经层归一化投影至共享256维空间；构建文本、图像与联合三个预测专家，其中联合专家融合跨上下文表征、乘性交互、绝对差、语义相似度与模态可用性；采用可靠性自适应路由器（RAR）基于模态可用性、单模态专家置信度、归一化熵、Top-1/Top-2间隔、Jensen–Shannon散度及CLIP与精炼空间相似度分配预测影响；训练目标包含候选集似然、单模态监督、BAST、路由先验与随机单模态丢弃损失。评估采用Protocol A（标签一致兼容性）与Protocol B（完整模态支持监督），并使用AnyAcc、Set-NLL、CandidateMass、可容许性ECE等候选集指标，统计上采用三个随机种子、精确McNemar检验与配对bootstrap重采样。

**研究结果** 标签一致监督：在973个单例测试实例上，固定三种子集成达到92.60%准确率、91.50% Macro-F1与92.57% Weighted-F1，完整Protocol B集成在同一子集上达到90.96%准确率，表明框架保留了常规单标签分类行为。模态支持标签不一致：Protocol B在全部官方测试实例上达到90.84±0.36%总体AnyAcc、在1，264个不一致子集上达到90.74±0.99% AnyAcc与0.250±0.021 Set-NLL，相比文本–图像概率平均（90.52±0.23%、90.51±0.05%、0.298±0.002）总体AnyAcc提升0.32个百分点，Set-NLL配对差为?0.048（95%区间[?0.061，?0.034]），可容许性ECE从0.214降至0.047；受控偏标签学习基线PRODEN与LWS的总体AnyAcc分别为86.13±0.09%与83.16±0.07%，Set-NLL分别为0.460±0.001与0.454±0.001；在双重候选实例上模型将87.27%平均概率分配给观测候选集，98.66%的实例至少一个观测候选进入Top-2，62.42%两个候选均进入Top-2；候选选择方向随语义类别对变化，如"受灾人员vs救援活动"66.67%倾向文本候选，而"受灾人员vs基础设施损毁"61.02%倾向图像候选。互补多模态证据：基于开发集锁定阈值（τJS=0.203，τclip=0.252）在测试集识别出463个代理定义互补证据实例（占20.7%），其中354个具有模态标签不一致；该子集76.46%的实例具有不同的人类文本与图像标注，而其余测试实例为51.30%（OR=3.08，Fisher精确检验p=2.38×10?23）；十次分层关系审计显示代理阳性高散度/高相似区域平均互补率为56.3%，匹配低散度/高相似对照为27.0%，平均差29.3个百分点；在该子集上CandidateFusion-MKAN达到85.53% AnyAcc（与概率平均并列最高）与最低Set-NLL 0.363（概率平均为0.431，配对差?0.069，95%区间[?0.105，?0.031]），CandidateMass从70.66%升至80.68%；移除模态特有头使AnyAcc降至84.67%、Set-NLL升至0.432；文本、图像与联合专家在该子集上AnyAcc分别为62.20%、80.35%与85.53%，平均路由权重为文本11.17%、图像18.30%、联合70.53%。缺失或退化模态：在43种干净与受控干预条件下，移除文本使总体AnyAcc从90.02±0.36%降至87.86±0.41%，移除图像降至77.66±0.18%；文本缺失率0.30时平均文本权重从11.18%降至7.85%，图像缺失率0.30时平均图像权重从18.26%降至12.71%；显式可用性掩码产生清晰的权重重分配，而连续特征扰动对预测性能的影响大于对平均路由权重的影响。长尾放大：五类分布下8，192个单例与9，890个双重候选实例构成27，972个实例–候选成员关系，单一帖子级目标保留18，082个、遗漏9，890个（35.36%）；帖子级头尾比为7.7，图像侧达13.0；受灾人员类别仅占帖子级参考标签的5.02%，但在1，601个实例中至少被一个模态支持，帖子级目标在其中908例保留该类别，使693个（43.29%）模态支持实例失去该类别监督，且该最稀有类别92.38%的支持实例为双重候选。机制分析：移除CSL使Set-NLL从0.276升至0.308，移除模态特有头升至0.408；移除KAN精炼使总体AnyAcc从90.02%降至89.21%、Set-NLL从0.276升至0.293；将KAN路由器替换为MLP路由器总体性能几乎不变（90.03% AnyAcc与0.276 Set-NLL）。跨事件与部署效率：留一事件（LOEO）域宏平均总体AnyAcc为87.05%，留一灾害类型（LODO）为83.74%，均低于随机划分的90.02%；留出斯里兰卡洪水达93.54%，留出加州野火仅77.53%，留出整个飓风家族降至80.76%；单个模型含762万可训练参数，固定三种子集成含2，287万参数，批大小1的FP32推理中单模型平均原始输入延迟95.82 ms、峰值内存1.69 GiB，集成因共享一次CLIP编码仅需123.38 ms与1.75 GiB。定性分析：可容许高置信预测的Top-1置信度为0.956–0.994、CandidateMass为0.987–0.996；而自信的集外错误虽对某一类别置信度高，但仅将0.088–0.289概率分配给观测候选集，CandidateMass可补充Top-1置信度以区分受支持的高置信决策与离开模态支持集的自信预测。

**讨论与结论** 讨论部分指出，单输出形式是任务约束而非对人道主义决策的规定性模型，文本与图像可能支持同时相关的不同类别，操作界面可在最终Top-1预测之外呈现模态支持的候选信息；互补证据条件由依赖模型与表征的代理而非人类真值标签操作化；受控退化研究未覆盖实践中全部原始输入损坏情形，实证评估限于CrisisMMD及其七个灾害事件。消融结果表明CSL、模态特有监督与KAN精炼获得最强的经验支持，而BAST及多数路由相关选择边际效应较小，常规MLP路由器可作为部署时降低复杂度的合理替代，完整配置应被理解为本研究的统一参考实现而非部署所需的最小架构。结论部分翻译如下：本研究提出CandidateFusion-MKAN，一个在四类反复出现的监督与证据条件（标签一致监督、模态支持标签不一致、互补多模态证据、缺失或退化模态）下用于鲁棒单输出多模态危机分类的统一框架，同一组条件组织问题形式化与实证研究，而推理仍返回一个五类Top-1决策。MSCSL保留文本与图像标注直接支持的类别，一致时产生单例候选集，不一致时保留两个观测支持；CSL将概率集中于观测集，BAST为其内相对分配提供有界次级引导；分别监督的文本、图像与联合专家保留多条预测证据路径，RAR利用模态可用性、单模态专家决断性、预测分歧与语义关系线索组合可用路径。结果在四类操作条件下为整体设计提供了证据：标签一致监督下固定三种子集成达到92.60%准确率与92.57% Weighted-F1，保留常规单标签行为；完整Protocol B测试划分（含1，264个标签不一致实例）上集成达到90.84%总体AnyAcc、90.74%不一致子集AnyAcc与0.250 Set-NLL，相对于匹配文本–图像概率平均Set-NLL降低0.048、可容许性ECE从0.214降至0.047；在463个测试实例的开发锁定代理定义互补证据子集上，CandidateFusion-MKAN以85.53%匹配最高AnyAcc，同时相对于概率平均将Set-NLL从0.431降至0.363，移除模态特有头使Set-NLL升至0.432，支持保留预测路径在互补证据下概率放置中的作用；在43种干净、缺失与特征退化证据条件下，显式可用性掩码在模态移除时产生清晰重分配，而连续特征退化对预测性能的影响强于对平均路由权重的影响。支持性分析明确了鲁棒性仍具挑战之处：帖子级硬标签合并遗漏35.36%的不同实例–候选成员关系，最稀有映射类别在合并下失去43.29%的模态支持实例；组件分析识别候选集似然、模态特有监督与KAN精炼为最清晰的结构性贡献者；LOEO与LODO评估进一步表明迁移对事件家族覆盖仍敏感，尤其当留出灾害类型移除大部分源训练数据时。研究亦存在若干局限：单输出形式是任务约束而非对人道主义决策的规定性模型；互补证据条件由依赖模型与表征的代理而非人类真值标签操作化；受控退化研究未覆盖实践中全部原始输入损坏，实证评估限于CrisisMMD及其七个灾害事件；与应急响应从业者评估决策支持界面以及将验证扩展至额外危机数据集仍超出本研究范围。未来工作可将框架扩展至原始输入质量变化、事件感知表征学习、多语言危机流以及将类别预测与紧迫性或资源优先级评估相结合的操作场景。CandidateFusion-MKAN提供单一输出接口，同时保留现实多模态危机条件下可用的更多监督与预测证据。