摘要
在突发灾害中，社交媒体文本和图像为应急感知、灾情评估和人道主义响应提供了时间关键的证据，但其线索往往不完整、嘈杂或相互矛盾。直接对异构预训练表示进行等权融合可能引入语义错位，并允许不可靠的证据影响分类器。本文提出了基础增强的可靠性条件动态自适应融合（FA–RC–DAF）方法，用于多模态灾害分类。该模型首先保留CLIP作为单位权重的文本-图像对齐基座，维持稳定的跨模态决策空间。随后将BERTweet和SigLIP特征投影到CLIP对齐空间中，作为有界的残差校正，使领域特定的语言线索和互补的视觉-语言线索能够细化基座而不覆盖它。一个置信度-一致性路由器从归一化熵预测集中度和跨编码器一致性中估计样本级残差可靠性，在融合前选择性接纳每个残差。显式的跨模态交互仅在两个流经过可靠性精炼之后才进行。在CrisisMMD上，FA–RC–DAF在保留的五类协议下实现了92.26%的准确率、92.25%的加权F1和91.26%的宏F1。协议感知的已发表比较与五种子内部匹配的架构比较分别报告，后者为方法层面的主张提供了主要证据。额外评估表明，在事件类型和灾害类型偏移下表现出差异化行为，在正向时间漂移下难度更大，以及对损坏或不可用输入的敏感性具有条件依赖性，从而为多模态灾害决策支持提供了更加全面刻画的基础。
