特色应用
多模态分类危机相关的社交媒体帖子，以支持紧急情况分析师的信息分类工作。
摘要
紧急信息分析师需要将图像-文本报告组织成人道主义类别，以便进行验证和优先处理。本研究探讨是否可以在不替换现有分类器决策路径或大幅增加任务特定更新量的情况下，对其进行细粒度证据细化。我们提出了LRIF-Net，这是一种保留决策过程的循环残差融合框架，它保留了完整的全局-局部分类器，并添加了一个紧凑的参数关联校正分支。该分支通过三种预定义的合成证据退化条件（缺失图像、缺失文本以及图像类别不匹配）进行训练和评估，因此生成的证据仅涉及这些受控情况，而非所有形式的真实世界数据损坏。在标准的7314对CrisisMMD Task 2数据集上，固定种子集成的准确率为91.35%，宏F1值为88.88%，加权F1值为91.32%。残差阶段仅更新了517,509个参数，比标准交叉注意力模型少88.76%，同时将所有保留的非CLIP参数减少了59.17%。LRIF-Net在匹配的评估协议下表现出竞争性性能，但成对比较并未证明其具有预测优势，其平衡准确率和宏F1值低于直接保留的分类器。实验结果表明，这种控制下的性能提升主要归因于学习目标。该研究为危机信息分类提供了一种协调设计的紧凑型残差细化机制，并对其预测能力和鲁棒性进行了验证，其有效性仅限于所分析的证据。
