《Computer Vision and Image Understanding》：A parameter-efficient three-branch architecture for multimodal misinformation detection with limited annotations
编辑推荐：
研究人员提出LADLE-MM（Limited Annotation based Detector with Learned Ensembles for Multimodal Misinformation，基于有限标注的学习集成多模态虚假信息检测器），一种面向有
研究人员提出LADLE-MM（Limited Annotation based Detector with Learned Ensembles for Multimodal Misinformation，基于有限标注的学习集成多模态虚假信息检测器），一种面向有限标注场景的多模态虚假信息检测模型。该模型采用三分支设计：图像分支基于Vision Transformer（ViT）提取纯图像特征，文本分支基于DeBERTa提取纯文本特征，多模态分支采用冻结的BLIP（Bootstrapping Language-Image Pre-training）构建稳定的跨模态参考空间。两单模态分支输出经Manipulation-Aware Contrastive Loss（MAC Loss，操纵感知对比损失）对齐，融合模块由六个双路交叉注意力块组成，以文本为query、图像或多模态嵌入为key/value。分类模块包含二分类与多标签分类头。研究人员在DGM4数据集四个划分上按model soup协议预训练，再以Wortsman等人提出的model soup权重平均策略微调，得到半集成初始化而不增加推理成本。相比标准基线，可训练参数减少60.3%，在DGM4上取得近SOTA的mAP，在VERITE开放集设定下准确率领先。该方法无需空间或token级接地监督，适用于低资源与低端硬件部署。
研究背景方面，生成式人工智能（Generative Artificial Intelligence）中VAE、GAN与Diffusion Models（DMs）以及GPT、Claude、Gemini等大模型显著降低合成图像与文本门槛，使多模态虚假信息（multimodal misinformation）成为社会与经济信任威胁。既有单模态检测忽略跨模态不一致性；主流多模态方法依赖大规模精细标注（如空间接地、token级监督）与海量可训练参数，标注昂贵且随生成工具演进迅速过时，训练需高端硬件。为此，研究人员开展有限标注、参数高效、具分布外（out-of-distribution, OOD）鲁棒性的检测研究，成果发表于《Computer Vision and Image Understanding》。
关键技术方法上，研究人员构建三分支特征提取：ViT微调末三层取CLS与patch均值得图像表征zimg,CLS；DeBERTa微调末三层得文本表征ztxt,CLS；BLIP全冻结提供图文统一表征作固定参考空间。单模态间用MAC Loss（InfoNCE变体）对齐，负样本队列配Momentum Encoder（指数滑动平均更新）稳分布。融合模块为六组双路cross-attention，文本作query，图像/BLIP嵌入作key-value。训练遵循model soup：DGM4四划分各自预训练后按Wortsman等权重平均得初始化，再全量微调。样本仅用DGM4与VERITE公开基准，无额外队列。
研究结果部分，引言指出LADLE-MM在有限标注下近SOTA且参数减60.3%，VERITE开放集占优。第2节相关工作中，研究人员比对图像侧（颜色/频域/ViT注意力）、文本侧（SVM至RAG-LLM）及多模态侧（SpotFake、HAMMER、TT-BLIP、SNIFFER等），指出现有要么重标注要么重规模，LADLE-MM以冻结参考空间+参数高效破局。第3节方法详述特征提取模块（ViT/DeBERTa/BLIP三支路与MAC Loss公式?i2t=InfoNCE(zimg,CLS,z+txt,TQ)、?t2i=InfoNCE(ztxt,CLS,z+img,IQ）与Momentum Encoder机理；多模态融合模块为六双路cross-attention；分类模块分二分类与多标签头。第4节实验在DGM4测二分类/多标签mAP，在VERITE测开放集准确率，消融验证冻结BLIP必要性、model soup提升OOD鲁棒性。
讨论与结论翻译总结：研究人员得出结论，LADLE-MM以冻结BLIP建立稳定跨模态参考空间，结合双路交叉注意力与model soup权重平均，在无需接地标注时可训练参数较SOTA（Shao等HAMMER）降60.3%，DGM4上mAP近SOTA、VERITE开放集准确率居首，证明有限标注下参数高效三分支架构可兼顾性能与部署经济性，为生成式时代多模态虚假信息检测提供低资源可行方案。
