面向多模态媒体篡改检测与定位的多层级协同优化

《Information Fusion》：Multi-Level Collaborative Optimization for Multi-Modal Media Manipulation Detection and Grounding

　　

• 提出了一种面向多模态媒体取证的新型任务协作视角。• 三层级协作路径将特征、语义与决策相互串联。• 共享的语义权重引导检测与定位任务收敛于一致的证据。• 决策感知的精化机制抑制了有噪声的视觉定位响应。引言近年来，生成式人工智能展现了惊人的发展，这主要得益于Transformer架构[1]、[2]和扩散模型[3]、[4]、[5]的兴起。这些进展使大模型能够合成高保真的多模态内容，包括逼真的图像、流畅的文本和连贯的音频，往往与真实数据难以区分[6]、[7]、[8]。传统的应对此类威胁的努力主要将该问题框定为二分类检测，包括深度伪造检测[9]、[10]和假新闻识别[11]、[12]。这些方法主要依赖视觉取证痕迹或文本风格度量线索。虽然在受限环境中有效，但它们主要面向全局真实性分类，无法提供跨模态的细粒度定位[13]。这促使研究人员正式定义了多模态媒体操纵检测与定位（DGM4）任务[14]，该任务不仅要求识别一个图文对是否被操纵，还要求在图像中定位被操纵的区域[15]、[16]，以及在文本中定位对应的词语。现有的DGM4方法大致可分为两种范式。第一种采用任务并行设计，通过独立的多模态融合分支并行执行操纵检测和定位，并使用特定任务的目标进行优化。该范式中的代表性方法通过强化多模态表示学习和操纵推理来提升DGM4性能。HAMMER[14]和HAMMER++[17]增强了层次化操纵推理和操纵感知对比学习；ViKI[18]改进了视觉-语言知识交互；UFAFormer[19]将频域伪造线索纳入统一框架；ASAP[20]加强了细粒度语义对齐；MFDFN[21]将共享特征与模态特定特征分离以实现自适应多模态融合。尽管取得了这些进展，检测和定位主要通过多任务优化进行耦合，而它们的特征融合和预测过程在很大程度上仍然是独立的。第二种范式采用任务顺序设计，以2S-DGM4[22]为代表，该范式利用预测的模态特定操纵类型来指导细粒度定位。虽然该设计引入了显式的任务指导，但交互是单向的，且主要发生在预测层面。因此，现有范式要么通过共享优化松散地耦合检测和定位，要么通过单向的预测指导将它们连接起来，使其相互依赖性未得到充分探索。事实上，操纵检测和定位是相互依赖的。可靠的操纵判断应该有细粒度的视觉或文本证据支持，而准确的定位也需要操纵感知的语义来避免关注不相关的局部线索。这种依赖性表明，检测和定位不仅应该共享多模态特征，还应该在不同推理层级上进行协作，这呼应了利用全局相关性来指导局部优化的更广泛原则[23]。受此观察启发，我们从任务协作的角度重新思考DGM4，并提出了一种多级任务协作（MLTC）框架。我们不再将这两个任务视为共享多模态编码器的松散耦合输出，而是将DGM4重新组织为模态特定的分类与定位任务对。具体而言，图像操纵分类（IMC）与补丁操纵定位（PMG）相耦合，文本操纵分类（TMC）与令牌操纵定位（TMG）相耦合。这种表述方式直接将每个全局检测任务与其对应的细粒度定位任务关联起来，为任务特定的交互提供了结构基础。在此基础上，MLTC通过两个模态中的共享特征证据和语义交互渐进式地连接配对任务，随后在视觉分支中进行决策指导的精化。按照这种渐进式设计，MLTC从特征级协作开始，为检测和定位任务建立一致的证据基础。如果IMC与PMG，或TMC与TMG，依赖于不同的特征流，它们可能对同一操纵事件关注不一致的线索，使得配对任务难以有效相互支持。为减少这种证据差异，我们通过跨模态对齐和交互构建模态特定的桥接特征。这些桥接特征作为每对检测和定位任务的共享证据池，使模态级操纵分类和细粒度定位能够从一致的多模态表示开始。然而，仅有共享证据池并不能保证检测和定位关注相同的操纵线索。检测通常强调全局语义不一致，而定位则需要细粒度的空间或令牌级证据。没有显式的语义协调，检测可能会忽略微妙的局部操纵痕迹，而定位可能会过度关注与全局操纵决策弱相关的局部细节。为缩小这种跨粒度差距，我们通过提出的跨粒度语义融合（CGSF）模块引入语义级协作。CGSF首先使用多尺度稀疏注意力精化桥接特征，然后学习分类和定位共享的语义重要性权重。这些权重将与操纵相关的令牌或补丁聚合为全局表示以用于分类，同时增强相应的局部特征以用于细粒度定位。这样，全局真实性推理和局部操纵定位被鼓励依赖于一致的语义证据，而不是学习各自的任务偏好。即使有语义级协作，预测级冲突仍可能发生，尤其是在视觉分支中。例如，图像级分类器可能产生置信度很高的全局真实性判断，而补丁级定位响应仍可能在无关的背景区域上激活。这种差异的产生是因为全局检测和密集定位在不同的决策粒度上运行。为解决此问题，我们为视觉定位引入了决策级协作。具体而言，跨粒度决策融合（CGDF）模块将全局检测决策与补丁级定位响应整合，以生成操纵概率图（MPM），从而提供决策感知的空间指导。为减少不可靠检测置信度的影响，我们进一步设计了操纵感知的定位精化（MAGR）模块，该模块将MPM作为有界的软先验融入定位查询聚合的Value分支，在保留原始补丁贡献的同时增强与操纵相关的证据，以实现更准确的边界框定位。总之，我们的贡献如下：• 我们强调了DGM4中被忽视的检测与定位之间的协作潜力，并提出了MLTC——一个在特征、语义和决策层级上建立检测与定位之间协作的统一框架。• 我们将DGM4重新表述为模态特定的分类-定位协作对，使模态级操纵分类和细粒度定位能够在共享证据池上进行协作。• 为增强检测和定位之间的交互，我们设计了跨粒度语义融合（CGSF）模块来协调全局分类语义和局部定位证据。通过学习分类和定位共享的语义重要性权重，CGSF鼓励在不同推理粒度上进行一致的操纵感知证据选择。• 我们通过CGDF和MAGR为视觉定位引入决策级协作，将全局检测置信度与补丁级定位响应整合以生成操纵概率图，并利用该图精化边界框预测。在DGM4基准上的大量实验证明，MLTC在检测和定位任务上均达到了最先进的性能。本文其余部分组织如下。第2节综述多模态操纵检测与定位，以及多模态学习中的任务交互。第3节介绍所提出的MLTC框架及其多级协作机制。第4节描述实验设置，并报告对比、消融、泛化、效率和定性分析，随后讨论局限性和未来方向。最后，第5节对全文进行总结。相关工作章节片段多模态操纵检测与定位早期的媒体操纵检测方法主要依赖于单模态线索，如视觉篡改痕迹[24]、[25]或文本风格不一致[26]、[27]。尽管这些方法可以捕获模态特定的伪造痕迹，但它们不建模图像-文本语义关系，因此对于由跨模态不一致引起的多模态操纵来说是不够的。视觉-语言预训练模型，如CLIP[28]、ALBEF[29]、BLIP[30]和Flamingo[31]，提供了方法论MLTC通过在每种模态内显式建模分类任务与定位任务之间的协作来解决多模态操纵检测与定位问题。给定一个图文对，该框架首先通过双视觉骨干网络和文本骨干网络提取模态特定表示。基于这些表示，MLTC通过三个互补阶段渐进式地协调这两个任务。在特征级，跨模态对齐与融合构建共享的……数据集与评价指标我们在DGM4基准[14]上进行评估，该基准包含约230K个图文对，涵盖四种操纵类型：换脸（FS）、人脸属性（FA）、换文本（TS）和文本属性（TA）。每个帖子都标注了真实性和类型，其中约33.7%为原始未操纵样本。遵循官方协议，我们在发布的训练集划分上进行训练，并在相同划分与指标定义下，在标准测试集上报告所有方法的结果。我们报告二分类检测的AUC、EER、ACC……结论在本文中，我们从任务协作的角度重新审视了多模态媒体操纵检测与定位。MLTC并未将全局检测与细粒度定位视为松散耦合的目标，而是在模态特定的协作任务对内显式建模它们之间的相互依赖性。在DGM4基准上的实验表明，这种协作设计相较于近期基线提升了整体性能，同时消融研究证实了特征……未引用引用表4、表9、图1、图2、图6。CRediT作者贡献声明Wenwen Su：撰写—初稿、软件、方法论、概念化。Zhiqing Guo：撰写—审阅与编辑、监督、资源。Liejun Wang：监督、资源。Gaobo Yang：形式分析。利益冲突声明作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。Wenwen Su | Zhiqing Guo | Liejun Wang | Gaobo Yang