一种强大的混合图融合方法，用于多模态关系提取：通过信息瓶颈去噪技术实现

《Information Fusion》：Robust Hybrid Graph Fusion for Multi-modal Relation Extraction via Information Bottleneck Denoising

　　

• •
  一种新型的混合图模型融合了异构图和超图，以适应不同上下文。
• •
  信息瓶颈框架能够过滤跨模态的噪声和不一致性。
• •
  在文本-文本和文本-视觉关系提取方面取得了新的最佳性能（SOTA）。

引言

多模态关系提取（MRE）是信息提取中的关键任务[1]，旨在从异构数据源（主要是文本和图像）中识别语义关系。MRE的结构化输出支持了广泛的应用，包括复杂的多模态检索[2]和构建全面的多模态知识图谱[3]、[4]。在实际应用中，MRE是诸如社交媒体监控的智能内容分析、电子商务中的自动化产品属性提取以及金融或法律文档处理中的基于证据的推理等技术的核心。给定一个句子-图像对，MRE通常解决两种关键场景：利用视觉线索提取两个文本实体之间的关系（EE-MRE）[5]，以及识别文本实体与视觉对象之间的关系（EO-MRE）[6]，如图1所示。MRE的发展在很大程度上是由追求更有效的跨模态融合技术推动的，从早期的注意力机制[7]进步到高级的预训练语言模型适配[8]。最近，生成方法也出现了，这些方法利用精心设计的提示和基于注意力的融合来合成关系表示[9]。

然而，现有的MRE方法面临一个基本但常被忽视的挑战：模态一致性隐含的假设。在这项工作中，我们将模态不匹配明确定义为一个多方面的挑战，包括三个主要维度：（1）语义不匹配，即整体视觉上下文与 accompanying 文本无关或矛盾；（2）结构噪声，由虚假的视觉对象或不完美的上游对象检测伪影引入；以及（3）弱跨模态对齐，即相应的文本和视觉特征无法映射到共享的语义空间。在现实世界中，这种一致性假设经常失效，因为跨模态信息充满了对任务无关或矛盾的信号。例如，一项关于社交媒体数据的研究（MRE的常见来源）发现，大约33%的图像与其 accompanying 文本缺乏直接的语义相关性[10]。尽管如此，现有方法倾向于无差别地融合所有可用的视觉信息，难以区分显著的视觉线索和虚假线索。这种不加区分的融合不仅注入了大量噪声，还严重限制了模型捕捉复杂场景（如EO-MRE）所需的精细的、特定于实体的相关性，最终导致关系提取的不可靠性。

为了更结构化地理解跨模态交互，图神经网络（GNN）作为一个有前景的方向应运而生，它们在仅基于文本的上下文中建模复杂的关系依赖性方面已经证明是成功的[11]、[12]。初步尝试通过基于场景或依赖结构的构建多模态图来展示了GNN在MRE中的潜力[13]、[14]。然而，这些开创性的努力普遍采用了简单的图结构（例如，异构图），并将预定义的图视为真实值，这种范式不适合现实世界多模态数据的噪声和不一致性。我们认为这导致两个主要限制，阻碍了进一步的突破：

挑战A：无法捕捉高阶多模态相关性。现有的图构建策略主要局限于仅模拟成对低阶关系的异构图（例如，实体到对象）。这种范式无法捕捉关键的高阶相关性，例如一组视觉对象和文本实体之间共享的集体语义，或共同影响关系的复杂对象间关系。这种有限的成对视图提供了对丰富多模态上下文的语义贫瘠的表示，阻碍了消歧和细致理解。

挑战B：对结构噪声的脆弱性和有效的去噪能力不足。基于GNN的方法的性能在本质上是依赖于初始图结构的质量。这种依赖性使它们极易受到噪声边缘和误导性邻域特征的影响，尤其是在面对现实世界数据的固有模态不一致性时。错误传播是一个重大风险，因为在有缺陷的图上聚合信息会放大噪声并降低性能。我们认为需要一种范式转变——从被动聚合潜在的噪声信息转变为主动去噪多模态图以提炼真实的跨模态相关性。

为了克服这些艰巨的挑战，我们提出了IBHF，这是一个基于两项核心创新的新框架：混合多模态图（HMG）表示和通过信息瓶颈进行 principled 对比式混合模态图去噪（IB-GD）。为了解决挑战A，我们首次提出了HMG结构。它独特地将多模态异构图与多模态超图结合，以明确模拟任意实体和对象集合之间的高阶相关性。这种双方面的表示提供了对跨模态上下文更全面、结构更丰富的视图。为了解决挑战B，我们设计了IB-GD框架来强健地去噪HMG。它首先采用自适应图结构去噪操作（AGO）来学习修剪异构图和超图中的虚假连接，这一过程直接由下游的MRE任务指导。重要的是，我们随后引入了信息瓶颈驱动的图对比学习（IB-CL）策略。这种策略迫使模型学习一个对MRE任务最具信息量的去噪图表示，同时对噪声输入图的依赖性最小。通过这种方式，IBHF积极丢弃了不相关的信息，显著减轻了文本-图像不一致性的负面影响。

我们的贡献总结如下。

• •
  我们是第一个提出用于MRE的混合多模态图结构的团队，该结构独特地融合了异构图和超图。这直接解决了先前基于GNN的MRE方法无法捕捉简单成对交互之外的内容的问题，使我们的模型能够表示关键的高阶、群体层面的语义（例如，文本实体与一组视觉对象的关系）。
• •
  我们引入了一种新的图去噪框架IB-GD，它创新地将信息瓶颈原理作为结构细化的对比学习目标。这与以往的艺术形式有显著不同，后者要么使用IB进行简单特征过滤，要么采用非原则性的图编辑。我们的方法主动且适应性地修剪HMG以提炼任务所需的相关性，从而直接增强了对抗模态不一致性的鲁棒性。
• •
  我们在两个基准数据集上进行了广泛的实验，证明了IBHF在EE-MRE和EO-MRE场景中取得了新的最佳性能，验证了其在处理复杂多模态交互和减轻信息不一致性方面的有效性。

章节片段

相关工作

关系提取是自然语言处理中的一个核心任务，旨在从文本中识别实体之间的关系。该领域已经从传统的句子级分析发展到处理更复杂和现实的场景，包括资源有限的场景、文档级提取，以及最近的多模态前沿。赵等人[15]的全面调查系统地分类了深度学习技术在关系提取（RE）领域的广阔领域

任务定义

本研究解决了MRE中的两个主要场景，这些场景根据涉及的实体类型而有所不同：

1. 实体-实体多模态关系提取（EE-MRE）：EE-MRE的目标是利用 accompanying 句子和图像的信息来识别两个文本实体之间的关系。正式来说，给定一个句子 Sw₁、w₂、x2026>、w_n，其中包含一个预先识别的头部实体 e_h 和一个尾部实体 e_t，以及相应的图像 V，任务是预测

我们的方法

我们将细粒度文本-图像相关性的获取概念化为一个在多模态图上操作的原则性去噪过程。我们首先构建了一个混合多模态图，该图协同整合了多模态异构图和多模态超图。随后，我们引入了一种自适应图去噪操作，应用于这两种图结构，以使它们与下游的MRE任务最佳对齐。最后，在这些原则的指导下

数据集

我们在名为MNRE [7]的EE-MRE数据集和名为MORE [6]的EO-MRE数据集上验证了我们的方法。MNRE收集了包含教育、音乐、体育等主题的Twitter帖子。MNRE包含15,484个样本、9,201张图像和23种关系类型。MORE包含21种关系类型，20,264个样本、3,559对文本标题和相应的图像，平均每张图像有3.8个视觉对象。两个数据集的详细统计信息见表1。

评估指标

为了

整体性能

为了全面评估我们提出的IBHF框架，我们将其与一系列基线进行了比较，包括最近的最新最佳性能（SOTA）模型，在MNRE和MORE数据集上进行了测试。结果展示在表3中。为了确保评估的严格性和公平性，我们引入了模型的两种变体：IBHF-CLIP，它利用了强大的CLIP和Faster-RCNN框架；以及IBHF-ResNet，该变体将其基于ResNet50的特征提取流程与RECK[52]的流程对齐，以便

结论

在本文中，我们解决了多模态关系提取（MRE）中的跨模态不一致性这一基本挑战。我们引入了IBHF这一新框架，它首先构建了一个全面的多层次图表示，然后对其进行基于信息论的去噪处理。具体来说，我们提出的混合多模态图（HMG）协同结合了异构图来捕获低阶成对关系，并用超图来明确建模重要的高阶相关性

CRediT作者贡献声明

赵启辉：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，软件，资源，方法论，研究资金获取，形式分析，数据整理，概念化。赵浩然：撰写——审阅与编辑，方法论。高天涵：撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报告工作的竞争财务利益或个人关系。

赵启辉|赵浩然|高天涵