基于最短依存路径和大型语言模型的多模态关系提取

《Neurocomputing》：Multi-modal relation extraction based on shortest dependency path and large language models

　　• 提出了一种基于最短依赖路径的多模态关系提取框架，该框架将关系预测转换为生成任务。
• 引入了一个以实体为中心的图像描述模块，以增强多模态模型中的背景知识提取能力。
• 利用大型语言模型中的上下文学习来生成实体之间的精确关系，从而提高多模态理解能力。

## 引言
随着互联网和社交媒体的发展，越来越多的信息以多模态格式出现。跨这些模态提取和利用数据对于多模态智能问答、多媒体内容理解和多媒体情感分析等应用至关重要[1]。作为传统关系提取技术的先进扩展，多模态关系提取（MRE）将文本、语音和图像等多种模态特征作为模型的输入。整合这些不同模态的特征可以提高模型对文本信息的理解能力，从而实现更准确的关系提取。

最近，多模态大型语言模型[2][3][4]（MLLMs）的应用将多模态关系提取研究推向了一个新的阶段。这些模型在大量图像-文本数据上进行了训练，并在多种多模态任务中表现出色。然而，图像和文本对这一任务的贡献并不等同。当图像无法为文本提供更多解释信息时，甚至可以忽略图像信息[5]。一些研究[4][6][7]专注于使用文本-文本（T+T）范式来解决MRE任务。在这些方法中，图像通过图像字幕和信息检索等技术被转换为文本表示。尽管这些基于显式知识的文本表示非常有效，但它们仍然存在冗余。具有视觉能力的LLM可以被视为基于互联网知识的全面表示，能够根据图像生成更相关、更高质量的辅助知识。将这些辅助知识与原始文本连接起来，然后输入到下游文本模型中，以实现实体关系的准确预测[6]。尽管如此，基于MLLM的MRE任务仍存在某些潜在缺陷：
- 虽然多模态大型语言模型能够生成高质量的辅助知识，但后续的关系提取仍然由预测模型（例如BERT）完成。由于关系预测模型的参数规模较小，其文本理解能力与多模态大型语言模型存在差距，这限制了其充分利用MLLM生成的大量辅助知识的能力。
- 高质量的辅助知识对后续的关系提取至关重要。然而，目前生成的辅助知识主要依赖于与实体无关的视觉生成模块，缺乏对实体的具体描述。虽然生成的文本描述是准确的，但推理实体间关系所需的关键证据链往往缺失。特别是在相同的文本和图像对应多个具有不同关系的实体对时，生成相同的图像描述往往无法提供区分这些关系所需的多样化信息。

在图1中，文本“The scene between Luke and Yoda in The Last Jedi is a top 5 scene in the Star Wars Saga”包含了角色之间的关系、角色与电影之间的关系以及电影之间的关系。我们进一步比较了两种常见的图像描述范式：
- **与实体无关的图像描述**是通过直接提示多模态大型语言模型仅基于视觉内容来描述图像而生成的，不提供相应的文本上下文。这种方法可能只能捕捉到粗粒度的场景语义（例如识别图像来自某部科幻电影），无法明确指出“Last Jedi”和“Star Wars”等实体，也不能强调该场景的上下文背景。
- **基于文本的图像描述**是通过向多模态语言模型提供图像及其对应的文本来生成的，使模型能够在视觉和文本信息的基础上生成描述。由于引入了文本上下文，这种方法可以提供关于“The Last Jedi”场景的相关背景信息。然而，它可能过度依赖文本语义，而忽略了多个实体之间的隐含关系线索（例如两部电影之间的联系）。这两种描述之间的主要区别在于它们的输入来源不同：前者仅依赖视觉信息，而后者则整合了视觉和文本信息。当相同的文本-图像对包含多个具有不同关系的实体对时，生成相同的图像描述往往无法提供区分这些关系所需的多样化信息。

早期研究[8][9]表明，依赖解析树已被广泛用于通过提供更好的语义指导来改进关系提取，从而分析与给定实体相关的上下文信息。确定同一文本中两个命名实体之间关系所需的信息通常由依赖图中最短依赖路径捕获。

受上述分析的启发，我们提出了一个基于SDP（Shortest Dependency Path）的多模态大型语言模型关系提取框架来解决这个问题。该框架包含了一个以实体为中心的图像描述生成模块，该模块提取文本中两个实体之间的最短依赖路径，从而指导多模态模型生成更精确的背景知识。此外，为了最大化利用高质量辅助信息，该方法将关系预测任务重新定义为关系生成任务，并采用混合检索模块来选择相关的上下文实例，充分利用大型语言模型的上下文学习（ICL）能力来生成实体之间的关系。本文的贡献如下：
- 我们提出了一种简单有效的多模态关系提取框架，将该框架将关系预测任务转换为关系生成任务。该框架利用具有视觉能力的大型语言模型构建高质量辅助知识，并利用具有上下文学习能力的大型语言模型生成关系。
- 我们提出了一种基于最短依赖路径的图像描述生成模块，可以有效指导MLLM生成与特定实体密切相关的背景知识，为生成实体之间的关系提供更准确的辅助知识。
- 我们提出了一种基于混合检索的ICL演示选择方法，该方法结合了全局信息捕获和细粒度特征匹配的能力，以实现更全面和准确的上下文样本获取。

在MNRE和MORE数据集上的实验表明，与现有的最先进方法相比，我们的框架分别在F1分数上提高了2.73%和0.29%，证明了其在多模态关系提取方面的有效性。

## 最短依赖路径-based关系提取
SDP是传统句法关系提取的基本范式。已经广泛验证，SDP上的词足以确定两个实体之间的关系[9][10]。[9]设计了依赖树核来利用路径上的结构依赖特征，证明了基于SDP的表示在关系提取中的有效性。此后，基于SDP的方法通过复杂的特征工程和核方法得到了进一步改进。

## 问题表述
给定一段文本及其对应的图像，以及文本中的头部实体和尾部实体，MRE任务是提取两者之间的关系（即/per/org/member_of）。根据大多数现有的上下文学习工作，我们将此任务定义为生成任务。上下文学习是一种允许大型语言模型仅通过少数示例（以演示的形式）来学习任务的范式，该示例包含可选的任务指令和演示示例：

## 数据集
我们在MNRE1[25]和MORE2[29]基准数据集上进行了实验。
MNRE包含12,247/1624/1614个训练/开发/测试样本，9201张图片和23种关系类型。这个数据集由用户在Twitter上发布，涵盖了音乐和体育等多个主题领域。MORE包含21种不同的关系类型，包含20,264个多模态关系事实，这些事实标注在3559对文本标题和相应图像上。

## 主要结果
我们在两个广泛使用的数据集MNRE和MORE上进行了实验。表1展示了在这两个数据集上的整体性能。我们采用了精确度、召回率和F1分数作为评估指标。实验结果表明，所提出的方法在两个数据集上都始终优于所有竞争方法，达到了最先进的性能水平。我们的方法在MNRE上的F1分数为87.95%，在MORE上的F1分数为67.50%，显示出很强的性能。

## 结论
本文提出了一种基于最短依赖路径的多模态大型语言模型关系提取框架。通过引入最短依赖路径来生成与实体更相关的图像描述，为关系提取任务提供了更高质量的背景知识，显著增强了LLM在理解实体关系方面的能力。此外，它还将关系预测任务重新定义为关系生成任务，充分利用了LLM的能力。

## 报告作者的贡献声明
郝雪：撰写——初稿、方法论、概念化；戴艳革：撰写——审稿与编辑、软件开发、数据管理；马静：监督、项目管理、资金获取；郭晓宇：撰写——审稿与编辑、形式分析。

## 利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

## 致谢
本研究得到了中国国家自然科学基金（项目编号72174086）的支持。
郝雪毕业于南京航空航天大学，目前正在南京航空航天大学经济管理学院攻读博士学位。他的研究兴趣包括大数据分析与应用、人工智能和知识图谱构建。