CauDis-MRE：基于因果解耦反事实学习与混合专家模型的鲁棒多模态关系抽取

《Knowledge-Based Systems》：CauDis-MRE: Towards robust multimodal relation extraction with causally disentangled counterfactual learning and mixture-of-experts

　　

因果解耦提升多模态关系提取的鲁棒性 • 反事实学习缓解虚假的跨模态相关性 • 混合专家模块实现自适应的多模态信息融合 • CauDis-MRE在多模态关系提取基准数据集上取得最先进成果 • 广泛分析验证了模型的鲁棒性与可解释性 引言 多模态信息[1]、[2]、[3]、[4]、[5]在现代数字媒体中无处不在，文本描述通常与图像配对以传达更丰富的语义。多模态关系提取（MRE）旨在利用此类图文配对来识别实体对之间的语义关系，因此在构建多模态知识图谱[6]、[7]、[8]、信息检索[9]、[10]、[11]以及下游推理系统[12]、[13]、[14]、[15]中发挥着核心作用。在实际场景如社交媒体、新闻文章和文档档案中，视觉内容既能补充也能干扰文本线索。尽管图像通常能提供消歧上下文，但它们也会引入噪声或偶然的信号，如背景物体或视觉显著但无关的物体，这些都可能误导关系模型。这种有益的视觉接地与有害的视觉偏差之间的张力，促使我们在MRE中对因果信号进行有原则的处理。图1展示了来自MNRE和MORE数据集的典型多模态关系提取场景，其中视觉内容可能同时包含支持关系的证据（红色框）和干扰物体（绿色框）。虽然高亮显示的关键物体提供了有助于澄清实体交互的互补上下文，但视觉显著但无关元素的共现会在模型训练期间引入虚假相关性。因此，不加选择地融合多模态特征可能导致模型过拟合这些偶然线索，而不是学习决定关系的真正因果信号。 近期进展显示了两个趋同的趋势。首先，基于图的方法[15]、[16]、[17]、[18]、[19]和以对齐为导向的策略[20]、[21]、[22]通过建模实体-物体对应关系和词-区域对齐，改进了结构化的跨模态交互，从而带来更忠实的多模态表示。代表性工作包括高效图对齐[16]和边增强图对齐[20]用于联合实体-关系建模。其次，一系列针对视觉引导[15]、分层视觉提示[21]、[23]和多模态对比目标[24]、[25]的技术表明，选择性的视觉条件和对齐可以显著提升提取质量。这两个方向共同表明，仔细利用视觉内容而非平等对待所有图像信息，可以产生更强且更可解释的提取模型。 尽管取得了进展，大多数最先进的接近方法[25]、[26]、[27]、[28]、[29]仍然依赖相关性。许多方法增强了注意力[23]、[24]、[27]、[30]、[31]、[32]或融合机制[15]、[16]、[20]、[33]，但没有明确地将因果信号与混淆因素分离开来。静态融合方案，包括拼接[16]、[34]、交叉注意力[23]、[35]或图融合[17]、[18]，当视觉伪影或数据集特定偏差与关系标签共现时，往往会传播虚假相关性。一些近期工作[36]、[37]通过特征去噪或主题建模来处理噪声，其他方法利用检索或合成来丰富输入[21]、[28]，还有一些方法采用变分瓶颈来抑制无关信息[18]、[33]。这些方法提供了有价值的见解，但仍缺乏明确的因果干预或因果引导的融合。因此，模型在噪声、域外或低资源条件下往往表现退化。 鲁棒MRE的一个根本挑战是将真正导致关系判断的潜在成分与偶发或混淆信号分离开来。在多模态数据中，混淆因素可能源于数据集收集偏差、重复的背景模式，或文本标记与视觉物体之间频繁但非因果的共现。近期的图对齐[16]、[20]、[35]和物体-实体桥接[25]、[38]方法改进了显式的跨模态链接，但无法确保因果有效性。变分[33]和基于超图的方法[18]提供了更丰富的潜在结构，但通常优化的是预测准确性而非因果可分性。如图2(a)所示，传统多模态融合策略通常通过注意力或拼接机制聚合文本和视觉特征，隐含地假设所有跨模态信号具有同等信息量。然而，这种基于相关性的学习往往将因果语义与混淆变异纠缠在一起，使得视觉上相关但语义上无关的模式影响关系预测。为解决这一限制，我们提出了一个因果驱动框架CauDis-MRE，如图2(b)所示。我们的方法明确地将因果表示从偏差特征中解耦，并进一步采用反事实干预来模拟替代多模态条件，从而强制模型依赖因果一致的证据而非虚假相关性。因此，需要一个明确建模生成过程并隔离核心因果特征的框架，以减少对虚假相关性的依赖。 一旦识别出因果成分，下一个挑战在于自适应地整合模态，使决策反映因果贡献而非固定启发式。现有的自适应设计包括分层上下文学习器[34]、用于噪声社交平台的焦点与门控机制[37]以及视觉上下文学习器的混合[34]。然而，很少有方法采用因果证据作为路由信号来控制专家分配。一种因果感知路由机制可以动态地将样本分配给处理不同因果模式的专门专家，从而相比于均匀融合策略提高鲁棒性和可解释性。这一设计与图2(b)所示的架构一致，其中因果解耦的表示作为路由信号指导专家专业化，使模型能够捕获多模态语境中异构的因果模式。 受这些挑战启发，我们提出了CauDis-MRE，一个集成因果解耦、反事实干预和自适应专家融合的统一框架。具体而言，它采用因果表示学习视角来建模多模态关系提取，明确地将决定关系的因果语义与文本和视觉流中的混淆变异解耦。基于解耦的因果表示，该框架执行表示级反事实干预来合成因果一致的样本，从而正则化训练过程并提高鲁棒性。学到的因果特征随后用于引导混合专家（MoE）融合引擎。我们的设计从对齐和图桥接策略中汲取灵感来建立跨模态对应关系[16]、[17]、[20]，分层视觉条件和针对性视觉引导用于局部接地[23]、[35]、[39]，以及基于MoE的专门化用于异构因果模式[34]。为了减轻噪声，我们纳入了去噪和变分原理[33]、[36]，为了增强跨领域鲁棒性，我们采用了检索和合成增强策略[21]。 本文的贡献总结如下： • 我们提出了CauDis-MRE，一个用于鲁棒多模态关系提取的新颖框架。该框架将关注点从纯统计相关性转向因果解耦推理，解决了模态偏差和数据噪声的挑战。 • 我们提出了一种三组成部分机制，包括因果特征解耦（CFD）、反事实干预增强（CIA）和因果感知混合专家融合（CAMF）。CFD跨模态分离因果语义与混淆因素，CIA执行潜在反事实干预以强制对虚假相关性的不变性，CAMF根据因果相关性动态整合多模态证据。这些模块共同使模型能够学习真实的因果依赖关系，抑制模态特定偏差，并实现自适应融合。 • 在基准数据集上的广泛实验证明CauDis-MRE优于最先进方法。实验表明，我们的方法在准确性、噪声鲁棒性、跨领域泛化能力和低资源设置方面均表现卓越。 小节片段 多模态关系提取 多模态关系提取（MRE）旨在从配对的文本和图像中识别实体之间的语义关系。与单模态关系提取不同，MRE必须整合异构特征，同时缓解跨模态噪声和语义不对齐。由于视觉信号可以补充或扭曲文本语义，关键挑战在于捕获真正决定关系有效性的因果视觉-文本交互。早期研究强调结构化的跨模态方法 在本节中，我们首先建立MRE任务的正式定义，然后系统阐述新引入的CauDis-MRE模型。 数据集与评估指标 为严格评估所提出的CauDis-MRE框架，我们在两个已建立的多模态关系提取基准上进行了实验：MNRE[74]和MORE[38]。这些数据集呈现了不同的挑战，包括语义不对齐、虚假的跨模态相关性和不同的物体-实体交互复杂度，使其适合评估模型的鲁棒性和泛化能力。两个数据集的关键统计信息汇总在表1中。 MNRE来自Twitter的精选数据， 结论与未来工作 在本文中，我们提出了CauDis-MRE，一个用于多模态关系提取的因果驱动框架，旨在提高对多模态虚假相关性的鲁棒性。与主要依赖基于相关性的多模态融合的传统方法不同，我们的框架在表示学习过程中明确建模因果语义并缓解模态特定偏差。具体而言，我们引入了因果特征解耦（CFD）模块来分离因果关系信息 CRediT作者贡献声明 魏鹏飞：撰写——审阅与编辑，撰写——初稿，可视化，验证，方法论，数据整理，概念化。王开运：撰写——审阅与编辑，资源，方法论，形式分析，数据整理。李尚硕：撰写——审阅与编辑，可视化，验证，资源，方法论，数据整理。胡沁泰：可视化，验证，监督，项目管理，方法论，资金获取，概念化。曾毕：可视化， 利益冲突声明 作者声明他们没有已知的竞争经济利益或个人关系可能影响本文中报告的工作。 致谢 本工作得到国家自然科学基金重点项目（项目编号：62237001）的资助。 魏鹏飞|王开运|李尚硕|胡沁泰|曾毕|冯广