面向多模态实体对齐的稳定化实例条件模态融合

《Information Fusion》：Stabilizing Instance-Conditioned Modality Fusion for Multi-Modal Entity Alignment

　　

# 摘要要点

- **ModalityGate** 从单模态表示生成实体级融合分数。
- **DVDC** 自适应调整惩罚以控制分散度并降低权重集中度。
- **ICMF** 在20%监督条件下以1.4和2.3个MRR点领先。
- 在六种方法中，**ICMF** 的参数数量最少，推理延迟最低。

---

# 引言

知识图谱（KGs）以结构化形式表示实体间的关系知识，支持问答、推荐系统和信息检索等应用。传统知识图谱主要通过符号信息（如关系三元组和属性）描述实体，难以充分捕获与实体相关的感知信息，包括图像和文本。多模态知识图谱（MMKGs）通过图像、文本描述和属性等多种模态丰富图结构，提供更丰富的实体表示 [1]。随着MMKGs持续增长，整合来自不同来源和语言的MMKGs变得日益重要。多模态实体对齐（MMEA）旨在识别不同MMKGs中指向同一真实世界实体的节点，是知识图谱融合的基础任务 [2]。

MMEA利用视觉和文本等多模态信号辅助跨图谱匹配，但融合效果取决于每种模态所提供的对齐相关信息。高质量模态可提升对齐精度，而低质量或缺失的模态则可能引入噪声 [3]。然而，模态信息的完整性和其对对齐的有效性均非固定不变，而是呈现多层次异质性，表现为不同KGs之间模态分布的差异、各模态间证据强度的差异，以及不同实体之间模态贡献的差异。

**首先，在图层面**，待对齐的两个KG往往高度不对称。以MMEA研究中广泛使用的两个跨KG数据集FBDB15K和FBYG15K，以及跨语言数据集DBP15K为例，图1从结构密度、关系多样性、属性覆盖率和图像覆盖率四个角度刻画了七个代表性图谱侧面。例如，FB15K的结构密度为每实体39.6个三元组，包含1,345种关系类型；而与之配对的DB15K和YG15K（YAGO15K）仅包含每实体7.7–8.0个三元组，YG15K仅有32种关系类型。相比之下，DBP15K中的语言特定KG较为均衡，结构密度范围为每实体3.6至5.8个三元组。在七个代表性图谱侧面中，图像覆盖率从64.3%到100%不等，属性覆盖率从75.0%到97.9%不等。

**其次，在模态层面**，即使所有模态均可用，它们对对齐的贡献也各不相同。例如，图结构提供邻域拓扑信息，而实体图像可能仅仅是无关的库存照片。Su等人 [4] 发现，FBDB15K上86.3%的等价实体对的图像余弦相似度低于0.5。

**最后，在实体层面**，同一模态在不同实体间的贡献也存在显著差异。例如，高度连接的节点包含丰富的结构上下文，而孤立节点的图结构分支难以获取有用的邻域信息；清晰的近距离肖像照比模糊的远距离照片更具区分性。

这些差异促使我们在实体-模态层面建模不同的融合组合，并在联合训练过程中稳定地优化相应权重。

MMEA研究已从所有实体共享融合系数发展为实体级自适应融合。EVA [5] 和MCLEA [6] 使用跨实体共享的模态系数，而MEAformer [7] 通过跨模态注意力生成实体级权重。后续工作通过权重校准、视觉去偏和专家路由改进了融合方法。例如，RICEA [8] 从模态间的相对交互中推导权重并应用不确定性校准，CDMEA [4] 通过因果校正缓解视觉偏差，HUMEA [9] 利用层次化混合专家动态调整模态贡献。这些方法主要关注实体级融合权重如何生成或校正，而对权重在联合目标下优化过程中的演变关注较少。多模态学习研究表明，不同模态可能以不同速率学习，较快适应任务目标的模态可能阻碍其他模态的充分学习 [10], [11]。当融合权重从相同的任务损失中联合学习时，它们之间的差异可能在训练过程中不断拉大。归一化引发的竞争，加上低权重模态的门控梯度较弱，可能持续放大这些差异，使得被抑制的模态难以重新获得足够的融合权重。

为解决这一问题，我们提出了**实例条件模态融合（ICMF）** 框架。对于每个实体，每个模态特定的ModalityGate在跨模态交互之前，从对应的单模态表示生成未掩码的融合分数 $\tilde{q}$。应用可用性掩码后，有效分数 $q$ 被归一化为实体级融合权重。为限制训练过程中分数比率的渐进性分离，我们进一步引入**双变量分散控制（DVDC）**，它根据 $\tilde{q}$ 的分散度统计量动态调整正则化强度。该控制机制在保留实体级融合权重差异的同时，减少了单一模态的持续主导地位。

本文的主要贡献如下：

- **我们提出ICMF。** ICMF为每个模态分配一个轻量级的独立参数化ModalityGate。在跨模态交互之前，每个门控从对应的单模态表示为每个实体-模态对生成未掩码的融合分数 $\tilde{q}$。应用可用性掩码后得到有效分数 $q$，归一化为融合权重 $w$。这些权重直接调节各模态分支对联合嵌入的相对贡献。该架构实现了细粒度的实体级模态融合，并为不同实体生成不同的图结构、关系、属性和图像权重组合。
- **我们提出DVDC。** DVDC对融合分数的分散度施加预算约束，并根据与目标预算的偏差自适应调整惩罚强度，从而在保留实体级权重差异的同时抑制单一模态的持续主导。该机制可提升实体对齐性能，减少后期退化，并降低模态权重集中度。
- **在三个基准上的实验** 表明，ICMF在低监督跨KG设置下表现尤为突出，在较高监督和跨语言设置下仍保持竞争力；在效率方面，其参数数量、表示生成延迟和推理延迟均为所评估方法中最低。

本文其余部分组织如下：第2节回顾相关工作，第3节介绍ICMF框架，第4节报告实验结果与分析，第5节总结全文。

---

# 相关工作片段

## 多模态实体对齐中的实体级融合权重

传统实体对齐主要依赖关系结构和属性信息。MTransE [12]、GCN-Align [13]、MRAEA [14] 和RREA [15] 分别通过跨图谱变换、图卷积、元关系和关系反射来建模邻域结构。MMEA进一步纳入图像等感知信号，从而引发如何通过统一加权方案组合多模态证据的问题。

早期的MMEA方法主要……

---

## 问题定义与符号

给定两个待对齐的多模态知识图谱，左侧为 $G_1$，右侧为 $G_2$：

$$G_k = (E_k, R_k, A_k, T_k, U_k, V_k),\ k \in \{1,2\}$$

其中 $E_k$、$R_k$ 和 $A_k$ 分别表示实体集合、关系集合和属性集合；$T_k \subseteq E_k \times R_k \times E_k$ 为关系三元组集合；$U_k \subseteq E_k \times A_k \times Y_k$ 为属性三元组集合；$Y_k$ 表示属性值空间；$V_k$ 表示与实体关联的视觉输入。我们考虑四种模态：

$$\mathcal{M} = \{\text{gph}, \text{rel}, \text{attr}, \text{img}\},\ |\mathcal{M}| = 4$$

对于实体 $e$，设 $x_{e,m}$ 表示其……

---

# 实验

我们围绕四个研究问题（RQs）组织实验：

- **RQ1**：ICMF在非迭代（NI）和迭代学习（IL）设置中的表现如何？
- **RQ2**：ModalityGate、DVDC和CrossModalLayer各贡献多少？
- **RQ3**：相较于无控制、硬截断和固定惩罚，DVDC能否改善后期保留并降低模态权重集中度？
- **RQ4**：为何图结构被排除在CrossModalLayer之外？

最后，我们将ICMF的训练和推理成本与五个基线方法进行对比。

---

# 结论

本文提出了ICMF——一种用于多模态实体对齐的实例条件模态融合框架。该框架为每个模态分配独立参数化的ModalityGate，从单模态表示生成实体级融合分数并归一化为融合权重；进一步引入DVDC，对融合分数分散度施加预算约束并自适应调整惩罚强度，从而在保留实体级权重差异的同时……

---

## 未引用浮动物

表C.6.

---

## 数据与代码可用性

源代码和实验脚本已公开发布在 https://github.com/yaolidong/ICMF。本研究分析的基准数据集可从第4.1节引用的原始来源公开获取。

---

## CRediT作者贡献声明

- **LiDong Yao**：原创草稿撰写、方法论、形式分析、数据管理、概念化。
- **Yang Li**：审阅与编辑、验证、监督、项目管理。
- **WenJie Cao**：可视化。
- **YunLong Zhao**：审阅与编辑、验证、监督、项目管理。

---

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

---

**LiDong Yao | Yang Li | WenJie Cao | YunLong Zhao**