用于跨模态图对齐的神经算子

《Pattern Recognition》：Neural operators for cross-modal graph alignment

　　张柏灵•图神经算子能够对跨模态图进行对齐，有效处理结构上的差异性。•明确的实体级对齐方式提升了图神经算子的可解释性。•通过加权损失函数，在稀疏对齐任务中可实现180倍的性能提升。•Flickr30K实验结果表明，较少的数据量下，精心设计的模型也能取得优异性能。•鲁棒性分析显示，在30%的噪声干扰下，模型性能下降仍低于4%。

引言
多模态人工智能需要将不同模态的语义表示对齐起来，以实现可靠的推理与理解。近年来，视觉语言模型通过大规模预训练取得了显著进展[1]，但这些方法会将复杂的输入压缩为全局嵌入，从而丢失对细粒度理解至关重要的结构细节。例如，要将“一只猫坐在窗户附近的垫子上”这幅图像与其文字描述对齐时，全局嵌入方法无法在视觉元素（猫、垫子、窗户）与对应的文字描述之间建立明确的关联，因此不适用于需要精确对齐的场景。在那些要求高可解释性的应用中，这一限制尤为突出：医学诊断需要视觉发现与文字报告之间的明确映射；机器人技术则需要准确理解指令中的空间关系；教育系统则必须建立视觉概念与其描述之间的清晰联系。

基于图的表示方法提供了一种有效的替代方案，它将实体作为节点、关系作为边来明确编码。视觉领域的场景图[2]以及语言解析产生的语义图[3]能够捕捉到全局嵌入所忽略的结构信息。然而，由于不同模态在规模、拓扑结构及语义方面的差异，要对异构图进行对齐仍然面临巨大挑战。近年来，模式识别领域有一些研究探索了用于跨模态理解的结构性匹配方法[4][5]，但现有方法要么将对齐简化为向量匹配，要么假设图结构是固定的。与此同时，神经算子学习领域的进展[6][7]展现了在学习函数空间映射方面的强大能力，不过这些技术尚未被应用于多模态任务中。

我们提出了图神经算子这一全新框架，它将跨模态对齐视为学习图结构表示之间的函数到函数映射。该方法将视觉图和文本图视为各自领域内的语义函数，从而使图神经算子能够学习出在保持结构关系的同时实现这两类函数空间之间映射的算子。这种表述方式天然地能够处理异构图结构，并提供可解释的节点间对应关系。

我们的主要贡献包括：
1. 多模态对齐的神经算子方法：我们运用神经算子技术来学习不同模态下异构图结构之间的映射关系，为模式识别中的结构对齐开辟了新的思路。
2. 稀疏标签的加权损失设计：我们设计了一种专门的损失函数，用于解决对齐标签中严重的类别不平衡问题，在具有挑战性的基准测试中实现了180倍的性能提升。
3. 具备可解释性的小样本学习：仅需500–5000个训练样本，图神经算子就能取得优异性能，同时还能提供必要的实体级可视化结果，这对于构建可信的AI应用至关重要。
4. 全面的评估：我们进行了大量实验，包括定量基准对比、四种噪声条件下的鲁棒性分析、规模效应研究以及消融实验，以全面验证所提出框架的有效性。

大量实验表明，图神经算子在实现高效且可解释的跨模态对齐方面表现出色，它架起了神经算子理论与多模态学习之间的桥梁。

相关研究
跨模态语义对齐已成为模式识别领域的一个核心挑战，其应用范围涵盖医学成像、机器人技术以及视觉理解等多个领域。我们回顾了视觉语言预训练、基于图的方法、图匹配、神经算子以及图聚类和图像文本匹配等方面的相关研究，从而明确了我们工作的定位。

问题定义
我们将跨模态图对齐定义为学习异构图结构表示之间的映射关系。给定一组图像-文本对，我们需要提取：
•场景图：Gimg=(V1,E1)，其中V1表示对象和属性节点，E1用于编码空间关系。
•语义图：Gtxt=(V2,E2)，其中V2代表语言实体，E2用于捕捉实体间的依赖关系。
这类图通常存在结构上的差异，一般而言|V1|远大于|V2|。我们定义如下语义函数：u:V1→Rd（视觉特征），v:V2→Rd′

实验设置
我们在两个基准数据集上测试图神经算子的性能：Visual Genome（VG）和Flickr30K Entities。通过这些测试，我们旨在判断图神经算子是否能够学习出稳定的函数到函数映射，是否有针对性的损失函数设计是必要的，以及学习得到的对齐结果是否具备可解释性。

Visual Genome包含108,000张图像，每幅图像对应的场景图平均有35个节点和40条边。我们使用5000对训练样本和1000对验证样本，通过依赖解析将文本转换为语义图（约15个节点）。

结论
本文提出了用于跨模态语义对齐的图神经算子方法，通过图结构表示之间的函数到函数映射，解决了全局嵌入方法的局限性。

未引用参考文献
[33], [34], [35], [36], [37], [38], [39], [40], [41], [42], [43], [44]

利益冲突声明
作者们声明以下可能被视为潜在利益冲突的财务利益或个人关系：Ba由宁波理工大学提供资助。张柏灵与宁波理工大学存在雇佣关系。除此之外没有其他需要声明的利益冲突。如果还有其他作者，他们也声明自己不存在任何可能影响本文研究成果的财务利益或个人关系。