语义流形感知跨模态相似性学习

《Neural Networks》：Semantic Manifold-Aware Cross-Modal Similarity Learning

　　

•提出了 SMSL，一种感知流形的结构化图像 - 文本匹配框架。
•构建了基于 token-token 关系图的文本语义流形。
•引入了一种流形介导策略用于选择性视觉特征聚焦。
•设计了一种动态阈值机制用于自适应相似性决策。
•在 MS-COCO 上实现了鲁棒的性能提升并提高了可解释性。
引言
图像 - 文本匹配（ITM）是视觉 - 语言研究中的基本任务，旨在建立视觉和语言异构模态之间精确的语义对应关系。它是跨模态检索、视觉 - 语言预训练以及广泛下游理解任务的核心组件，同时为视觉问答（Chen 等，2022）、具身智能（Polat 等，2025）和多模态推理（Zhang 等，2025）等高级能力提供基本的语义对齐基础。随着深度学习和大规模预训练模型的快速发展，ITM 在包括电子商务、智能医疗和人机交互在内的现实世界应用中展现了日益增长的研究和实用价值。相应地，现有研究已从早期的粗粒度全局对齐演变，转向强调局部交互和多级语义结构的更深层次表示，旨在追求更复杂语义条件下稳定且可泛化的跨模态关联。然而，现实世界中的图像 - 文本对可能共享高语义相似性，但在结构关系上仍然不对齐，因为文本描述通常在对象属性、动作关系或组合逻辑的细粒度层面存在差异，而视觉内容经常受到背景杂乱和语义无关区域的支配（Thrush 等，2022）。这种近邻不匹配样本对相似性建模提出了更严格的要求，模型不仅要捕捉表面语义相似性，还要确保底层结构语义层面的一致性。事实上，细粒度跨模态对齐和结构约束在更广泛的多模态场景中至关重要，这在文本引导图像修复（Zhou 和 Long，2023a）、文本 - 视频检索（Li 等，2024a）以及多模态预训练的自适应图像 - 文本质量增强（Huang 等，2026）中得到了证明，进一步凸显了对可靠语义交互的需求。

为实现这一目标，现有的 ITM 方法大致可分为几种代表性范式。第一种遵循基于交叉注意力机制的交叉编码器范式（Lee, Chen, Hua, Hu, He, 2018, Liu, Mao, Liu, Zhang, Wang, Zhang, 2019），通过构建视觉和文本 token 之间的细粒度交互来增强匹配判别力，并在关系理解和组合一致性建模方面显示出明显优势。虽然该范式通常需要为每个候选图像 - 文本对进行配对交互编码，导致计算成本高。因此，大规模检索系统通常采用两阶段架构作为实际折衷方案。第二种范式专注于基于图或关系建模的方法（Guo, Yang, Li, Qian, 2025, Li, Gan, Cheng, Liu, 2019, Liu, Mao, Zhang, Xie, Wang, Zhang, 2020），显式编码对象 - 属性 - 关系结构，为跨模态对齐提供更可解释的结构锚点，但通常对结构构建质量和训练稳定性敏感。第三种范式以基于相似性匹配的双塔表示学习为代表（Faghri, Fleet, Kiros, & Fidler, Kiros, Salakhutdinov, & Zemel, Zhang, Mao, Zhang, Zhang, 2022a），将图像和文本映射到共享嵌入空间，并通过相似性计算进行高效检索。由于其良好的可扩展性和部署效率，该范式已成为大规模 ITM 系统的主流选择。

在双塔范式下，以正负样本判别为中心的对比学习已成为训练图像 - 文本匹配中相似性函数的主导机制（Wang, Liu, Li, Sheng, Yan, Wang, Shao, 2019, Wei, Xu, Yang, Ji, Wang, Shen, 2020）。通过扩大匹配和不匹配对之间的相似性差距 - 通常通过硬负样本挖掘进行增强 - 该范式鼓励模型建立判别性决策边界。尽管具有可扩展性和效率，这种方法在样本语义相近但结构不同的场景中遇到显著局限性。在这种情况下，正负对的分数分布经常重叠，导致决策边界模糊和排名行为不一致。虽然现有研究试图通过加强跨模态交互或优先考虑更难的负样本来缓解这一问题（Li, Bin, Liao, Yang, Shen, 2023, Zhang, Mao, Wang, Zhang, 2022b），但在决策层面仍存在根本局限性，因为大多数方法依赖于统一的全局阈值或固定余量。这种静态约束无法适应不同样本固有的多样化语义接近度和结构复杂性。

图 1 (a) 对这种现象提供了直观的说明。当复杂结构语义被投影到单一、受限的相似性空间时，逻辑上不同的样本 - 例如捕捉通用概念（如"人"）而忽略关键属性约束的失败案例 - 倾向于聚集在紧密接近的地方。在这种情况下，静态阈值（由红色虚线表示）不可避免地面临权衡，宽松阈值无法排除硬负样本，而严格阈值则有抑制具有多样化表达的有效正样本对的风险。这一观察表明，除了细化特征表示外，相似性决策机制应显式利用结构先验。受此洞察启发，我们从语义流形的角度重新制定相似性学习。这里，"语义流形"指的是由 token/实体关系诱导的操作语义拓扑，而不是严格的微分几何或低维流形假设。与主要使用结构关系进行表示传播或局部对齐的传统基于图或树的 ITM 方法不同，我们的重点在于诱导的语义拓扑如何影响最终的相似性决策。因此，SMSL 将结构化语义建模从文本表示增强扩展到视觉定位和自适应正负边界校准。与优先考虑曲率属性的几何流形学习不同，我们的方法强调由 token 依赖关系诱导的拓扑组织和结构约束，使相似性决策从启发式距离比较转向感知流形的条件决策建模。

为了解决上述挑战，我们提出了语义流形感知相似性学习（SMSL），一种感知拓扑的相似性学习框架，它保留了双塔范式的效率，同时显式地将结构化语义证据与最终匹配决策连接起来。与现有的感知结构或图引导的 ITM 方法不同，现有方法主要使用对象、属性、关系或场景图进行表示增强和局部对齐，SMSL 不止于构建结构化文本特征。而是进一步将诱导的语义拓扑转移到视觉和决策阶段。如图 1(b) 所示，SMSL 首先解析文本序列为对象 - 属性 - 关系结构，并通过 TMI 构建感知拓扑的文本证据。生成的语义锚点随后被 MVG 用于引导视觉区域选择，以便抑制视觉上显著但语义无关的区域。最后，与主要调整训练约束或样本权重的感知硬负样本或动态余量方法不同，MDT 根据感知拓扑的跨模态证据和匹配确定性校准正负决策边界。这样，SMSL 通过将结构化语义建模从表示构建扩展到视觉定位和决策级相似性校准，从而与现有类似方法不同，使语义接近但结构不一致的图像 - 文本对能够实现更细粒度的判别。

总之，本文的主要贡献总结如下：
•我们提出了 SMSL，在高效的双塔 ITM 框架内桥接了感知拓扑的语义表示和自适应相似性决策。
•我们基于 token-token 语义关系拓扑构建了操作性的文本语义流形，并设计了拓扑注入和自适应融合机制以获得感知拓扑的文本嵌入。
•我们引入 MVG 使用感知拓扑的文本锚点进行视觉区域定位和噪声抑制。
•我们开发了 MDT 以基于感知拓扑的跨模态证据和匹配不确定性执行决策级边界校准。

本文其余部分的组织如下。第 2 部分概述了与本文研究相关的近期工作。第 3 部分全面概述了所提出 SMSL 的框架实现和具体方法设计。第 4 部分阐明了实验细节，并进行了一系列消融实验、对比测试和视觉分析，以验证 SMSL 的有效性和合理性。第 5 部分总结了本文的贡献，讨论了当前工作的局限性以及未来的潜在方向。
章节片段
图像 - 文本匹配
早期的 ITM 方法主要采用双编码器架构，图像和文本被独立投影到共享嵌入空间中，并通过余弦相似性或内积做出匹配决策。代表性方法包括 VSE（Kiros 等，2014）及其改进变体 VSE++（Faghri 等，2017），后者通过引入最硬负样本挖掘显著提升了检索性能。随着大规模预训练的兴起，双塔
方法
本章系统阐述了所提出的语义流形感知相似性学习（SMSL）框架，其整体架构如图 2 所示。本章的组织遵循从理论动机到方法实现的原则性推进。具体而言，第 3.1 节形式化了跨模态匹配中结构化不匹配的问题，并阐述了流形建模的理论动机。第 3.2 节详细介绍了解析
数据集与实施细节
数据集。为验证所提出方法的有效性，我们在两个广泛采用的跨模态图像 - 文本检索基准上进行了广泛实验：Flickr30K（Plummer 等，2015）该数据集包含 31,783 张图像，每张图像标注有五句描述性句子。遵循标准的 Karpathy 划分（Karpathy 等，2014），我们将数据集划分为 29,000 张训练图像、1,000 张验证图像和 1,000 张测试图像。MS-COCO（Lin 等，2014）作为一个更大规模的
结论
本文解决了 ITM 中相似性学习的一个根本局限性，即其建模结构化语义的能力不足。为此，我们提出了 SMSL，一种语义流形感知相似性学习框架，将语义结构显式地纳入相似性决策过程中。现有方法在语义内容高度相似但关系结构不同时，常受决策边界模糊之苦。为克服这一问题，我们重新审视相似性
在稿件准备过程中生成式 AI 和 AI 辅助技术的声明
在本工作准备期间，作者使用了 Gemini 和 GPT 以优化学术语言，提高方法描述的连贯性，并协助翻译与语义流形感知相似性学习相关的技术术语。使用此工具后，作者根据需要审查和编辑了内容，并对出版文章的内容承担全部责任。
CRediT 作者贡献声明
朱立奇：写作 - 审查与编辑，写作 - 初稿，方法论。韩德智：监督，资金获取。陈重庆：监督，资金获取。
竞争利益声明
作者声明没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
致谢
本研究由国家自然科学基金支持（资助号 61873160，资助号 52501420），以及上海自然科学基金支持（资助号 25ZR1401156，资助号 25ZR1402184）。
朱立奇 | 韩德智 | 陈重庆