引言
图文检索是视觉-语言理解中的基本任务，旨在根据文本查询找到最相关的图像，或根据图像查询找到最相关的文本（Wei et al., 2024）。核心挑战在于弥合视觉数据的像素级异质性与语言描述的符号性之间固有的语义鸿沟——这一问题已被众多研究所强调（Gordon et al., 2024）。近期的基准测试如UniIR，以及Gordon等人进行的不匹配分析，证实了鲁棒的跨模态对齐仍然是一个关键的开放问题。
现有方法可根据其推理机制大致分为两类范式（Diao et al., 2021）。基于交互的方法——如SCAN和SGRAF——通过令牌级或区域级交互计算细粒度的跨模态相似度（Fu et al., 2023）。近期，HREM等方法通过建模层次关系进一步细化了这一方法。尽管这些方法实现了高精度，但在检索过程中需要为每个查询-图库对计算成对交互，导致计算复杂度高达 O(N2)，严重限制了其在大数据库中的适用性。相比之下，基于嵌入的方法采用双流编码器，将图像和文本独立编码到共享的嵌入空间中（Chen et al., 2021）。开创性工作如VSE++和VSRN为这种注重效率的范式奠定了基础（Zhu et al., 2023）。随后，GPO和ESA等方法通过更优的聚合策略提升了性能（Liu et al., 2020）。检索过程通过预计算表示上的简单向量相似度计算即可完成，从而实现高效的 O(N) 检索（Radford et al., 2021）。这种效率优势使得基于嵌入的方法成为实际部署场景的首选。轻量级架构在资源受限场景或实时应用中尤其有价值；然而，它们的性能往往远低于CLIP和BERT等大型预训练模型，这正是本文旨在解决的核心挑战。
在基于嵌入的方法领域，特征聚合与表示学习方面已取得了显著进展（Han et al., 2026）。VSE++引入了硬负例挖掘来增强三元组损失训练，为基于嵌入的检索建立了强有力的基线。VSRN利用图卷积网络对检测到的区域间的视觉语义进行推理。GPO提出了广义池化算子，能够自适应地生成变长特征序列的聚合权重（Cheng et al., 2021）。近期，ESA引入了外部空间注意力，将局部特征投影到一个外部的、可学习的映射空间中，实现维度聚合，以紧凑的架构在基于嵌入的方法中取得了最先进水平的性能（Huang et al., 2023）。HREM在片段级和实例级两个层面捕获层次关系，从而通过显式的关系建模提升嵌入质量。尽管上述工作在特征聚合方面追求卓越，但我们注意到它们都遵循一个共同的底层假设——静态样本点和独立的评分机制——而这恰恰构成了性能提升的天花板。
尽管取得了这些进展，我们观察到现有基于嵌入的方法仍面临两个限制其性能的根本性局限：训练过程中嵌入空间的探索不足，以及推理阶段的相似度度量次优（Xu and Yin, 2025）。标准训练流程使用固定的样本表示来优化模型，将每个数据点视为嵌入空间中的一个单一、静态实体（Liang et al., 2023）。这限制了模型探索语义流形边界的能力，可能导致次优的嵌入分布。尽管ESA引入了自扩展损失（SEL）——对外部注意力矩阵施加dropout以生成扰动表示——但它仅将这些扰动用于损失计算，并未显式扩展有效样本空间（Zhang et al., 2020）。因此，围绕每个样本的嵌入空间仍未被充分探索，表示的鲁棒性仍有改进空间（Li et al., 2026）。
此外，基于嵌入的方法通常依赖余弦相似度进行检索；该方法独立地计算成对分数，而未考虑相似度矩阵的全局分布结构（Hou et al., 2024）。这使得检索过程容易受到高维空间中众所周知的"枢纽性问题"的影响——即某些图库项目成为"枢纽"，被错误地检索为大量查询的最近邻，无论其实际语义相关性如何（Jiang and Li, 2025）。在高维空间中，距离分布趋于高度集中，导致某些点频繁占据Voronoi区域的中心位置，不可避免地导致这一现象。当嵌入空间呈现各向异性分布时，枢纽性问题尤为严重。
为同时解决这两个局限，我们提出了一种训练-推理协同优化（TIC）框架，系统地增强检索流水线的两个阶段（Li et al., 2024）。如图1所示，我们的框架基于ESA骨干网络，引入了三个互补的组件：首先，在训练阶段引入嵌入空间自扩展（ES2），通过独立随机注意力掩码生成多个动态视图；这显式扩展了有效样本空间，使模型能够探索更广泛的嵌入边界并学习更具鲁棒性的表示。其次，GloVe语义先验注入利用预训练语言模型初始化文本编码器，提供丰富的语义先验知识以加速收敛并改善跨模态对齐（Wu et al., 2026）。最后，在推理阶段应用的双Softmax校准（DSL）是一种零参数的后处理技术，通过纳入全局分布信息重新校准相似度矩阵，从而有效抑制高维空间中的"枢纽性"伪影（Li and Li, 2024）。TIC框架的核心优势在于其训练与推理优化的互补性：前两个组件生成了具有更丰富语义结构的嵌入，而后者进一步利用了由此产生的相似度矩阵的全局分布特性（Wang et al., 2025a）。在MS-COCO和Flickr30K数据集上进行的广泛实验表明，通过这种协同优化范式，我们的方法显著优于强大的基线模型——即使仅采用轻量级文本编码器，也实现了最先进水平的性能（Pham et al., 2024）。
本文的主要贡献总结如下：
- •
我们首次揭示并验证了基于嵌入方法中"训练空间探索不足"与"推理度量偏差"之间的耦合关系，并提出了一种训练-推理协同优化（TIC）框架来解决这一系统性矛盾，为联合优化表示质量和相似度度量提供了一种原则性方法。
- •
我们设计了三个互补的组件来支撑该框架：在训练阶段，引入嵌入空间自扩展（ES2）策略，通过随机注意力掩码生成多个视图，从而促进更具鲁棒性的嵌入学习；同时，利用GloVe语义先验注入在跨模态对齐方面获得显著收益。在推理阶段，采用双Softmax校准技术在所有配置下提供一致的性能提升。
- •
我们通过详尽的实验和经验分析提供了充分的实证证据，证明了多视图扩展优于单视图扰动，并验证了所提出的三个组件的互补性质以及协同优化范式的有效性。
