针对遥感图像与文本检索的测试时考虑候选项的双重细化方法 作者：张博凡（Bofan Zhang）和吴浩（Hao Wu）

《Remote Sensing》：Test-Time Candidate-Aware Dual Refinement for Remote Sensing Image–Text Retrieval Bofan Zhang and Hao Wu

　　**亮点：**
- **主要发现是什么？**
我们提出了一个基于测试时的双重精细化框架，该框架通过从检索到的候选对象中挖掘视觉证据来丰富稀疏的文本查询，并通过语义过滤来抑制复杂遥感图像中的背景噪声，所有这些操作都不需要重新训练检索基础架构。该框架在三个标准基准测试中一致地提高了检索准确率，并且能够很好地适应不同的检索基础架构，包括大规模的视觉-语言基础模型。

- **主要发现的意义是什么？**
利用检索到的候选对象作为测试时的反馈，为遥感图像-文本检索的基础架构改进提供了一个新的、互补的方向，有效地弥合了静态推理无法解决的跨模态语义差异。由于该框架在不需要重新训练基础架构的情况下运行在冻结的双编码器基础上，因此可以轻松地集成到现有的检索系统中，并有可能扩展到其他遥感视觉-语言任务中。

**摘要：**
遥感图像-文本检索（RSITR）是一项旨在实现大规模遥感数据库中视觉内容和文本描述之间高效双向匹配的关键任务。然而，它面临着一个根本性的挑战：稀疏、抽象的标题与密集的多尺度高分辨率图像之间存在严重的信息不对称。以前的工作主要集中在训练期间学习静态的跨模态表示；然而，这种冻结的推理过程在弥合这种不对称性方面存在根本性局限，因为它无法动态地补偿缺失的细节或解决异构场景中的视觉歧义。为了克服这一限制，我们提出了CADRE（测试时候选感知双重精细化）框架，该框架利用检索到的候选对象作为双向对齐的反馈，且不依赖于检索基础架构。CADRE基于一种新颖的“注入-抑制”范式，包括两个互补的模块：
1. **视觉-上下文注入（VCI）模块**通过结合自适应过滤机制从高置信度的候选对象中有效挖掘层次化的视觉证据，并通过领域适应的多模态大型语言模型（MLLM）将其注入查询中，从而解决文本的稀疏性问题。
2. **查询引导的消歧（QGD）模块**通过生成多视图视觉假设并利用查询作为语义探针来抑制背景噪声，从而解决视觉歧义问题。在三个标准基准测试（RSICD、RSITMD和UCM）上的广泛实验表明，该框架在多个强大的RSITR基础架构上具有良好的可转移性。

**引言：**
遥感图像在城市规划、环境监测、灾害响应以及许多其他高影响力应用中发挥着重要作用[1,2,3]。随着大规模遥感档案的快速增长[4,5]，遥感图像-文本检索（RSITR）已成为跨模态检索相关样本的基本工具，包括使用自然语言描述搜索遥感图像和为查询图像找到匹配的标题[6,7,8]。
在该领域中，独特的是，遥感图像覆盖了广阔的地理区域，其中具有辨识度的对象通常很小且密集分布。与普通自然图像的图像-文本检索相比，RSITR面临着更为严重的信息不对称问题[9,10]，如图1a所示。在视觉方面，遥感图像具有高语义密度和结构复杂性。单张高分辨率图像通常包含了多尺度特征，常常混合了异构的土地利用区域、复杂的布局以及密集的小对象群。相比之下，文本方面，标题本质上是有限和抽象的。标题要么只关注少数显著对象而忽略了更广泛的上下文，要么总结了全局场景但省略了小的但具有辨识度的细节，无法覆盖图像的多尺度内容。这导致了文本方面的语义稀疏性和图像方面的视觉歧义之间的根本性差距。

**结论：**
我们提出的CADRE框架在推理阶段操作，而不是在训练期间，它利用检索到的候选对象和多视图信息来自主修复粗略的文本查询，并在多尺度变化下解决视觉歧义，从而实现了对检索结果的显著改进。与传统方法不同，CADRE不需要重新训练基础架构，而是直接在推理过程中利用候选对象和多视图信息。我们的贡献有三个方面：
1. 我们提出了一个基于测试时的精细化框架，用于解决RSITR中的信息不对称问题，该框架利用基于候选对象的重排模块来增强冷冻的基础架构。
2. 我们引入了视觉-上下文注入（VCI）模块，该模块从候选图像中自主挖掘层次化的视觉证据，有效地弥合了文本方面的语义差距。
3. 我们引入了查询引导的消歧（QGD）模块，该模块利用查询作为语义探针来过滤视觉噪声，从而确保了图像方面的稳健对齐。

**材料与方法：**
2.1. **框架概述：**
如图2所示，所提出的候选感知双重精细化（CADRE）框架完全在推理阶段运行，以解决遥感图像-文本检索中的内在信息不对称问题。该框架遵循统一的“注入-抑制”范式，包括两个互补的模块：
- **视觉-上下文注入（VCI）模块**通过将挖掘到的视觉证据注入抽象查询中来解决文本的稀疏性问题。
- **查询引导的消歧（QGD）模块**通过语义过滤来抑制视觉冗余，从而解决视觉歧义问题。

2.2. **候选感知视觉-上下文注入：**
给定一个冷冻的RS图像-文本检索（RSITR）基础架构，我们引入了一个候选感知的视觉-上下文注入（VCI）模块。该模块通过两个不同的阶段来弥合语义差距：
- **离线准备阶段**通过LoRA微调为多模态大型语言模型（MLMM）提供辨识能力。
- **在线执行阶段**以一次性方式细化粗糙查询。

2.2.1. **自适应正向目标识别：**
首先，我们根据基线分数对所有图像进行排序以获取候选集。为了在候选集中识别有信息量的正向目标，VCI使用了一个统一的MLLM（实现为Qwen-VL）作为视觉验证器。为了在计算效率和对抗视觉噪声的鲁棒性之间取得平衡，我们采用了一种自适应的早期退出策略，并增加了安全保障措施。对于每个候选项，我们首先检查一个相似性阈值，以过滤掉置信度较低的异常值；置信度低于阈值的候选项将被跳过，以防止多语言模型（MLLM）在无关的噪声上产生幻觉。只有当置信度超过阈值时，我们才会触发进一步验证，以确认图像在语义上与查询是否匹配。关键的是，搜索遵循“首次命中即成功”的原则：第一个通过阈值检查并被MLLM验证为“是”的候选项将立即被选为伪正面锚点，扫描过程随之终止。这种机制确保系统专注于高质量的候选项，同时避免了对长尾噪声的不必要计算。如果在搜索深度K内没有候选项满足这些条件，视觉上下文注入（VCI）将默认采用纯文本方面的优化。

2.2.2. 场景感知的正面证据提取
考虑到伪正面锚点（如果有的话），VCI执行分层的、场景感知的证据提取，以获得既具有区分性又针对遥感特性的结构化视觉上下文。首先，使用针对空中图像定制的闭集提示来预测高层次的场景类别集。预测的类别被映射到一个领域特定的主题库中，该库编码了每个场景类型最有信息量的属性，如物体存在、空间布局和特征外观模式。在这些主题的指导下，进一步指示提取一组详细的视觉属性。响应被后处理成简洁的正面细节字符串，总结锚点图像的主要线索。应用一种轻量级的过滤策略来移除噪声或冗余的短语，这从经验上稳定了注入上下文的效果。

2.2.3. 查询优化和评分
该模块的最后一步是通过奖励与丰富正面证据一致的候选项来调整排名。如果有一个伪正面锚点可用，我们通过提示将原始查询和正面细节合并成一个连贯的句子来合成一个优化的查询，同时明确约束不得与原始意图相矛盾。当没有找到伪正面锚点时，我们调用一个保守的仅文本的润色提示来优化原始查询，提高其具体性和流畅性，同时明确保留其核心意义，并避免引入不支持的新细节。然后文本编码器对优化后的查询进行编码，我们计算它与所有图像嵌入（由编码器生成）的余弦相似度。我们将这个优化的相似度得分定义为VCI模块的输出。

对于那些明确识别并验证出有伪正面锚点的查询，我们优先考虑这个高置信度的证据，为其分配最高分。这个优化的得分捕捉了视觉上下文注入后的语义对齐，并随后被转发到最终的融合阶段（公式（7）中，与基线和QGD得分结合。整个VCI流程在算法1中进行了总结。

算法1 视觉上下文注入（VCI）
需求：查询q、图库图像、编码器、MLLM、参数K
确保：优化后的相似度向量

1: 计算所有候选项的基线得分
2: 根据得分降序选择前K个候选项
3: 初始化伪正面锚点
4: 对于每个候选项，按得分降序进行以下操作：
5: 如果...则...
6: 如果得分低于安全阈值则停止
7: 结束if
8: 提示验证q和...之间的一致性，得到结果y（二元“是/否”）
9: 如果y是“是”则...
10: ...
11: 结束if
12: 结束
13: 对所有候选项重复操作
14: 如果...则...
15: 通过...预测场景类别并选择主题
16: 从...提取视觉属性并将它们与q合并以生成优化后的查询
17: 否则
18: 使用仅文本的润色提示优化q
19: 结束if
20: 对优化后的查询进行编码，并计算其与所有图像嵌入的相似度，得到优化后的相似度向量

2.2.4. 多模态LLM的微调
尽管通用的MLLM表现出强大的通用能力，但它们往往缺乏与遥感特定语义细粒度的对齐。为了使MLM具备VCI所需的区分能力，我们使用从训练集中获得的监督数据进行参数高效的微调。我们通过为二元验证任务构建平衡的正负图像-文本对来构建指令微调数据集。正对对应于标记为“是”的真实图像-文本对。为了获得负对，我们使用冻结的骨干模型进行硬负样本挖掘，并为每个对检索最令人困惑的不匹配图像和标题。

在实践中，我们混合这些样本，并特别增加硬负样本的比例（例如，正负比例为1:2或1:4）在每个训练批次中。在此阶段，检索骨干模型保持冻结状态，以便MLM学会与骨干模型的相似性分布保持一致，从而在测试时的微调中可靠地识别伪正面候选项并拒绝硬负样本。

2.3. 查询引导的消歧
虽然VCI模块通过注入缺失的上下文有效解决了查询的语义稀疏性问题，但遥感图像的视觉表示仍然受到信息冗余和内在模糊性的挑战。单一的全局特征嵌入常常会将显著的目标与复杂的背景杂乱混合在一起，产生降低检索精度的视觉噪声。为了克服这个问题，我们提出了查询引导的消歧（QGD）模块。与被动平均特征的标准多视图增强不同，QGD基于“选择与抑制”的原则操作。它构建了一组视觉假设，并应用查询引导的语义过滤器来有效抑制背景噪声并消除视觉内容的歧义。

2.3.1. 假设生成和交互空间
我们不是将候选项对视为静态点，而是视为潜在解释的空间。为了将目标对象从混乱的背景中分离出来，我们通过随机多视图扰动（包括多尺度裁剪和块状屏蔽）生成N个视觉假设。对于每个视觉假设，随机选择两种操作中的一种。在裁剪分支中，采样区域保留了原始图像面积的大约40%–60%，同时保持了原始的宽高比；在屏蔽分支中，应用3–5个随机放置的矩形块，每个块覆盖图像范围的大约10%–20%。每个假设代表了场景的潜在解释——有些强调与查询相关的目标，而另一些主要保留背景杂乱或噪声。

2.3.2. 查询引导的语义过滤
为了区分信号和噪声，QGD采用查询引导的语义过滤器。该机制利用原始查询（编码）作为语义探针来评估每个假设的相关性。我们通过温度缩放的Softmax操作计算文本变体（用于视觉相关性）和视觉假设（用于文本真实性）的相应权重向量，以此来衡量文本变体的忠实度和视觉假设的语义相关性。其中，和分别控制分布的锐度。关键的是，作为消歧过滤器，如果一个视觉假设只包含与查询无关的背景杂乱，它与的相似度将会很低，从而将该假设抑制。这种机制有效地抑制了视觉噪声，确保紧密围绕查询中描述的语义目标形成的假设获得较高的权重，并在最终共识中占主导地位。

2.3.3. 消歧后的评分和融合
最终的QGD得分是交互矩阵的过滤后的总和，表示为双线性形式。这个得分代表了去除背景歧义后的纯化视觉相似度。最后，候选项的总检索得分是基线相似度、来自VCI的语义增强以及来自QGD的视觉消歧的稳健融合。

2.4. 数据集
为了全面评估我们提出的框架的有效性，我们在三个广泛使用的遥感图像-文本检索基准测试上进行了实验：UCM [38]、RSICD [39] 和 RSITMD [15]。RSICD数据集包含10,921张图像（像素），覆盖30个不同的场景类别，每个类别都有五个描述。RSICD以标题冗余和模糊性为特征，是一个强大的基准，用于测试模型对粗粒度查询和噪声的鲁棒性。相比之下，RSITMD数据集注重细粒度的语义对齐，包含4743张高分辨率图像，涵盖32个类别。它提供了更密集、关键词丰富的标题，强调了空间关系，这对检索具有细微视觉差异的图像提出了挑战。最后，为了评估泛化能力，我们使用了UCMerced-LandUse-Captions（UCM）数据集 [40]，其中包含2100张航拍图像（像素），每张图像都有五个高质量的简洁标题。尽管规模较小，UCM是一个理想的基准，用于验证模型是否避免过拟合于更大数据集的训练分布。遵循[9]中的标准协议，我们将所有三个数据集（RSICD、RSITMD和UCM）分为训练集（80%）、验证集（10%）和测试集（10%），以确保公平和一致的比较。

2.5. 评估指标
为了定量评估检索性能，我们采用了在RSITR研究中广泛使用的两个标准指标：K倍召回率（Recall at K）和平均召回率（Mean Recall mR）。K倍召回率（Recall at K） measures 在前K个结果中检索到正确真实目标的查询比例。正式定义为。平均召回率（Mean Recall）（mR）作为整体鲁棒性的综合指标，计算为所有文本到图像（Text-to-Image，T2I）和图像到文本（Image-to-Text，I2T）任务中召回率得分的平均值。这两个指标的较高得分表明检索精度更优，泛化能力更强。

2.6. 实现细节
我们使用CLIP-ViT-B/16作为图像-文本特征提取的基础骨干模型。为了建立一个稳健的基线，该模型使用复合目标函数进行优化，而不是简单的对比损失。具体来说，我们结合了标准的InfoNCE损失进行全局跨模态对齐，并补充了隐式关系推理（Implicit Relation Reasoning，IRR）机制 [41] 以捕捉细粒度的语义对应关系。此外，还使用了身份感知的识别损失（ReID）[42] 来增强场景类别的区分能力。输入的遥感图像被调整到像素的分辨率。为了适应骨干模型的输入限制，所有文本序列都被截断或填充到固定的最大长度77个标记。

VCI模块中的多模态LLM（Multimodal LLM）使用4B参数的Qwen-VL-Instruct模型实例化。为了将这个模型适配到遥感领域，我们使用Llama-Factory框架进行监督微调（Supervised Fine-Tuning，SFT），并采用低秩适应（LoRA）[43,44]。微调过程跨越六个时代，初始学习率为。为了平衡内存效率和训练稳定性，每个设备的批量大小设置为4，梯度累积步长设置为16。LoRA超参数配置为某个秩和某个缩放因子。对于RSICD和UCM，候选项搜索深度设置为，对于RSITMD则设置为。所有数据集的候选项过滤阈值固定为。

对于QGD模块，我们使用Qwen3-8B为每个查询生成文本变体，并通过随机多尺度裁剪或块状屏蔽为每个候选项生成视觉假设。实际设置中，RSICD和UCM的设置为，RSITMD的设置为。所有实验都是使用PyTorch 2.4.0实现的，并在配备两个NVIDIA RTX A6000 GPU（每个48GB VRAM）的工作站上进行。

3. 结果
3.1. 与最先进方法的比较
为了提供全面的比较，表1包括了来自几个主要类别的代表性RSITR方法。传统方法主要依赖于任务特定的匹配架构来提高跨模态检索性能，而基于VLP的方法利用大规模的视觉-语言预训练来学习更强的共享表示。我们还包括了最近基于基础模型的骨干模型，如RemoteCLIP和GeoRSCLIP，这些模型受益于额外的大规模预训练资源。它们的包含旨在展示CADRE转移到更强预训练骨干模型的能力。所有比较方法的结果都来自它们各自在相同基准协议下的原始出版物。我们方法的统计稳定性在表3中单独报告。

表1. 在RSICD和RSITMD数据集上与最先进方法的性能比较。最佳结果以粗体突出显示。

3.1.1. 在RSICD数据集上的性能
我们首先将提出的方法与RSICD数据集上的SOTA技术进行比较，详细结果列在表1中。我们的方法展示了全面的性能优势。与传统的CNN-RNN方法（如KAMCL（mR）和PIR（mR）相比，我们的标准模型实现了40.88%的显著mR，提高了超过14%。我们还保持了相对于最近基于VLP的方法的显著领先优势，分别超过了竞争性的AIR（mR）和RGAL（mR）4.64%和3.30%。值得注意的是，即使与在大型数据集上训练的基础模型相比，我们使用标准架构的方法也能取得更优越的结果。在图像到文本的任务中，我们获得了25.30%的R@1得分，比GeoRSCLIP高出4.17%。同样，在文本到图像的检索中，我们达到了18.35%的R@1得分，分别比RemoteCLIP（）和GeoRSCLIP（）高出3.62%和2.76%。这些跨指标的一致性提升证实了我们的方法在不依赖大规模预训练的情况下能够检索出显著更相关的候选项。

3.1.2 在RSITMD数据集上的性能
在具有更细粒度图像-文本关系的RSITMD数据集上，我们的方法继续超越现有基线，取得了最高的整体mR得分52.46%。与最近的SOTA方法CLGSA（mR）和AIR（mR）相比，我们的方法分别提高了5.83%和2.24%。与利用了大量外部数据的基础模型RemoteCLIP相比，我们的方法仍然具有明显优势，其mR得分几乎超过了RemoteCLIP的2%。特别是在具有挑战性的图像到文本R@1指标上，我们的方法达到了32.96%，比RemoteCLIP（）高出4.20%，比GeoRSCLIP（）高出0.66%。在文本到图像的任务中，我们的R@1得分26.90%，比RemoteCLIP提高了3.14%，比GeoRSCLIP提高了1.86%。这种一致的性能优势表明，我们的方法在区分细粒度检索场景中的难题负例方面表现出色。

3.1.3 可扩展性和通用性
为了进一步验证我们框架的可扩展性，我们报告了将我们的方法与最强大的基础模型RemoteCLIP和GeoRSCLIP集成后的结果。如表1底部所示，这种集成带来了绝对的性能提升。在RSICD数据集上，将我们的方法应用于GeoRSCLIP后，mR得分从提高到42.55%，绝对提升了3.68%。在RSITMD数据集上也观察到了类似的趋势，CADRE + GeoRSCLIP的组合获得了55.41%的mR得分，超过了原始的GeoRSCLIP（）。值得注意的是，当与RemoteCLIP结合使用时，I2T R@1得分分别提高到了36.95%和36.73%。这些比较表明，无论底层模型的容量如何，我们的方法都能在不同架构上持续提高检索精度。

3.1.4 在UCMerced-LandUse-Captions数据集上的泛化分析
为了进一步验证我们提出的框架在不同数据分布上的泛化能力，我们在UCMerced-LandUse-Captions（UCM）数据集上进行了额外的实验。尽管UCM的规模较小，但它是一个评估模型鲁棒性的严格基准。比较结果如表2所示。我们的方法在性能上优于最近的最新竞争者，包括PGRN[50]和RGAL[54]。具体来说，我们的方法取得了58.59%的mR得分，绝对超过了强大的基线PE-RSITR（）2.88%，以及最近的RGAL（）3.70%。这些在UCM上的一致性提升证实了我们的测试时精细化策略不仅仅是对特定数据集的过拟合，而是具有处理多样化遥感场景和标题风格的强大泛化能力。

3.1.5 重复推理运行的统计稳定性
为了评估我们框架的统计稳定性，我们固定了经过LoRA适配的MLLM权重，并使用不同的随机种子重复完整的推理流程五次。随机性来源于推理阶段中的随机组件，包括QGD假设生成中的随机多尺度裁剪和块状掩蔽。如表3所示，mR的标准差在两种架构配置和两个数据集中都保持在较低水平，证实了所提出的框架能够产生高度稳定的结果。

3.2 消融研究和分析
3.2.1 单个组件的贡献
我们通过逐步将视觉上下文注入（VCI）模块和查询引导消歧（QGD）模块加入到基线中，来分析每个提出组件的贡献，并检查特定领域LoRA微调的总体效益。详细的定量比较结果报告在表4中。

3.2.2 MLLM微调策略的有效性
为了更好地理解为什么微调对精度至关重要，我们研究了在不同训练设置下MLLM的验证精度与检索R@1指标之间的相关性。结果报告在表5中。我们首先观察到，通用MLLM缺乏领域敏感性。“朴素基线”（对所有内容预测为“是”）的验证精度很低，而“原始Qwen-VL（零样本）”在RSICD上的精度仅为。因此，其检索R@1（）并不理想。这表明，如果没有适应性调整，MLLM无法有效区分复杂的遥感场景中的真实匹配项和难题负例。相比之下，启用LoRA微调后，验证精度显著提高。当使用1:1的正负样本比例进行训练时，验证精度大幅提升。更重要的是，采用1:4的采样比例（强调难题负例）时，性能最佳。如表5最后一行所示，这种策略将验证精度提高到了，并进一步将R@1提高到了21.19%。这一结果揭示了一个关键见解：对于高精度检索（Top-1），MLLM必须在训练过程中接触大量的复杂负例。这迫使模型学习细微的区分特征，而不是依赖粗略的语义重叠。

3.2.3 对候选项搜索深度的敏感性
VCI模块中的候选项搜索深度K决定了检查的顶级图像范围，以识别伪阳性锚点。我们通过将其从1变化到6来研究K的影响，如图4a所示。观察曲线可以看出，随着K的增加，平均召回率（mR）最初有所提高。这是直观的：更大的搜索深度增加了在顶级候选项中找到真正语义匹配项的概率，特别是对于那些初始排名可能不高的难题查询。然而，当搜索深度超过这个最优点时，性能会下降。例如，在RSICD上，当K超过某个值时，mR下降。这是因为更深的搜索深度不可避免地引入了排名较低的候选项，这些候选项可能是难题负例或无关图像。使用这样的噪声样本作为视觉锚点会迫使MLLM提取无关的上下文，从而污染查询表示并误导检索过程。因此，适度的K值代表了在最大化正面召回率和最小化噪声注入之间的最佳平衡。

3.2.4 对增强视图数量的敏感性
我们进一步分析了QGD模块中增强视图数量的影响，该模块控制了视觉交互空间的密度。结果随着视图数量从1变化到20而在图4b中绘制。如图所示，随着视图数量的增加，性能急剧提升。这种快速提升证实了单视图表示在遥感中的局限性：单个全局裁剪通常无法捕捉到具有极端尺度变化或特定方向的物体。通过引入多视图增强，模型构建了一个对几何变换具有鲁棒性的共识得分。当视图数量达到大约7到9时，性能提升开始饱和。例如，在RSICD数据集上，mR稳定在某个水平，而增加更多视图带来的提升微乎其微或甚至略有波动。这表明7-9个多样化的视图足以覆盖场景的语义内容。进一步增加视图数量会带来递减的回报并增加不必要的计算开销。因此，在最终实现中，我们将增强视图的数量设置为7-9个，以平衡检索精度和推理效率。

3.2.5 对候选项过滤阈值的敏感性
尽管我们的框架采用了序列式提前退出策略来最小化延迟，但在top-K池中检索到的候选项的质量差异很大。如图5a中的得分分布所示，虽然基础架构通常能检索到相关图像，但存在一个明显的“长尾”低相似性分数的候选项。这些异常值通常代表难题负例或粗略检索器的失败。

3.2.6 对融合权重的敏感性
我们进行了详细的网格搜索，以研究融合权重对性能的影响，这些权重分别控制视觉上下文注入（VCI）和查询引导消歧（QGD）模块。我们在约束条件下评估了所有有效的参数组合。结果在图6中的复合热图中可视化，其中左下角的三角形代表RSICD数据集，右上角的三角形代表RSITMD数据集。最优配置用星号标记。实验结果表明，在两个数据集上都有统一的分布模式。对于任何一个单一维度，性能最初会随着参数值的增加而提高，然后又会降低。这一趋势验证了每个提出模块的有效性和合理性：加入细化信号可以提高检索精度，直到达到一个最佳点，之后过度加权可能会引入噪声。相比之下，最低的性能分数出现在参数空间的边界处。具体来说，在RSICD数据集上，当参数值设为1.0时，性能下降到最低的33.68%。在RSITMD数据集上，最低分数为47.59%，出现在两个参数都为零的初始基线情况下。这些极端情况下的显著下降，加上高性能的中央区域，表明仅依赖单一模块或静态基线是不够的。只有通过两个模块的共同作用，才能实现最佳的检索效果。关键的是，热图显示所提出的框架对参数变化具有鲁棒性，这从分布中心的大面积高值区域可以看出。对于RSICD数据集，当参数值在0.2到0.6之间变化时，模型保持高性能且稳定；而对于RSITMD数据集，参数值在0.1到0.3之间变化时，也表现出较高的性能。这个宽泛的操作窗口表明，我们的方法不需要精确的参数调整就能实现显著的改进。两个数据集的全局最佳配置都位于搜索空间的中心附近。RSICD的数据集在参数值为 和 时达到最佳性能；RSITMD的数据集在参数值为 和 时达到最佳性能。RSITMD上QGD模块的权重略高，这表明对于细节密集的数据集来说，解决视觉歧义尤为重要。

3.2.7 大规模基础模型的泛化能力
为了证明我们的框架可以即插即用地应用于任何冻结的双编码器检索框架，我们将评估扩展到最先进的遥感基础模型。具体来说，我们将提出的VCI和QGD模块集成到RemoteCLIP [21]和GeoRSCLIP [22]中，而无需重新训练它们的参数。表6总结了结果，显示了在不同架构和预训练规模下的一致性能提升。“+Ours”表示在冻结的检索框架中加入了视觉上下文注入（VCI）和查询引导消歧（QGD）模块，而无需重新训练框架本身。RemoteCLIP使用的数据量是标准数据集的12倍。如表6所示，无论底层的架构（ResNet-50、ViT-B/32或ViT-L/14）如何，我们的方法都能带来性能提升。关键的是，ResNet-50上的结果为我们框架对抗低质量候选项的鲁棒性提供了一个严格的测试。鉴于ResNet-50的能力有限和较低的基线（RSICD的mR为30.58%），最初的Top-K候选列表不可避免地包含更多噪声，从而增加了错误传播的风险。尽管有这样的挑战性初始化，我们的框架仍然显著提升了mR至34.95%。这一经验证据强烈表明，CADRE并不严格依赖于高精度初始化。相反，内在的安全机制（VCI中的严格验证和QGD中的噪声抑制）有效减轻了不可靠候选项的影响，使得系统即使从薄弱的检索基础中也能恢复有效的语义信号。此外，在强大的ViT-L/14框架上，我们的方法继续带来显著提升，将RSITMD的mR从提升至。这表明我们的贡献不仅仅在于纠正基本特征缺陷，还解决了即使是大规模模型也无法避免的固有静态推理限制。

3.2.8 VCI模块的鲁棒性分析
对于提出的“注入和抑制”范式来说，其在非理想条件下的弹性是一个关键考虑因素——特别是当初始检索质量较差或MLLM组件的能力变化时。我们在下面分析了这两个方面。
当初始基线检索质量极低时，VCI模块可能会将一个错误的负样本锁定为伪正样本的锚点，从而带来错误传播的风险。为了量化这种风险，我们对一个代表性的测试集进行了统计分析（查询数量），如图7所示。图7显示了在RSITMD测试集上错误锚点选择下的行为分析。情况1：当基线Top-1是正确的，但VCI选择了一个错误的伪正样本锚点时，置信度过滤和回退细化有助于限制性能下降。情况2：当基线不正确时，语义相关的错误负样本仍可以提供软语义校准并提高排名。当基线检索是正确的，但VCI错误地选择了一个错误的锚点时，注入的视觉证据可能会引起幻觉性的查询细化。然而，这种情况只发生在所有查询中的少数情况下（大约2%），这凸显了我们严格置信度阈值的有效性。更重要的是，当基线本身失败并且VCI选择了一个“错误”的锚点（即不是完全正确的真实值）时，我们的框架仍然在近三分之一的挑战性案例中改善了最终排名，同时在超过45%的案例中保持了性能。这是因为集成的MLLM进行的是软语义推理，而不是进行僵化的模板匹配：数学上“错误”的候选项通常仍然与真实值共享关键的后细粒度概念，这种共享的语义证据起到了积极的启发作用。在其余没有找到高置信度锚点的案例中，回退机制可靠地运作，防止了性能的灾难性下降。

除了候选项的质量外，MLLM本身的能力也是另一个潜在的变异来源。我们在相同的VCI流程下比较了三种Qwen-VL变体（2B、4B和8B），并观察到在4B规模处有一个细微的最佳点，它的性能略优于较小的和较大的变体。2B模型主要由于其有限的细粒度验证和复杂遥感场景中的上下文提取能力而表现不佳。尽管8B模型在一般的多模态理解方面更强，但在我们的设置中也略逊于4B变体。我们的分析表明，8B模型在验证过程中接受了更多错误的伪正样本锚点，导致仅使用VCI的检索性能较低，并且需要更小的最佳融合权重，表明其注入的上下文噪声更大，在评分融合时应减少信任。一个典型的失败案例涉及与机场相关的查询，8B模型接受了一个语义相关但不够具有区分性的候选项作为伪正样本锚点。虽然候选项包含机场相关的结构，但图像内容主要由周围背景区域主导，导致注入的上下文不够集中，细化信号也更加嘈杂。

总之，这些分析表明VCI模块在不利检索条件和不同模型能力下都保持了较强的错误容忍度。使用轻量级的4B模型实现最先进的细化进一步验证了CADRE无需巨大计算开销即可部署的可行性。

3.2.9 CADRE的推理延迟分析
我们进一步分析了CADRE的在线推理成本。实际上，该框架由一个快速的基线检索器和两个测试时细化组件组成，即VCI和QGD。由于QGD依赖于离线准备的图像增强和文本扩展，它在检索过程中引入的在线开销可以忽略不计。因此，CADRE的实际在线延迟主要由基线检索阶段和VCI的条件执行路径决定。与纯串行流程不同，VCI模块包含一个共享的候选项搜索/验证阶段，后面跟着两个不同的细化分支。当识别出一个伪正样本锚点时，模型会通过动态VQA和字幕聚合激活基于锚点的细化分支；否则，它会切换到一个轻量级的纯文本回退 polishing 分支。因此，CADRE的延迟应该根据触发的细化路径来条件性地解释。如表7所示，在相同的硬件配置下，基线检索器非常高效，每次查询只需要8.9毫秒。在快速的第一阶段检索基础上，CADRE的额外在线开销主要来自VCI。具体来说，候选项搜索/验证需要263.6毫秒，并且每次查询都会执行。如果找到伪正样本锚点，模型会跟随基于锚点的细化分支，总耗时为535.5毫秒，其中动态VQA是主要贡献者，耗时170.0毫秒。相反，如果没有可用的锚点，模型会切换到回退分支，总延迟减少到353.9毫秒。表7显示了CADRE每次查询的在线延迟分解。这些结果表明，CADRE的主要计算瓶颈在于多模态推理，而不是轻量级融合或回退操作。同时，开销在结构上是有界的：昂贵的基于锚点的细化分支仅在有锚点的情况下触发，而其余查询则由相对便宜的回退分支处理。对于基准数据集，QGD的释义是离线预先计算的；因此，报告的延迟数字主要反映了VCI的在线成本。对于实际部署中必须在线生成QGD释义的未见查询，每次查询会增加约350毫秒的文本释义时间。总体而言，CADRE展示了明显的质量-效率权衡。该模型在第一阶段保持了基线检索器的速度优势，同时在细化阶段引入了额外的测试时推理以提高检索质量。这使得CADRE更适合对准确性要求较高的遥感检索场景，在这些场景中，提高排名质量是合理的在线延迟增加的正当理由。未来的加速可能会集中在减少动态VQA的成本上，例如通过减少VQA调用次数、简化提示交互或在基于锚点的细化过程中应用更早的停止策略。

3.3 定性分析和可视化
3.3.1 视觉上下文注入的可视化
为了直观验证视觉上下文注入（VCI）模块的有效性，我们使用CLIP-ViT-B/16框架在图8中可视化了代表性的查询细化案例。前两行展示了成功的细化结果。原始用户查询通常存在不同程度的信息稀疏问题，从仅仅描述河岸为“肥沃”的模糊形容词，到忽略诸如小屋周围的“池塘”和“树冠”等区分性布局细节。VCI通过从候选锚点中挖掘层次化的视觉证据有效地解决了这些问题。它将抽象描述具体化，例如将“肥沃”转化为“有稀疏树木的清澈土地”，并用细粒度属性丰富了通用字幕，如“白色树冠结构”。

3.3.2 检索结果的比较
图9展示了在CLIP-ViT-B/16框架上，基线和提出的CADRE框架的前5个检索结果的定性比较。为了提高可读性并避免过多的数字文本，图像到文本（I2T）结果以简洁的关键词短语形式展示，而不是完整的句子级标题。绿色边框或文字表示匹配正确，而红色边框或文字表示匹配错误。图9展示了基线和CADRE之间的前5名检索结果的定性比较。对于每个示例，都展示了基线和CADRE的结果以便直接比较。在文本到图像（T2I）示例中，每个查询文本都会显示检索到的图像。在图像到文本（I2T）示例中，检索到的标题以缩略的关键词短语形式呈现，以提高可读性。绿色边框或文字表示匹配正确，而红色边框或文字表示匹配错误。在文本到图像（T2I）任务中，CADRE在几何结构和空间布局方面表现出更强的敏感性。在第一个示例中，查询“弯曲的桥梁建在陆地和海上”要求模型区分连接陆地和水的桥梁状结构与视觉上相似的河岸、道路或沿海地区。基线很容易被通用的弯曲水陆边界和桥梁状纹理所干扰，而CADRE则将正确的弯曲桥梁结构排在首要位置。这表明所提出的细化过程能够更好地保留查询的关键几何语义。第二个T2I示例进一步评估了模型理解物体计数和布局级约束的能力。查询“可以看到三个圆形道路结构”要求检索模型识别多个圆形道路模式，而不仅仅是单个环岛或视觉上相似的城市布局。与基线相比，CADRE更准确地捕捉到了重复的圆形结构，并抑制了仅包含孤立圆形区域或不相关道路模式的候选项。这些示例表明，所提出的框架不仅通过匹配全局场景类别来提高检索准确性，还通过增强细粒度空间推理来提高准确性。在图像到文本（I2T）任务中，CADRE还产生了更具语义真实性的文本匹配结果。在第三个示例中，查询图像包含一条被房屋环绕的圆形住宅道路。基线检索到了一些与房屋、草坪或道路交叉口相关的描述，但其中一些未能捕捉到独特的圆形道路拓扑。相比之下，CADRE检索到的标题强调了“圆形道路”、“环形道路”和“房屋”，这些与图像的主要视觉结构更一致。这表明，基于查询的细化有助于模型专注于最具区分性的空间配置，而不是依赖部分物体级的线索。第四个示例说明了CADRE在识别具有小但重要目标的多物体场景中的优势。给定一张包含多架停泊飞机和附近建筑的机场图像，基线倾向于关注大型背景结构，如白色建筑，而忽略了或淡化了飞机。CADRE检索到的描述明确提到了“四架停泊的飞机”和相关的飞机-建筑配置，显示出与图像关键语义内容的更好对齐。总体而言，这些定性结果证实了CADRE能够有效减少背景干扰，并在T2I和I2T检索中增强细粒度的跨模态匹配。

4. 讨论
除了第3节报告的实证改进之外，本研究的结果还揭示了一个更广泛的含义：检索到的候选项不仅可以作为最终排名输出，还可以作为纠正遥感图像-文本检索（RSITR）中跨模态不匹配的有用测试时证据来源。这一观察对于RSITR尤为重要，因为该任务受到信息不对称性的影响：文本描述通常稀疏且抽象，而覆盖图像在视觉上密集、多尺度，并且常常杂乱无章。通过将初始检索结果作为反馈，CADRE将传统的单次检索流程转变为一个考虑候选项的细化过程。在本节中，我们讨论了主要发现，将其与最新文献联系起来，并分析了所提出框架的局限性和剩余的差距。

4.1. 主要发现和含义
本研究的一个核心发现是，测试时的候选项反馈为静态跨模态嵌入提供了补充的信息来源。传统的双编码器检索模型只对每张图像和文本编码一次，并在固定的共享空间中计算它们的相似性。尽管这种设计效率很高，但它有限地补偿了稀疏标题中的遗漏细节或复杂遥感图像中不相关区域的问题。CADRE在RSICD、RSITMD和UCM中的持续改进表明，初始候选项集包含有用的视觉证据，可以在第一阶段检索后进一步利用。这表明静态RSITR模型的错误不仅仅是由于表示学习不足，还由于缺乏在候选项级别上的推理。

另一个重要的观察是，CADRE的两个细化方向解决了RSITR不匹配的不同但相关的方面。视觉上下文注入（VCI）模块主要通过从候选图像中挖掘验证的视觉证据并将其注入原始查询来提高文本侧的完整性。当标题仅描述全局场景或省略了小的但具有区分性的物体时，这一点特别有用。相比之下，查询引导的消歧（QGD）模块通过使用查询作为语义探针来过滤多视图视觉假设，从而提高图像侧的鲁棒性。这有助于减少背景杂乱、尺度变化和不相关局部区域的影响。消融结果表明，这两个模块都对最终性能有所贡献，支持了所提出的“注入和抑制”设计的动机：VCI增加了缺失的语义上下文，而QGD消除了令人分心的视觉歧义。

另一个含义是，当CADRE应用于更强大的检索框架时，包括基于基础模型的框架（如RemoteCLIP和GeoRSCLIP）时，它仍然有效。这表明，考虑候选项的细化不仅仅是补偿一个较弱的基线。相反，它解决了即使在基础模型经过大规模视觉-语言预训练后仍然存在的残余推理时不匹配问题。因此，CADRE应该被视为对基础模型改进的补充，而不是替代它们。这与本研究的总体目标一致：我们的目标不是设计另一个检索框架，而是研究如何在不重新训练基础模型的情况下，在测试时增强冻结的RSITR模型。

4.2. CADRE在最新RSITR和视觉-语言研究中的定位
最近的RSITR研究主要通过改进跨模态表示学习来推进该领域的发展。一部分工作专注于细粒度对齐，包括多尺度特征匹配、全局-局部融合、区域-词汇对应建模和结构化的跨模态交互[9,10,15,16,17]。这些方法旨在通过学习遥感区域和文本标记之间的更好对应关系来减少训练期间的语义差距。另一项重要的工作依赖于视觉-语言预训练和遥感基础模型。最近的调查表明，基础模型为遥感解释提供了强大的潜力，但其应用仍然受到自然图像和遥感图像之间固有差异的限制，以及与数据、模型设计和任务泛化相关的开放性挑战[55]。代表性的工作如参数高效的CLIP适配[20]、RemoteCLIP[21]和基于RS5M的GeoRSCLIP框架[22]通过引入大规模遥感图像-文本知识来提高RSITR模型的可转移性和泛化能力。最近，LRSCLIP进一步强调了文本细粒度的 importance，通过将遥感图像与更长的描述对齐[56]。这一方向与CADRE相关，因为VCI用基于候选项的视觉证据丰富了稀疏的查询，可能产生比原始标题更详细、更精细的查询。在未来的工作中，支持长文本的RSITR框架可能更好地编码这种丰富的查询，但细化过程仍应保持对查询的忠实性、基于候选项和相关性控制。

与这些最新方法相比，CADRE解决了检索流程的不同阶段。细粒度对齐和基于VLP的方法主要在推理之前改进表示空间，而CADRE则关注推理过程中出现的残余不匹配。换句话说，现有的以框架为中心的方法试图使图像和文本嵌入更具区分性，而CADRE则探讨了最初检索到的候选项是否可以重新用作反馈以进一步细化匹配过程。在标准CLIP框架和遥感基础模型上都获得的积极结果表明，这两个方向是互补的。更强大的基础模型提供了更好的第一阶段候选项，而更好的第一阶段候选项反过来又为测试时的细化提供了更可靠的证据。这种区别也澄清了本研究的进步。CADRE的目标不是通过扩展预训练数据或模型容量来与最近的VLP方法竞争。相反，它引入了一种可以在推理阶段附加的细化范式，可以附加到现有的冻结的双编码器框架上。这为在基础模型重新训练成本高昂、不可用或不可取的情况下改善已部署的RSITR系统提供了一条潜在的实际途径。从这个意义上说，CADRE将最近的RSITR文献从主要关注训练阶段的视角扩展到了测试时考虑候选项的视角。

4.3. 与测试时细化和基于MLLM的检索的比较
所提出的框架也与最近关于LLM或MLLM辅助检索的研究相关。查询重写和文本侧细化方法使用语言模型来丰富、重组或扩展文本查询[26,27,28,29,30]。这些方法可以提高查询的表达能力，但它们往往是查询为中心的，可能不基于当前检索数据库的视觉证据。对于RSITR来说，这一限制很重要，因为添加不受支持的细节可能会改变检索意图，特别是当标题较短且遥感场景包含许多视觉上相似的物体时。最近的工作还探讨了测试时重新排名、局部概念细化、基于MLLM的相关性估计和测试时适应[31,32,33,34]。这些研究表明，推理时推理可以补充基础模型层面的表示学习。然而，它们的目标和假设与CADRE的不同。例如，TCR主要通过细化预测和在线更新模型来解决查询偏移问题，而CADRE则保持检索框架冻结，并在没有在线基础模型适应的情况下进行分数级和查询级细化。这种设计更适合模型稳定性和部署简单性重要的场景。

交互式检索方法，如对话式或多轮检索系统，进一步展示了反馈驱动搜索的价值[35,36,37]。然而，它们通常依赖于用户反馈、重复对话或迭代嵌入更新。这些交互式设计与典型的RSITR场景不太符合，因为在这些场景中，大型档案通常是自动处理的，并且更倾向于高吞吐量的检索。相比之下，CADRE执行单次候选项感知的细化。检索到的候选项本身提供了反馈信号，不需要额外的用户交互。这使得该框架与实际的遥感检索工作流程更加一致。因此，CADRE可以位于静态双编码器检索和完全交互式检索之间。它保持了冻结基础模型检索的效率和模块化，同时引入了一种有限但有效的测试时推理形式。关键区别在于，细化是基于候选项的、面向遥感的，并旨在解决RSITR的两个特定问题：稀疏的文本描述和视觉上模糊的覆盖图像。

4.4. 局限性和实际折中
尽管CADRE非常有效，但它仍有一些局限性。关于基础模型的兼容性，当前的实验是在CLIP家族内的双编码器架构上进行的，包括CLIP-ViT-B/16、CLIP-ViT-B/32、RemoteCLIP和GeoRSCLIP。在这些框架上的一致性增益支持了CADRE在双编码器范式内的通用性。然而，该框架尚未在根本不同的检索架构上进行验证，例如跨编码器、后期交互模型或生成式检索模型。由于这些架构表示和比较图像-文本对的方式不同，因此在将其应用于这些架构之前可能需要重新设计或调整候选项感知的细化策略。

MLLM验证器和生成器的可靠性是另一个重要的限制。如图8和第3.2.8节的统计分析所示，可能会出现两种主要的失败模式。过注入发生在MLLM描述了锚图像中视觉上存在但与查询无关的细节时，从而使细化的查询偏离了原始的检索意图。欠检测发生在MLLM错过了遥感图像中的小物体或低对比度物体时，导致重要的区分性线索被忽略。这些错误反映了MLLM中更广泛的忠实性和细粒度感知挑战[57,58]。在遥感场景中，这些问题由于小物体、密集的布局、低物体-背景对比度和大规模变化而进一步加剧。这个问题也与最近关于遥感视觉-语言数据质量的研究有关。例如，ScoreRS强调忠实和语义丰富的图像-文本描述对遥感VLM很重要[59]。同样，CADRE在测试时通过验证和过滤候选项派生的证据来进行质量控制，然后再将其注入查询中。

为了 mitigate 这些风险，CADRE 结合了几种保守的机制。相似性阈值在MLLM验证之前过滤掉置信度较低的候选项；首次命中成功的策略减少了对长尾噪声候选项的暴露；而仅文本的备用方案则防止在没有找到可靠的伪阳性锚点时注入不受支持的视觉细节。如第3.2.8节所报告的，只有在大约2%的查询中会出现灾难性的退化，而在选定的锚点并不完全准确的情况下，仍有近三分之一的情况能够获得更好的排名。尽管如此，MLLM的忠实度仍然是一个重要的限制因素。未来的工作应该探索显式的错误检测、不确定性估计、自一致性验证或外部地面模型，以更好地控制基于候选项的查询扩展的可靠性。在适应成本方面，尽管检索框架保持不变，但MLLM验证器需要一次性的离线LoRA适配到目标遥感领域。与完全重新训练的框架相比，这种适配较为轻量级，但仍需要特定任务的监督和难例的构建。在当前的实现中，难例是从冻结的框架的相似性分布中挖掘出来的，这有助于验证器与框架的混淆模式对齐。然而，这也可能限制决策边界的多样性。结合使用难例、对抗性负例或跨数据集的负例可能会进一步提高验证器的鲁棒性。效率是另一个实际的权衡因素。如表7所示，整个流程每个查询需要354-536毫秒，这取决于是否找到了伪阳性锚点，而仅基线检索器则需要8.9毫秒。当需要为之前未见过的查询在线生成QGD释义时，每个查询还会额外消耗大约350毫秒。对于离线、批量模式或对准确性要求较高的遥感检索场景来说，这种开销是可以接受的，因为在这种情况下，提高排名质量比严格的延迟更为重要。然而，当前的CADRE形式不太适合严格的实时应用，例如板载卫星处理或需要小于100毫秒响应的高度交互式浏览系统。在将CADRE部署到实际系统中时，应该考虑这种质量与效率之间的权衡。

4.5. 剩余的差距和未来方向
仍有几个开放性问题需要解决。一个关键的方向是提高基于MLLM的细化的可靠性。尽管CADRE通过候选项验证和备用机制减少了幻想性查询扩展，但未来的工作可以引入考虑不确定性的验证、多模态蕴含检查、对象级地面化或原始查询、选定锚点和细化查询之间的一致性约束。这些机制将有助于确保注入的细节既在视觉上有依据，也与原始检索意图相关。另一个重要的方向是提高测试时细化的效率和文本容量。CADRE的主要计算瓶颈在于多模态推理，而不是特征融合，可能的加速策略包括将MLLM验证器提炼为更小的领域特定适配器、减少VQA调用、缓存候选项级别的证据，以及仅对不确定的查询进行细化。此外，具备长文本处理能力的遥感视觉-语言框架（如LRSCLIP [56]）可能更好地编码VCI生成的视觉丰富的查询，使未来的CADRE变体在保持有效的跨模态对齐的同时注入更丰富的基于候选项的上下文。对于视觉方面的细化，未来的工作可以使消歧过程更加明确和可解释。当前的QGD模块依赖于多尺度裁剪、掩码视图和查询引导的加权，但未来的扩展可以结合对象提议、语义分割、遥感对象检测器或视觉地面化模块来构建更有语义意义的视觉假设。在跨区域、跨传感器、跨分辨率、跨季节、长查询和开放词汇表设置下的更广泛评估也是必要的，以明确基于候选项的细化的鲁棒性和部署边界。最后，尽管CADRE目前在得分级别上进行过滤，但未来的工作可以探索区域感知或对象感知的先验，以进一步加强在保留区分性视觉信号的同时抑制噪声的原则。

5. 结论
在本文中，我们通过提出CADRE（测试时基于候选项的双重细化）这一新颖框架，解决了遥感图像-文本检索（RSITR）中信息不对称性的根本挑战，该框架将范式从静态表示学习转变为动态的测试时适应。认识到静态嵌入通常无法捕捉遥感图像的复杂多尺度特性，CADRE引入了一种“注入并抑制”机制来弥合语义差距。在三个标准基准测试（RSICD、RSITMD和UCM）上的广泛实验表明，CADRE在不同强大基线上始终实现了显著的性能提升。除了数值上的改进外，我们的工作还强调了利用检索到的候选项作为反馈的关键价值。至关重要的是，作为一个不依赖于检索框架重新训练的框架，CADRE可以无缝集成到各种冻结的双编码器框架中。我们注意到，虽然检索框架在整个过程中保持不变，但该框架确实需要一次性离线LoRA适配MLMM验证器以适应目标遥感领域。未来，为了促进这种测试时框架在实时或严格受限的板载卫星场景中的部署，我们计划探索实际的进化方向和折中解决方案。这些包括：（1）通过研究轻量级提炼技术（将MLLM的推理能力转移到更小的适配器中）或部署地-空协作架构（卫星执行初步检索，地面站执行复杂的测试时细化）来减轻板载计算开销；（2）将基于候选项的细化范式扩展到其他密集预测任务，如遥感、视觉地面化和变更字幕。