基于缓存辅助的跨模态相关性校正技术，用于无监督的跨领域文本人物搜索

《Pattern Recognition》：Cache-aided Cross-modal Correlation Correction for Unsupervised Cross-domain Text-based Person Search

针对无监督跨域文本身份检索中的跨域难题，提出TC?方法，通过构建奖励和惩罚缓存进行测试时重排序，无需目标域微调即可有效缓解域差异，提升检索性能。

　　近年来，随着智能视频监控技术的快速发展，文本引导的人体搜索（Text-Based Person Search, TBPS）逐渐成为研究热点。TBPS的核心目标是通过自然语言描述，从大量的图像数据中检索出目标人物。这一技术在复杂环境中尤为重要，例如在低光、遮挡、盲区等条件下，传统的基于图像或视频的搜索方式往往难以满足需求，而文本描述则更具灵活性和可解释性。因此，TBPS在实际的监控应用中具有重要意义，其发展也受到广泛关注。

然而，尽管TBPS在许多研究中取得了显著进展，但在实际部署过程中，仍然存在诸多挑战。其中，一个关键问题是如何在跨域环境下保持良好的检索性能。跨域问题指的是不同数据来源之间存在显著的领域差异，这种差异可能导致模型在目标域中的表现大幅下降。尤其是在没有标注数据的情况下，即所谓的无监督跨域设置，这一问题变得更加复杂。在实际的长期运行监控系统中，由于光照、季节、场景等因素的变化，数据域会不断演变，而系统往往无法获取目标人物的身份信息或文本标注用于模型的微调。因此，研究无监督跨域文本引导人体搜索（Unsupervised Cross-domain Text-Based Person Search, UC-TBPS）成为提升TBPS实际应用效果的重要方向。

针对这一问题，许多研究尝试从不同的角度进行探索。例如，在单模态的人体重识别任务中，一些方法通过单模态跨域适应技术，利用伪标签（如伪身份）生成，以实现目标域中的进一步优化。然而，由于UC-TBPS任务同时面临跨模态和跨域的双重挑战，这些方法在实际应用中往往难以达到理想的效果。首先，生成高质量的伪文本描述是一项极具挑战性的任务，因为文本描述需要更丰富的语义信息，而不仅仅是简单的类别标签。其次，跨域适应通常需要大量的计算资源和额外的训练时间，这在实际部署中可能会限制系统的可用性和响应效率。

为了克服这些挑战，本文提出了一种全新的方法，即测试时缓存辅助的跨模态关联修正（Test-time Cache-aided Cross-modal Correlation Correction, TC?）。TC?方法的核心思想是通过测试时的后处理策略，无需进行目标域的微调，即可有效缓解跨域问题，从而提升检索性能。这一方法的优势在于，它能够利用更广泛的数据样本进行关联修正，而不会引入额外的计算开销。具体而言，TC?方法包括三个主要部分：缓存构建（Cache Construction, CC）、奖励与惩罚计算（Reward and Penalty Calculation, RPC）以及修正与重排序（Refinement and Re-ranking, RR）。在缓存构建阶段，首先对图像检索库进行聚类操作，然后基于聚类中心构建奖励和惩罚缓存，用于存储更多文本描述作为关联的参考。奖励和惩罚缓存的作用在于区分不同文本描述对跨域问题的影响方向，并将它们分别存储到不同的缓存中，以便进行有针对性的处理。在奖励与惩罚计算阶段，根据查询文本和参考文本，计算相应的奖励和惩罚值，以优化图像与文本之间的关联位置。最后，在修正与重排序阶段，利用优化后的图像与文本关联，对原始的检索结果进行重新排序，以提升整体的检索性能。

TC?方法的一个显著优势在于，它不需要在目标域中进行模型的微调，从而避免了复杂的伪文本生成和高昂的计算成本。此外，TC?方法在测试时进行处理，使得系统能够在实时应用中保持较高的响应效率。这种方法的另一个重要特点是，它能够充分利用图像检索库中的信息，通过聚类中心和缓存机制，实现对跨域问题的综合修正。具体而言，通过将图像检索库中的图像划分为不同的类别，可以更好地捕捉到不同领域之间的语义差异，并通过奖励和惩罚缓存进行修正，以提升跨模态语义对齐的准确性。

为了验证TC?方法的有效性，本文在多个典型基准数据集上进行了广泛的实验分析。实验数据集包括CUHK-PEDES和ICFG-PEDES，这些数据集在无监督跨域TBPS设置下具有代表性。通过对比不同跨域方向下的检索性能，本文展示了TC?方法在缓解跨域问题方面的显著优势。此外，TC?方法不仅适用于TBPS任务，还能够推广到更一般的无监督跨域图像-文本匹配任务中，从而验证了其方法的通用性和适应性。

综上所述，本文提出的TC?方法为无监督跨域文本引导人体搜索任务提供了一种创新的解决方案。该方法通过测试时的后处理策略，无需进行目标域的微调，即可有效缓解跨域问题，提升跨模态语义对齐的准确性。同时，TC?方法在计算效率和响应速度方面具有显著优势，能够满足实际监控系统对实时性和高效性的需求。通过在多个典型数据集上的实验验证，本文展示了TC?方法在无监督跨域TBPS任务中的有效性，同时也为其在更广泛的应用场景中的推广提供了理论支持。