动态校准与鲁棒蒸馏网络：面向文本到图像行人检索的语义噪声抑制与对齐优化方法

《IEEE Access》：Semantic-Aware Consistency Rectification for Cross-Modal Person Retrieval

　　

摘要：

文本到图像行人检索（TIPR）由于跨模态匹配的“一对多”特性面临重大挑战，即单一身份对应着多个具有不同视角的图像。标准的度量学习方法通常在文本描述和所有同身份图像之间强制实施刚性对齐，忽略了严格配对样本和非配对样本之间的语义不对称性。这种不加区分的“硬标签化”引入了优化噪声，并且未能考虑自然语言固有的词汇歧义。为了克服这些局限性，我们提出了动态校准与鲁棒蒸馏网络（DCR-Net）。我们的方法引入了配对引导一致性校正（PCR）模块，该模块利用严格配对数据作为可靠锚点，动态校准非配对样本的置信度，有效地抑制了轻微到中度干扰下不一致关联产生的噪声。此外，我们设计了一种语义知识蒸馏（SKD）策略，其中包含令牌级韧性建模（TRM）任务。通过利用动量教师模型的软概率分布，该机制增强了模型对语言变化和同义描述的鲁棒性。在基准测试上的大量实验表明，DCR-Net 通过在受控环境下表现出对语义噪声和对齐刚性的强韧性，实现了最先进的性能。