基于CLIP的部分提示学习方法用于无监督的车辆重新识别

《Expert Systems with Applications》：CLIP-based Partial-wise Prompt Learning for Unsupervised Vehicle Re-identification

本文提出基于CLIP的全局到局部图像-文本对齐框架，通过部分文本提示（PTP）增强车辆细节特征识别，并设计VALR标签优化算法结合跨模态中心点优化伪标签权重，有效缓解无监督车辆重识别中的噪声问题。

　　
该研究针对无监督车辆重识别任务中的关键挑战，提出了一种基于CLIP的局部提示学习框架。在车辆重识别领域，现有方法存在两个主要瓶颈：首先，传统视觉语言对齐方法多采用全局图像特征，容易忽视车辆局部区域的细粒度差异，导致模型对遮挡、视角变化等场景的鲁棒性不足；其次，基于聚类生成伪标签的过程中，跨模态信息未被有效利用，伪标签质量难以保障。

研究团队通过构建"全局-局部"双层级对齐机制，在以下三个层面实现了创新突破：在特征表示层面，设计局部特征嵌入的文本提示模板，使CLIP文本编码器能够捕捉车辆轮毂、车灯等局部特征语义；在信息融合层面，提出跨模态中心点对齐算法，通过计算视觉特征空间和文本特征空间的聚类中心差异，动态调整局部特征的模态间关联权重；在伪标签优化层面，开发视觉语言对齐标签精修模块，将文本模态的语义先验与视觉模态的局部特征进行联合优化，显著提升伪标签质量。

该方法的核心创新体现在构建了首个全局到局部的多模态对齐框架。传统CLIP模型采用全局图像与文本对齐，但车辆图像中约68%的判别性特征存在于局部区域（实验数据验证）。为此，研究团队设计了分层对齐策略：首先通过CLIP图像编码器提取全局语义特征，同时采用滑动窗口机制提取车辆不同局部的细粒度特征；其次，开发动态文本提示模板，将局部特征向量映射为可学习的文本描述参数，实现视觉局部特征与文本语义的跨模态对齐；最后，建立双通道优化机制，既保持全局语义的一致性，又强化局部特征的模态间关联。

在伪标签优化方面，提出的VALR机制具有双重优势。实验数据显示，传统基于视觉模态的伪标签质量仅达到0.62（MCC评估），引入文本模态后通过计算跨模态中心点相似度（ cosine相似度从0.41提升至0.79），可生成更稳定的软伪标签。具体实现为：1）构建包含全局特征和局部特征张量的联合嵌入空间；2）分别计算视觉模态和文本模态的聚类中心；3）根据模态间中心点相似度调整伪标签权重分布。这种机制有效解决了传统方法中伪标签集中于少数主导簇的问题，使各簇标签权重分布更接近真实车辆类别分布。

实验部分验证了方法的显著优势。在VeRi-776和VehicleID两个基准数据集上，研究团队进行了全面对比测试。测试结果显示，在相同预训练模型和聚类算法设置下，引入局部提示学习的模型在ReID指标上平均提升11.3%，尤其在遮挡率超过40%的场景中，改进方法展现出更强的适应性。消融实验进一步证实：全局特征对齐贡献了58%的跨模态相似度，局部特征对齐贡献了32%，剩余10%来自动态权重调整机制。这说明分层对齐策略能有效平衡全局语义与局部细节。

研究团队还特别关注了跨模态对齐的稳定性问题。通过设计双阶段对齐过程：第一阶段进行全局特征对齐以建立基础语义关联，第二阶段进行局部特征对齐以增强细粒度区分度。这种渐进式对齐方法使模型在跨摄像头场景下（视角变化>30度）的匹配准确率提升了19.8%。实验还证明，当局部特征对齐强度超过全局对齐强度时（系数从0.3调整到0.7），模型对车辆改装部件（如轮毂、贴膜）的识别能力提升最为显著，F1分数从0.71跃升至0.83。

在伪标签优化方面，VALR机制展现出独特优势。对比实验表明，传统基于单一模态的伪标签方法在车辆重识别中平均损失18.7%的有效样本，而VALR机制通过跨模态中心点计算，使有效样本识别率提升至92.3%。具体到标签分配过程，该方法采用动态权重分配策略：当视觉特征与文本语义在局部区域的匹配度超过阈值（0.65）时，自动降低该区域的伪标签权重，转而依赖其他区域的匹配信息。这种机制有效抑制了因局部遮挡导致的伪标签噪声。

该研究在理论层面揭示了跨模态对齐的层次性特征。通过分析1.2万组车辆图像与对应文本提示的匹配模式，发现判别性局部特征（如车牌边缘、轮毂纹理）与特定文本描述的匹配度比全局特征高37%。这解释了为何分层对齐策略在车辆识别任务中具有显著优势。实验还发现，当局部特征占比超过全局特征（超过60%）时，模型对光照变化的鲁棒性最佳，PSNR指标提升14.2dB。

在工程实现方面，研究团队开发了高效的混合编码器架构。该架构将CLIP的图像编码器与改进的文本编码器结合，特别设计了局部特征嵌入模块。通过将车辆图像划分为6个固定区域（前部、轮毂、车灯、车身、后视镜、车牌），每个区域对应特定的文本描述模板。例如，轮毂区域模板包含"金属材质"、"旋转纹理"、"尺寸特定"等参数，这些参数通过对比学习动态优化。实验证明，这种区域化文本描述使局部特征提取效率提升23%，特征相似度计算时间减少18%。

研究还针对不同数据集特性进行了优化设计。在VeRi-776数据集上，主要优化了文本模板的多样性，通过引入场景描述参数（如"白天高速公路"、"夜间停车场"）来增强特征适应性。而在VehicleID数据集中，重点强化了局部特征的模态转换能力，通过设计多尺度局部特征提取网络（MLFEN），实现了从像素级到亚像素级的特征细化。对比实验显示，这种区域自适应机制使模型在密集遮挡场景下的识别准确率提升27.4%。

在伪标签更新机制方面，研究团队提出了增量式优化策略。传统的批量更新会导致特征漂移，而新方法采用滚动窗口机制，每处理10个新样本就进行一次局部特征更新。这种动态更新机制使模型在连续训练过程中保持了特征稳定性的平衡。实验数据显示，采用该方法后，模型在100次迭代后的性能波动幅度从12.7%降至4.3%，显著优于传统批量更新方法。

该方法在多个应用场景中展现出广泛适用性。在车辆跟踪任务中，通过将局部特征对齐结果作为跟踪约束条件，使车辆连续跟踪的ID切换率降低至0.3次/公里，优于现有方法1.2次/公里的平均水平。在异常检测领域，利用局部特征对齐差异构建检测指标，成功识别出85.7%的非法改装车辆，误报率控制在2.1%以下。这些应用验证了分层跨模态对齐策略在车辆智能监控中的实用价值。

未来研究方向中，研究团队特别关注动态环境下的持续学习能力。现有方法在训练数据覆盖全部场景（如白天/黑夜、雨天/晴天）时表现最佳，但在实际部署中可能遭遇未知场景。为此，计划引入元学习机制，通过少量新场景样本快速调整局部特征权重，使模型对新场景的适应速度提升40%以上。同时，研究将探索多模态融合的新路径，将文本模态与红外/热成像等多源视觉数据结合，进一步提升复杂环境下的识别能力。

该研究的重要启示在于：在视觉-语言对齐任务中，局部特征的模态转换需要全局语义的引导。实验数据显示，当全局-局部对齐系数（γ）在0.35-0.45区间时，模型在细粒度识别任务中表现最佳，此时的F1分数达到0.892，同时保持了89.7%的跨场景一致性。这种平衡机制为多模态融合模型的设计提供了重要参考。

通过构建分层对齐框架和动态标签优化机制，该研究不仅突破了传统视觉语言对齐方法的局限性，更为无监督车辆重识别开辟了新路径。实验证明，在VeRi-776数据集上，所提方法在ReID指标上达到0.823（对比基线0.718），在Top-1匹配准确率上提升19.4个百分点，同时在车辆重识别的多个子任务（如遮挡识别、视角鲁棒性）中均表现优异。这些成果为构建更智能化的交通监控系统提供了关键技术支撑。