超越已知边界：面向单域泛化深度度量学习的类中心两极化方法

《Pattern Recognition》：Beyond seen bounds: Class-centric polarization for single-domain generalized deep metric learning

　　

• •
  我们提出了CenterPolar，一个面向单域泛化深度度量学习（SDG-DML）的新型类中心极化框架，该框架通过动态扩展和约束域分布来应对未知类别和域偏移问题。
• •
  CenterPolar包含两个协同阶段：类中心离心扩展（C³E），通过将样本推离类中心来扩大域覆盖范围；以及类中心向心约束（C⁴），通过将样本拉向其类中心来确保类内紧致性和类间分离性。
• •
  在五个基准数据集（CUB-200-2011 Ext.、Cars196 Ext.、DomainNet、PACS和Office-Home）上的大量实验表明，CenterPolar在泛化性能方面优于现有的最先进DML和SDG-DML方法。

引言

深度度量学习（DML）旨在学习一个距离度量模型来衡量样本之间的相似性/差异性[1]，[2]，广泛应用于图像检索[3]、人脸识别[4]、[5]和对象重识别[6]等领域。DML的目标是在学习的度量空间中拉近同类样本、推远异类样本。以往DML研究主要集中在两个方向，即基于成对样本和基于代理的DML方法[7]，[8]。此前的DML仅关注已见域内的未知类别，而未考虑关于未知域的泛化能力研究。尽管模型在已见域上取得了良好性能，但由于源域与目标域之间的域偏移，其在未知域上的性能会大幅下降。在现实应用中，图像检索系统不可避免地需要在新的场景下查询图像。因此，在未知域上获得更好的泛化能力对于DML方法至关重要。

为实现这一目标，分布外泛化技术作为一种直接的解决方案，包括域适应（DA）[9]和域泛化（DG）[10]方法，已被提出用于提高学习到的度量模型的泛化能力。然而，在使用已见类别和域的训练数据时，DA和DG方法均无法直接应用于将DML模型泛化到具有不同未知类别和域的测试数据。主要原因有两点：（1）DA和DG均面向分类任务设计，其关注的是已见类别内的未知域，而非未知类别内的未知域；（2）与分类任务相比，DML主要侧重于学习数据间的相似性信息而非标签信息。最具代表性的DG方法是单域泛化（SDG），其在训练数据设置上与DML相同，仅需来自单一源域的数据即可进行模型训练。同时，现有的SDG方法[11]，[12]旨在缓解训练数据和测试数据之间不同分布所导致的域偏移影响。因此，与此前的DML不同，本文研究单域泛化深度度量学习（SDG-DML），以解决SDG和DML任务融合的难题。它面临双重挑战，即实际场景下训练数据与测试数据之间未知类别内的类别偏移以及未知域内的域偏移。因此，SDG-DML是一个更具挑战性的同时更贴近现实应用的真实任务。

具体而言，Yan等人首先开创了SDG-DML任务以促进DML领域的发展，并提出了针对SDG-DML的SEE方法，取得了显著的成功[13]。然而，迄今为止，SDG-DML任务中仅有SEE这一种方法。尽管如此，如图1(a)所示，SEE存在两个极易导致学习到的度量模型崩溃的局限性，即域扩展不足和类判别约束脆弱。具体而言，首先，SEE的域扩展基于代理，而这些代理的不稳定性[14]可能导致扩展后的特征空间覆盖出现偏差和不足。增强样本主要沿代理位置偏移，导致分布不平衡，仅能捕获目标域的一部分。其次，如图1(b)所示，由于缺乏对增强样本的显式聚类或约束，生成的特征在空间中较为分散，进一步削弱了模型区分未知类别和域的泛化能力。

为克服这些挑战，本文提出了CenterPolar框架用于SDG-DML，该框架能够模拟更多的潜在未知目标域，如图1(a)所示。CenterPolar包含两个协同的类中心极化阶段，即Class-Centric Centrifugal Expansion（C³E）和Class-Centric Centripetal Constraint（C⁴）。在C³E阶段，我们可控地扩展已见源域分布。对于每个样本，我们计算其类中心并生成一个增强样本。然后，我们将增强样本从相应的类中心向外推离，同时利用边缘约束来防止语义偏移和扩展崩溃。我们期望发现更多的潜在未知目标域，以学习域不变的度量。图1(b)对比展示了两种方法的训练过程。左侧可见，我们的CenterPolar能够有效扩展到更大的范围（橙色圆圈）；右侧可见，同一类的样本在特征空间中更加紧密地聚集（绿色圆圈）。图1(c)展示了测试结果，表明我们的CenterPolar相比SEE取得了优越的性能。我们的贡献如下：

• •
  我们提出了面向SDG-DML的新型CenterPolar框架，通过动态扩展和约束域分布来模拟更多的潜在未知目标域。我们的框架使度量模型能够学习具有类判别性和域不变性的距离度量，以适应未知类别和域，从而提高学习到的度量模型的泛化能力。
• •
  我们提出了两个协同的类中心极化阶段：C³E和C⁴。C³E采用离心扩展，将源数据推离类中心以扩大域分布，学习域不变的度量以适应未知域。C⁴应用向心约束，将所有样本拉向其类中心，确保类内紧致性和类间分离性，从而巩固类判别度量以适应未知类别。
• •
  我们在五个广泛使用的SDG-DML基准数据集上的实验表明，我们提出的方法在泛化性能上优于现有的最先进DML和SDG-DML方法。值得注意的是，与现有的SDG-DML方法（即SEE）相比，我们的方法在训练时间上也表现出显著优势。

本文其余部分组织如下：第2节综述相关工作。然后，第3节介绍我们提出的方法。接下来，我们在第4节通过实验来证明CenterPolar的优越性和有效性。最后，我们在第5节对本工作得出相应结论。

章节摘要

相关工作

在本节中，我们首先在2.1节回顾深度度量学习（DML）方法。然后，2.2节主要集中于DML方法的分布外泛化问题。最后，2.3节主要讨论DML和SDG领域中的数据增强方法。

方法

在本节中，我们首先在3.1节介绍本文的基本概念。接着，我们在3.2节介绍所提出的CenterPolar的动机。然后，我们在3.3节类中心离心扩展和3.4节类中心向心约束中详细描述了我们提出的CenterPolar框架。如图2所示，所提出的CenterPolar框架包含两个协同的类中心极化阶段，即C³E和C⁴，旨在有效地实现

实验

在本节中，我们首先在4.1节介绍实验设置。其次，在4.2节中我们将我们的方法与多种最先进的DML和SDG-DML方法进行比较，以评估不同方法的泛化能力并提供分析。第三，我们在4.3节展示消融实验。第四，我们在4.4节展示可视化结果。最后，我们在4.5节展示我们方法的计算复杂度。

结论与局限性

本文提出了CenterPolar，一个面向单域泛化深度度量学习（SDG-DML）的新型框架，通过类中心极化来解决类别偏移和域偏移的双重挑战。我们的CenterPolar方法引入了两个协同阶段：（1）类中心离心扩展（C³E）通过将样本推离类中心来动态扩展源域分布，以增强对未知域的域不变性；以及（2）类中心向心

CRediT作者贡献声明

Xin Yuan：写作–审阅与编辑，写作–原稿撰写，项目管理，方法论，调查研究，形式化分析，概念化。Meiqi Wan：写作–原稿撰写，可视化，验证，软件，资源，调查研究，形式化分析。Wei Liu：写作–审阅与编辑，验证，监督，形式化分析，数据管理。Xin Xu：写作–审阅与编辑，写作–原稿撰写，监督，资源，项目管理。Zheng Wang：写作–

利益冲突声明

作者声明他们不存在任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究获得以下资助支持：国家自然科学基金（编号：62376201）、湖北省自然科学基金（编号：2025AFB056）、湖北省教育厅科学研究计划重点项目（编号：D20241103）、湖北省智能信息处理与实时工业系统重点实验室（编号：ZNXX2023QNO3）、湖北省科技人才服务企业项目（编号：2025DJB059）、重点项目

Xin Yuan|Meiqi Wan|Wei Liu|Xin Xu|Zheng Wang