受拉格朗日启发的基于力的深度度量学习损失函数

《Neural Networks》：A Lagrangian-Inspired Force-Based Loss for Deep Metric Learning

　　

# 摘要

深度度量学习目标通常定义期望的嵌入分布，而将交互方向和幅度留作隐式处理。我们引入一种受拉格朗日启发的"力优先"框架，通过将保守的嵌入空间交互加以规定并整合进一个标量目标。在固定的交互配置下，该目标的负梯度可恢复所规定的力场。该框架识别并量化了三个力设计原则：内在困难挖掘、通过锚点自适应交互范围实现的边界控制，以及基数加权的力平衡。其基于力的实现定义了势能度量损失，而环形缩放投影保留了径向变化并限定了嵌入范数。在冻结编码器的线性评估中，我们的损失方法在所比较的目标中取得了最高的top-1准确率：CIFAR-10上为96.04%，CIFAR-100上为77.61%，ImageNet-100上为85.94%，相比监督对比损失的提升达到2.88个百分点。在长尾CIFAR-100（不平衡比200）上，准确率为55.54%，而监督对比损失为33.43%，提升了22.11个百分点。在此不平衡度下，类内离散度与质心间距离的尺度无关比率整体更低（0.7387对0.8372），在最稀有的十个类别中亦然（1.0607对1.3000），表明在基数偏斜下类级组织结构得到了更好的保持。在类不相交细粒度检索中，我们的损失方法在CUB-200-2011和Cars196的每个评估深度上均取得了最高的Recall@K，至少比相应次优结果高出4.07个百分点，证明了向留出类别的有效迁移。环形缩放投影使所有五种评估的欧几里得度量学习目标相比?2归一化提升了1.91至7.16个百分点。这些结果表明，力优先的目标构建是从期望的嵌入交互到度量学习目标的一条原理化和经验有效的路径。

# 引言

深度度量学习旨在学习判别性表示，使语义相关样本靠近而无关样本分离（Kaya和Bilge，2019）。这些吸引和排斥交互的强度和范围主要由训练目标控制。因此，损失设计是控制所学习度量表示的几何、判别性和可迁移性的核心途径。

现有的深度度量学习目标通过成对或元组级约束、基于代理的类别表示或批级对比目标来组织监督（Khosla等，2020；Qian等，2019；Schroff等，2015）。尽管它们比较的实体和聚合方式各不相同，这些方法通常遵循"损失优先"的范式：先定义一个标量目标以偏好所需的表示几何结构。例如，三元组损失明确鼓励类内紧凑性和类间分离（Schroff等，2015），而对比目标可解释为通过拉近正对来优化对齐（Wang和Isola，2020）。这种视角规定了所学习表示应满足的几何关系，但未必规定了一个目标向量场来指导各个嵌入在优化过程中的演化方式。因此，尽管"拉近正例、推远负例"这一经典原则是大多数度量学习公式的基础，但每次交互的意图方向和幅度，以及它们对对样本难度和类别基数的依赖性，往往仍是隐式的。

多项研究，包括Zhang等（2020）和Khosla等（2020），分析了度量损失关于其嵌入向量的梯度，以阐明这些目标在表示空间中的作用方式。这类分析揭示了已定义损失所诱导的更新场。然而，"先定义标量目标再检验其梯度"这种自上而下的传统工作流程并不能保证所诱导的场在方向和幅度上都与期望的交互场相匹配。因此，我们反转了这一工作流程：我们先规定期望的嵌入空间交互场，然后推导与之兼容的标量目标，采用一种自下而上、力优先的度量损失构建范式。

这种逆向构建的核心要求是，所规定的嵌入空间场必须可积分为标量目标。一种受拉格朗日启发的"力-势"框架特别适合满足这一要求，因为它为保守交互提供了直接的逆关系。对于保守交互，势能从负功积分获得，而所得势能的负梯度在固定交互配置下可恢复所规定的场。因此，我们将成对嵌入交互定义为保守力，并将其聚合势能等同于度量学习损失。这一公式化的区别在于目标构建的方向而非能量解释本身：期望的交互场先于相应标量势的获取而被规定。这种"力-势"对应关系为构建目标和解释其诱导的嵌入空间更新结构提供了原理化基础，详见第3.1节。

在此基础上，有效的力构建需要交互规则既反映度量学习目标，又反映对比集的组成。第3.2节的分析识别了三个核心设计原则：内在困难挖掘、通过自适应交互范围实现的边界约束，以及基数加权的力平衡。内在困难挖掘要求交互幅度与对样本难度一致变化；自适应交互范围决定哪些正对和负对保持活跃；基数加权的聚合防止所表示类别中采样成员的数量直接决定该类别的聚合贡献。分析进一步表明，InfoNCE（van den Oord等，2018）和SupCon（Khosla等，2020）等基于归一化softmax的目标所诱导的每对交互幅度未必遵循期望的单调难度排序。在这些原则的指导下，我们构建了有界单调的吸引力和排斥力，其活跃范围围绕每个锚点的局部配置自适应调整，其聚合平衡正样本和被表示负类别的贡献。积分这些力得到闭式成对势，其基数加权聚合定义了我们称为势能度量损失（PEML）的标量目标，详见第3.4节。

由于PEML通过欧几里得距离构建，保留角度和径向变化对于实现其预期交互至关重要。常规的?2归一化虽限定了嵌入空间，但将每个嵌入限制在单一半径上，从而抑制了径向更新。因此，我们在第3.3节中引入了环形缩放投影（ASP）。ASP将嵌入映射到有界的球形环形区域，保留径向变化的同时保持有界输出范数。这一各向同性映射与PEML的中心力构建兼容，也可作为其他欧几里得距离度量学习目标的输出参数化。

实证研究在平衡和长尾表示学习、类不相交检索以及互补的几何和机制分析中评估了该公式。在CIFAR-10和CIFAR-100（Krizhevsky，2009）以及ImageNet-100（Barbano等，2023；Deng等，2009）上，PEML记录了所比较目标中观测到的最高冻结编码器线性评估准确率。聚类和质心相对分析进一步表明，这些改进伴随着更连贯的类级组织，而非仅限于拟合的线性分类器。在CIFAR100-LT上，随着不平衡比的增加，在与SupCon及ProCo（Du等，2024）所评估的表示目标的比较中，PEML显著更好地保持了线性评估准确率；在不平衡比为200时，它超过SupCon达22.11个百分点。在类不相交检索中，PEML在CUB-200-2011（Wah等，2011）和Cars196（Krause等，2013）上记录了每个报告深度上观测到的最高Recall@K，支持向基准训练留出类别的有效迁移。相比之下，Stanford Online Products（Song等，2016）和In-Shop Clothes Retrieval（Liu等，2016）表现出更依赖于方法和深度的排序，从而划定了检索增益的基准依赖范围。此外，用ASP替代?2归一化使所有五种在共同CIFAR-100投影比较下评估的欧几里得距离目标提升了1.91至7.16个百分点。总之，这些发现表明，所提出的构建有利于类级组织、在严重基数偏斜下的保持以及细粒度迁移，同时在不同的检索设置中保持了明确界定的适用范围。

我们的主要贡献总结如下：

- 我们引入了一种用于构建深度度量学习目标的力优先框架。该框架不是先定义标量损失再回顾性地分析其梯度，而是先规定保守的嵌入空间成对交互场，并通过积分推导相应的势能。在固定交互配置下，所构建势能的负梯度可恢复所规定的场，使嵌入空间交互的预期方向和幅度成为明确的设计量。
- 我们识别并解析地刻画了深度度量学习的三个关键力设计原则：内在困难挖掘、通过锚点自适应交互范围实现的边界控制，以及基数加权的力平衡。我们将这些原则转化为关于吸引力和排斥力交互方向、幅度、活跃范围和聚合的定量规定，从而提供了一个将深度度量学习需求转化为可积保守力场及相应标量目标的理论框架。PEML是该框架的具体实现，通过构建满足这些规定的有界单调力并积分得到闭式成对势而获得。
- 我们展示了PEML在平衡表示学习、严重类频率不平衡和类不相交检索中的强跨领域有效性。在所比较的目标中，PEML在CIFAR-10、CIFAR-100和ImageNet-100上实现了观测到的最高冻结编码器线性评估准确率；在包含ProCo表示目标的比较中，在每个评估的CIFAR100-LT不平衡比上均保持最高准确率，在不平衡比为200时超过SupCon达22.11个百分点；在CUB-200-2011和Cars196的每个报告深度上均记录了观测到的最高Recall@K。这些结果建立了强大的类级判别性、对基数偏斜的显著鲁棒性以及向基准训练留出类别的有效迁移。
- 我们引入了ASP作为?2归一化的有界各向同性松弛，保留欧几里得嵌入空间中的径向变化。它对PEML及其他四个欧几里得距离目标的持续改进表明，它提供了一种可重用的输出参数化，而非专门针对所提出损失的机制。
- 我们建立了PEML的实证增益伴随着连贯且抗不平衡的表示几何结构，且未引入大量额外计算成本。在标准表示分析和受控不平衡设置中，PEML产生了比SupCon更具类一致性的聚类和更有利的质心相对组织，且在严重基数偏斜下更好地保持了这种结构。机制消融实验支持了单调难度依赖交互和基数加权的力平衡的作用，而替代核分析表明基于力的构建超出了默认力配置。这些优势以与SupCon相同的渐近损失计算时间和辅助内存复杂度获得，仅有微乎其微的实测运行时间和VRAM开销。

# 小节片段

## 深度度量学习的损失函数

深度度量学习目标可沿几个互补的轴线组织。我们考虑嵌入交互如何构建和归一化、通过何种几何和相似度度量发挥作用，以及训练目标与下游检索或验证标准的对齐程度。这些视角并不互斥；共同地，它们为在更广泛的度量学习领域框架中定位后续开发的公式提供了基础。

## 基于力的损失推导

本节阐述基于力的损失推导的理论基础。尽管梯度分析的合理性各有不同，以下更新机制是它们的共同核心：

$$f(s) \leftarrow f(s) - \eta \frac{\partial \mathcal{L}(D(s))}{\partial f(s)}$$

其中 $f: S \to \mathbb{R}^{d_{\text{emb}}}$ 表示嵌入映射，$s \in S$ 是输入样本，$\eta > 0$ 是步长，$\mathcal{L}$ 是由嵌入空间距离 $D(s) = \{d(f(s), f(q)) \mid q \in S \setminus \{s\}\}$ 构建的标量损失。尽管这一抽象可更普遍地容纳可微距离，我们使用欧几里得距离。

## 实验

在本节中，我们首先在标准视觉基准上测试我们的框架，包括CIFAR-10和CIFAR-100（Krizhevsky，2009），以及由ImageNet（Deng等，2009）使用Barbano等（2023）的100类综合词表列表构建的ImageNet-100。这些实验使用冻结编码器的线性评估。我们随后评估向基准训练留出类别的迁移能力，在四个标准的类不相交深度度量学习检索基准上进行，采用共享的训练和评估设置。

## 结论

在本工作中，我们引入了一种力优先的框架，该框架在构建标量深度度量学习目标之前先规定期望的嵌入空间交互。我们识别并解析地刻画了三个关键力设计原则——内在困难挖掘、通过锚点自适应交互范围实现的边界控制，以及基数加权的力平衡——并将其表达为关于交互方向、幅度、活跃范围和聚合的定量规定。通过……

## CRediT作者贡献声明

Byung Do Cheon：写作 – 审阅与编辑，写作 – 原稿撰写，方法论，调查研究，形式分析，概念化。Jeongmin Yu：写作 – 审阅与编辑，软件，调查研究。Jungeun Kim：写作 – 审阅与编辑，调查研究。

金浩英（Ha Young Kim）：写作——审阅与编辑、监督指导、项目管理、获取资金。
利益冲突声明
作者声明不存在已知的财务利益冲突或个人关系可能影响本文所报告的工作。
资金支持
本工作由韩国政府（科学技术信息通信部）资助的韩国国家研究基金会（NRF）资助（编号：2023R1A2C200337911）。
Byung Do Cheon | Jeongmin Yu | Jungeun Kim | Ha Young Kim