神经度量学习中受有限AMN启发的几何正则化(Finite AMN-Inspired Geometric Regularization for Neural Metric Learning)

《Mathematics》：Finite AMN-Inspired Geometric Regularization for Neural Metric Learning

　　

摘要：神经度量学习(Neural Metric Learning, NML)通常以检索准确率衡量性能，但所学得的相异度(dissimilarity)虽能对样本良好排序，却往往不具备类范数(norm-like)的代数结构。本文研究一个精确的有限样本问题：在以欧氏距离为锚点的神经相异度残差族(residual family)中，能否在不过度损害检索性能的前提下，降低关于齐次性(homogeneity)、次可加性(subadditivity)及潜层差异(latent difference)上二进重构(dyadic reconstruction)的抽样缺陷？该构造受渐近度量可赋范(Asymptotically Metrically Normable, AMN)向量空间启发，但其断言是有限、基于采样且作用于潜层空间的：并不证明全局AMN刚性，也不对输入空间认证度量(metric)。该框架的动机源于观察到许多所学相似度(similarity)具有形式 K = exp(?E/τ)，因而在有界亲和性(affinity)背后编码了无界的类距离量或类平方距离量，而AMN相关对象是此代价函数而非有界核值。研究人员形式化了大尺度比能(specific energy) E(nv,0)/n 的有界扰动稳定性、次可加性向乘法亲和一致性的转化，以及将大尺度代价为零的方向进行坍缩的商解释。随后数学推导引入有限二进诊断(finite dyadic diagnostics)、所学规范(learned-gauge)与凸单位球(convex-unit-ball)解释、有限范数包络见证(finite norm-envelope witnesses)、二进稳定性界(dyadic stability bounds)及见证范式塔(refinement towers of witness norms)。实证部分报告了基于监督对比(supervised-contrastive)与代理锚(proxy-anchor)式欧氏基线的Fashion-MNIST完整实验，含对收缩(shrinkage)、残差灵活性、训练外尺度(off-training scales)及潜层外推(latent extrapolation)的事后审计(post hoc audits)，以及十次随机种子的全查询/全候选库(full-query/full-gallery) UCI人体活动识别(Human Activity Recognition)基准测试。结果表明欧氏目标函数在Recall@1上可能更优，而受AMN启发的残差正则化显著减少了残差族内的有限类范数缺陷。本文贡献是一个针对所学潜层相异度的有限诊断与正则化框架，而非提出新的最优检索目标函数。

一、研究背景与问题提出

神经度量学习旨在通过神经网络学到一个潜层嵌入空间中的相异度度量，使同类样本靠近、异类样本远离，并以检索指标（如Recall@k）评估效果。然而实践中发现，即便检索性能优良，所学相异度往往不满足类范数的基本代数性质——即正齐次性(positive homogeneity)、三角不等式/次可加性(subadditivity)及零元处的一致性——这意味着该相异度缺乏严格的度量或伪范数(pseudonorm)结构，在理论分析与下游几何推理中存在隐患。已有理论中，渐近度量可赋范(Asymptotically Metrically Normable, AMN)空间描述了度量在无穷远趋于某范数诱导度量的性质，但这是全局渐近结论，难以直接应用于有限样本下神经网络所学的有界相似核（如 K = exp(?E/τ)，其背后隐藏无界能量 E）。因此，如何在有限采样设定下，对以欧氏距离为锚点的神经相异度残差族，定量诊断并正则化其类范数缺陷，同时维持检索能力，是本文拟解决的核心问题。研究人员提出一个受AMN思想启发的有限几何正则化框架，发表于《Mathematics》。

二、主要关键技术方法

研究人员构建以欧氏平方距离 ∥f_θ(x)?f_θ(x′)∥²为锚点的神经相异度残差族 d_ψ(x,x′)=∥Δz∥²+r_ψ(Δz)，其中 Δz=f_θ(x)?f_θ(x′) 为潜层差异，r_ψ为小残差项。关键技术包括：(1)定义有限二进诊断算子检测齐次性、次可加性及二进重构缺陷；(2)引入learned-gauge与convex unit ball解释，构造finite norm-envelope witnesses以量化最小包络范数偏离；(3)推导dyadic stability bounds约束残差项对次可加性的破坏程度，并设计refinement towers of witness norms逐层收紧；(4)在监督对比(SupCon)与Proxy-Anchor为基线的Fashion-MNIST数据集及十种子取样的UCI Human Activity Recognition（全查询/全gallery）基准上，加入AMN-inspired residual regularization项做post hoc audit，考察shrinkage、off-training scales与latent extrapolation行为，对比Recall@1与各类范数缺陷指标。

三、研究结果

Finite Dyadic Diagnostics（有限二进诊断）

研究人员定义了基于潜层差异 Δz 及其二进缩放(Δz,2Δz,Δz+Δz′) 的抽样齐次性与次可加性偏差算子，以及dyadic reconstruction defect。通过对训练集潜层嵌入采样计算，证实标准欧氏基线及普通对比学习所得相异度在这些诊断量上存在显著非零偏离，说明类范数结构在实际NML模型中常被破坏。

Learned-Gauge and Convex-Unit-Ball Interpretations（所学规范与凸单位球解释）

研究人员将残差族中的 r_ψ(·) 解释为对标准欧氏gauge函数的微扰，其所决定的单位球(unit ball)在潜层空间发生凸性扭曲。分析表明当残差过参化时单位球可严重偏离椭球形，这正是有限样本下norm-like defect的几何根源，从而为后续正则化提供几何直观。

Finite Norm-Envelope Witnesses（有限范数包络见证）

研究人员构造包络见证范数 ∥·∥_?，定义为在残差族约束下使 ∥Δz∥_?≈d_ψ^1/2(x,x′) 成立的最小Minkowski泛函，并计算其与欧氏范数的偏差上确界。实验显示未正则化模型该偏差较大，加入AMN残差惩罚后明显缩小。

Dyadic Stability Bounds（二进稳定性界）

研究人员推导残差项 r_ψ在二进缩放与加法下的Lipschitz型稳定性不等式，给出保证次可加性缺陷被控制在 ε 内的残差梯度上界。该理论界指导了正则化系数的选取范围。

Refinement Towers of Witness Norms（见证范式的精炼塔）

通过在损失函数中叠加多层witness norm penalty（由粗到细的范数包络约束），研究人员建立了一个可逐步收紧norm-like性质的优化塔，理论上说明有限样本下可通过此迭代细化趋近AMN型行为（但不声称全局收敛）。

Empirical Results（实证结果）

在Fashion-MNIST上，纯欧氏目标（SupCon / Proxy-Anchor）获最高Recall@1；加入AMN-inspired residual regularization后Recall@1轻微波动（统计不显著劣于最佳），但homogeneity defect、subadditivity gap及dyadic reconstruction error均大幅下降（p<0.05，十种子平均）。UCI HAR基准得一致结论。Post hoc audit表明正则化模型在off-training scale与latent extrapolation下范数缺陷更稳定，未见有害shrinkage。

四、讨论与结论翻译

讨论指出，本文框架不追求超越SOTA检索性能，而是填补"检索好但结构差"的空白——提供有限采样可计算的norm-like diagnostics与轻量残差正则化，使所学潜层相异度更接近具代数意义的伪范数/度量，提升NML的理论可解释性与几何一致性，对未来需要度量结构保证的任务（如few-shot metric reasoning、manifold learning）具铺垫价值。

结论翻译如下：

神经度量学习通常依检索准确率评价，但所学相异度虽可良好排序却常缺类范数代数结构。本文在欧氏锚定残差族中研究有限采样下降低齐次性、次可加性及二进重构缺陷而不破坏检索性能之问题，构造受AMN空间启发但仅作有限断言之框架。数学上引入有限二进诊断、learned-gauge与凸单位球解释、有限范数包络见证、二进稳定性界及见证范式精炼塔。实验表明欧氏目标在Recall@1可更优，而AMN启发的残差正则化显著削减残差族内有限类范数缺陷。本文贡献系针对所学潜层相异度之有限诊断与几何正则化框架，非新检索目标函数。