M2AML：基于度量的、模型无关的元学习方法，用于少样本分类 韩晓明（Xiaoming Han）， 史殿玺（Dianxi Shi）， 王震（Zhen Wang）， 杨少武（Shaowu Yang）

《Entropy》：M2AML: Metric-Based Model-Agnostic Meta-Learning for Few-Shot Classification Xiaoming Han, Dianxi Shi, Zhen Wang and Shaowu Yang

　　摘要 模型不可知元学习（MAML）和原型网络（ProtoNet）为少样本分类奠定了基础性范式。然而，MAML由于需要为每个新任务重建分类边界而存在优化不稳定问题。相比之下，ProtoNet缺乏在领域变化下进行任务特定参数调整所需的内部数学能力。为了解决这些结构限制，我们提出了基于度量的模型不可知元学习（M2AML）。通过完全去除来自情节适应序列的参数化分类层，我们的框架用动态的、互斥的几何相似性度量替代了传统的内部循环分类。用空间距离优化替代功能映射有效地解决了评估冲突，从而实现了内部和外部学习率的完美同步以及显著加速的适应步骤。在mini-ImageNet、tiered-ImageNet和CIFAR-FS上的广泛实验验证了我们的方法相对于一系列已建立算法的有效性。为了确保严格公平的比较评估，我们仔细地重建了MAML、ProtoNet和Proto-MAML的基准。实证结果表明，M2AML在大多数评估设置中实现了最先进的性能，相对于现有的领先模型，绝对准确率提高了0.1%到2.1%。

1. 引言
当代深度学习在海量数据集上取得了显著的成功[1,2,3]；然而，这种对数据的依赖限制了其在大规模数据收集不切实际的专门领域中的应用。少样本分类明确解决了这一瓶颈，要求模型从极其有限的标注数据中进行泛化[4,5]。这一范式有效地缓解了从生态物种范围估计[6]和计算药物发现[7]到稀疏时间序列预测[8]等不同学科中的数据稀缺问题。
为了数学上构建这种出色的泛化能力，当代研究主要探索基于梯度的元学习和基于度量的表示学习[9]。基于梯度的架构，以模型不可知元学习（MAML）为例，专注于发现一个普遍适用的全局初始化[10,11,12,13]。这种战略性初始化通过有针对性的梯度下降步骤，使模型能够快速适应新的任务分布，提供动态的表示能力以明确处理重大的领域变化。相反，基于度量的框架，如原型网络（ProtoNet）[14,15,16,17]，将输入样本映射到一个高度区分的静态嵌入空间中。在这个几何空间内，分类完全依赖于计算空间相似性到聚合的类中心，而不需要任务特定的参数微调。这种基本方法本质上提供了高度稳定的训练动态，并在极端数据稀缺性下具有强大的抗过参数化能力。

尽管这两种范式各有优势，但它们都展示了显著影响操作效率和性能的基本结构限制，如表1中详细说明的。标准的MAML架构必须在内部适应循环中为每个新任务明确重建一个随机初始化的线性分类边界。这种机制引入了严重的优化不稳定性，并扭曲了早期梯度，迫使使用具有独立学习率的复杂配置来进行内部适应和外部更新。因此，这种复杂的双级优化导致元训练收敛缓慢和推理速度迟缓。相比之下，像ProtoNet这样的纯基于度量的框架完全消除了内部适应循环，从而实现了显著快速的训练和推理时间，并且完全没有内部学习率超参数调整的需要。然而，由于它们在测试阶段推理时冻结了特征提取主干网络，因此在领域发生重大变化时缺乏进行任务特定参数调整所需的内部数学能力，导致尤其是在单次样本场景下的准确率不够理想。

表1. 元学习算法的比较。在mini-ImageNet上使用ResNet-12进行的性能测试。对于内部学习率，Separate表示不同的配置，Unified共享相同的外部率，None则没有内部适应。为了明确解决这些结构要求并弥合基于梯度和基于度量的方法之间的差距，Proto-MAML试图通过利用几何原型来初始化线性分类层[18]来整合这两种范式。然而，这种方法仅仅改变了线性分类器的初始状态，并没有真正解决MAML固有的梯度优化瓶颈。针对这些持续的局限性，本研究提出了一种新的几何框架，称为基于度量的模型不可知元学习（M2AML）。所提出的架构完全去除了来自情节适应序列的参数化分类层。该框架不进行传统的内部循环线性分类，而是动态计算支持样本与自适应类原型之间的空间几何相似性。用空间距离优化替代功能线性映射有效地解决了历史上的评估冲突。这种几何替代实现了内部和外部学习率的完美同步，同时大幅加速了底层的任务适应步骤。此外，在内部优化循环中直接应用标准的聚合原型会创建一个致命的自我匹配优化陷阱。因为支持样本同时充当评估查询并形成簇边界，所以在没有样本隔离的情况下计算相似性会最小化自我包含的距离，而不是抽象出稳健的几何度量。为了防止这种数学上的崩溃，该框架结合了一个动态的、互斥的计算机制。这种抽象的算法结构严格地将本地实例与其相应的类原型计算分开，从而保证了无偏的梯度生成和一致的数学稳定性。为了严格验证所提架构的有效性，我们在三个标准化的少样本分类基准测试上进行了全面的实证评估，即mini-ImageNet、tiered-ImageNet和CIFAR-FS。为了追求绝对的实证公平性，包括MAML、ProtoNet和Proto-MAML在内的经典基准在相同的参数配置下被仔细重建。实证调查明确表明，所提出的结构设计自然实现了最佳收敛，使用完全同步的学习率进行两个优化循环，从而从根本上消除了历史上复杂地独立调整不同内部和外部超参数的需要。最终，定量研究结果证明M2AML框架在大多数评估设置中始终实现了最先进的性能，相对于现有的领先模型，绝对准确率提高了0.1%到2.1%。

本研究的主要贡献自然而然地来自于这些分析工作，并正式总结如下：
- 提出了M2AML，这是一种全新的混合元学习架构，它完全去除了参数化的分类层，从而在计算上消除了标准内部循环适应中固有的优化振荡。
- 设计了一种无偏的、互斥的几何原型验证序列，与强大的批量归一化稳定机制相结合，成功地实现了迭代情节适应和全局结构更新期间的学习率完美同步。
- 全面的实证验证表明，所提出的方法在各种评估设置中始终实现了最先进的准确率，并实际解决了所研究领域内度量效率和梯度适应之间的结构二分法。

本文的其余部分组织如下。第2节将所提出的框架与现有文献进行背景介绍。第3节详细说明了M2AML架构的问题表述和算法流程。第4节提供了全面的实验评估和比较分析。最后，第5节总结了核心发现并概述了未来的研究方向。

2. 相关工作
本节从三个互补的角度回顾了与所提出框架最相关的先前研究。首先总结了基于度量的少样本学习，然后探讨了基于梯度的模型不可知元学习，最后讨论了整合策略以明确M2AML的方法论位置。

2.1. 基于度量的少样本学习机制
基于度量的少样本学习构建了将语义相似的实例映射到附近位置的嵌入空间。原型网络[14]通过将查询样本与从稀疏支持示例计算出的类均值原型进行欧几里得距离分类来建立这一范式。这种表述创建了稳健的决策边界，无需可学习的分类头，因此减少了过参数化的风险。在此基础上，匹配网络[19]在全部支持集上使用连续注意力，而不仅仅是依赖于聚合的中心点。TADAM[20]引入了任务依赖的条件、标量度量调整和辅助协同训练程序来改进基于距离的评估。DeepEMD[21]将分类表述为一个通过地球移动距离和cross-reference机制来抑制背景干扰的同时保持局部结构对应的最优传输问题。FEAT[16]通过应用变压器模块来模拟支持样本之间的整体交互来改进判别性表示。Meta-baseline[17]表明，在全局预训练的表示流形上进行的目标元学习更新可以进一步加强度量推理。FewTure[22]使用视觉变压器将图像分割成局部块，并结合掩码建模和在线优化来捕获信息丰富的细粒度语义。总体而言，基于度量的方法受益于清晰的几何归纳偏见和稳定的训练动态，因为它们避免了任务特定的分类器优化。然而，由于在测试时主干网络是固定的，纯粹基于度量的方法通常缺乏在领域发生重大变化时所需的参数适应能力。

2.2. 基于梯度的模型不可知元学习
基于梯度的元学习通过直接参数优化来处理任务泛化。基础的模型不可知元学习方法[10]学习了一个全局初始化，只需几个梯度步骤就可以快速适应。MAML++[23]引入了多种训练改进，以提高稳定性、减少超参数敏感性并加速收敛。LEO[24]通过在紧凑的潜在空间中进行元学习来学习数据依赖的生成表示，与高维参数更新解耦。ANIL[25]表明特征重用对性能至关重要，并通过限制内部循环更新到任务特定的分类头来简化适应。UNICORN-MAML[26]通过元学习一个通用向量来初始化所有分类头权重，以减轻来自标签排列的评估不稳定性。Maxmin-MAML[27]在内部层添加了反向正则化，以减少梯度方差并防止过拟合。LA-PID-MAML[28]结合了比例-积分-导数控制来适应层级优化收益并提高跨域泛化能力。基于梯度方法的主要优势是它们强大的动态表示能力，因为任务特定的更新可以调整特征以适应领域变化。它们的主要限制是当从非常少的示例中适应随机初始化的分类头时，优化不稳定性会增加，这可能会扭曲早期梯度并增加超参数调整的负担。

2.3. 度量和梯度元学习的整合
Proto-MAML[18]是最具代表性的尝试，旨在连接度量学习和基于梯度的元学习。然而，它的最初目标主要是使线性分类器与包含不同类别数量的任务兼容。实际上，Proto-MAML仅使用类原型来初始化标准线性分类头，而随后的适应过程与模型不可知元学习大体相同。因此，它并没有完全结合两种范式的核心优势。相比之下，所提出的M2AML框架旨在将原型网络的简单归纳偏见与模型不可知元学习的任务适应能力结合起来。与Proto-MAML的关键结构区别在于完全去除了参数化的线性分类器。内部循环使用基于几何概率的纯原型网络风格更新，而外部循环遵循模型不可知元学习的策略来全局更新元参数。因此，M2AML在保持对多变任务适应的同时，提供了更好的性能、更快的训练收敛速度和更简单的超参数配置。

3. 方法
本节概述了M2AML的理论基础和算法流程。我们首先正式化了少样本分类问题，并回顾了相关的元学习范式。最后，我们详细介绍了完整的M2AML框架，包括其统一的适应程序、自排除原型泛化和批量归一化稳定策略。

3.1. 问题表述
问题设置。少样本学习算法旨在使用极其有限的标注数据在新类别上建立稳健的泛化能力。这种学习范式在一个基于类别标签划分为三个互斥子集的全面数据集上操作。这些子集包括一个训练数据集、一个验证数据集和一个测试数据集。这三个子集的类别空间严格不相交。元学习框架不是直接在单个样本上执行常规的批量优化，而是构建了一系列孤立的分类任务分布。在优化阶段，算法从这些分布中采样一系列训练任务来优化模型参数。随后，该框架通过从这些分布中采样评估任务来评估训练好的模型。从这个分布中抽取的每个单独任务都遵循一个严格的情节结构，旨在模拟少样本评估环境。这种结构将采样的任务数据分为一个用于任务特定参数适应的支持集和一个用于目标评估的查询集。
标准N-way K-shot任务。在标准的N-way K-shot分类协议下，算法从可用的类别池中精确采样N个不同的类别。对于每个选定的类别，支持集包含严格K个明确标注的实例。相应的查询集包含从这些相同N个类别中均匀抽取的未标记实例的独特集合。主要目标是学习一个由权重参数化的功能映射，该映射能够从受限的支持集中成功提取深度表示，从而准确预测查询集实例的类别身份。
开放任务配置。除了统一配置的情节训练之外，开放任务配置引入了一种关键的评估机制来评估模型的泛化稳健性。在严格匹配的情节框架中，所有训练和评估阶段的结构参数保持不变。相反，开放任务设置建立了一个锚点范式，其中模型在固定的N-way K-shot配置下进行元训练。在随后的推理阶段，评估协议采样符合完全不同的M-way L-shot规范的任务。维度M和L本质上偏离了原始的锚点值N和K。这种系统的结构差异要求模型内部的表示机制能够在不需要架构修改的情况下，自然地泛化到不同的类别容量和多样化的样本数量。

3.2. 元学习范式
MAML框架[10]通过发现一组最优的初始参数来操作，这些参数可以通过有限的梯度下降步骤实现快速适应任何新任务。在核心的内部循环阶段，模型专门在支持集上计算分类损失，并将原始参数更新为一组针对任务进行了调整的参数。（1）超参数从根本上决定了内部循环的学习率。随后，外部循环直接在相应的查询集上评估这些新调整的参数，以计算元目标。该框架通过最小化采样任务批次的总查询集损失来更新全局初始化参数。（2）超参数控制外部循环的元更新学习率。评估这种外部循环更新的确切梯度需要计算计算成本较高的二阶导数。通过应用链式法则，显式展开真实的元梯度揭示了其对初始参数的严格依赖性。（3）矩阵代表单位矩阵，表示支持损失的赫斯矩阵。计算这个赫斯矩阵会带来严重的内存开销，并从根本上限制了训练的可扩展性。为了规避这些计算限制，本研究采用了第一阶近似配置。这种实用的近似在数学上忽略了复杂的高阶导数项，假设它们不存在。因此，替代的第一阶元梯度简化为仅与新调整的参数相关的梯度。（4）这种公式在反向传播计算过程中将内部循环梯度视为固定常数，从而有效地加速了训练过程，而不会显著降低最终的实验性能。

ProtoNet [14] 通过学习一个连续的度量空间建立了一个有效的范式，在这个空间中，属于同一语义类的实例紧密聚集。给定一个包含属于不同类的原始样本的支持集，骨干网络为每个输入图像生成一个特征嵌入向量。该算法通过计算相应支持特征嵌入的几何平均值，为每个特定类 c 计算一个代表性的原型向量。（5）这种数学操作将观察到的特征明确地聚合为一个稳健的代表性簇中心。查询样本的分类概率完全取决于计算提取的查询特征与所有已建立的原型之间的几何距离。ProtoNet 通常应用平方欧几里得距离，通过 softmax 分布将特征映射为标准化概率。（6）这种特定的公式本质上是基于静态特征空间进行推理的。当遇到完全新颖的类域时，该机制完全缺乏任务级别的参数优化能力。

Proto-MAML [18] 框架引入了一种结构变体，它直接利用之前建立的度量空间表示。该框架正式证明了评估负平方欧几里得距离在功能上与基线线性分类层具有完全等价性。由于二次项与所选类别完全无关，其在 softmax 概率计算中的特定分量被完全抵消。因此，得到的数学结构反映了相应的类的精确标准仿射变换。Proto-MAML 明确利用支持集原型来计算最终全连接层的确定性几何起始值。对于任何特定类 c，分类权重向量及其相应的统计偏差根据提取的度量分量进行唯一初始化。在完成这种确定性度量初始化后，标准的内部优化循环执行针对任务的参数微调，以精细调整骨干特征表示和这些新初始化的分类边界。

3.3. 提出的 M2AML 框架
M2AML 算法概述。所提出的 M2AML 框架的整个流程如图 1 所示，并在算法 1 中详细说明。现有的元学习范式存在结构限制：原型网络缺乏动态参数适应能力，而 MAML 由于分类头的随机初始化而遭受梯度不稳定问题。M2AML 通过从适应循环中完全消除参数化的分类层来解决这个问题。
图 1. 所提出的 M2AML 的整体架构框架。顶部部分展示了完整的间歇式元训练流程，该流程排除了参数化的分类层，转而使用几何距离优化。底部部分详细说明了两个不同的相似性组件的具体计算结构：在内部循环任务适应期间使用的自排除相似性度量，用于防止自我匹配陷阱，以及用于外部循环元更新的标准相似性度量。在间歇式训练中，骨干网络首先将输入图像投影到一个非参数化的度量空间。在内部循环中，框架计算支持样本与类原型之间的几何相似性，而不是调整分类头。内部梯度直接微调特征提取器，迫使类内特征变得高度紧凑，类间特征区分明显。随后，外部循环在查询集上评估修改后的参数，使查询特征准确收敛到它们对应的调整后的支持原型。这一架构允许对内部循环任务适应和外部循环元更新使用统一的学习率。移除随机初始化的分类层自然减轻了早期的优化冲击，允许同步优化，消除了复杂的超参数网格搜索。M2AML 相对于当代最先进算法的绝对优越性在第 4.2 节的实验评估中得到了全面证明。

Algorithm 1 M2AML 元训练程序
要求：
- 任务分布
- 统一的学习率
- 内部迭代次数 T
- 扰动幅度
- 布尔标志 robust_bn, isolate_bn

确保：
- 优化的初始参数和缩放因子

1: 初始化：
- 骨干参数
- 可学习的缩放参数

2: 当未收敛时执行：
- 3: 采样带有标签的任务批次
4: 对于所有任务：
5: // — 健壮的批量归一化稳定化
6: 如果 robust_bn 则
7: 使用任务数据执行无梯度前向传播以更新全局 BN 运行统计
8: 结束 if
9: 初始化任务特定参数和 BN 缓冲区
10:
11: 如果 isolate_bn 则
12: // 隔离运行统计字典
13: 否则
14:
15: 结束 if
16: // 内部循环（任务适应）
17: 对于每个任务：
18: 提取支持嵌入
19: 计算支持 logit
20: 计算内部损失
21: 更新参数
22: 结束 for
23: // 外部循环（元评估）
24: 提取调整后的支持嵌入和查询嵌入
25: 计算查询 logit
26: 计算外部损失
27: 结束 for
28: 元更新（第一阶近似，使用统一的学习率）
29: 更新

3. 自排除原型泛化
该框架明确区分了内部循环和外部循环中使用的度量评估（算法 2 和 3）。在外部循环元评估期间，有效使用标准原型距离；相反，在内部循环适应中直接部署标准聚合原型会导致致命的自我匹配优化陷阱。由于支持样本同时充当评估查询并制定簇边界，不进行样本隔离计算相似性会最小化自我包含的距离，而不是抽象出稳健的几何度量。为了避免这种情况，内部计算切换到自排除框架（算法 2），该框架严格将局部实例从其自身类的原型计算中屏蔽出来。重要的是，尽管这种自排除机制将时间原型池减少了恰好一个实例，但从优化过程中没有丢弃任何训练数据。让表示活动特征分布。结构上的排除动态地将隔离样本转换为针对其同类的活动局部查询，概念上类似于在间歇式内部循环中直接执行的交叉验证。通过强制网络将每个目标样本与其不同同类的几何聚合分布对齐，该公式极大地抑制了孤立特征的记忆。因此，这种结构约束不仅不会在数据量少时引起特征失真，相反，它积极地强制了样本间的语义连续性，从根本上最大化了稀疏流形上的梯度稳定性。此外，为了避免一次性约束下的完全结构性数学崩溃，该算法系统地注入受控的各向同性高斯扰动（），确保了全局上的数学无偏操作稳定性。从理论角度来看，这种注入超越了简单的工程启发式方法；它严格遵循了近邻风险最小化（VRM）的原则。在极端的一次性数据稀缺情况下，严格隔离的空间嵌入在数学上将类表示崩溃为狄拉克 Delta 分布，完全缺乏统计方差。将单个样本与其自身进行比较会产生一个恒定的相似性缩放度量，这本质上会导致不可逆的零梯度奇异性。通过系统地注入独立的各向同性噪声（），高度稀疏分布的局部几何支持被隐式扩展为连续的邻近密度。

算法 2 自排除相似性度量（）
要求：
- 支持特征
- 支持标签
- 规模
- 扰动幅度

确保：
- 无偏支持 logit

1: 从 和 中初始化活动特征集
2: 如果最小样本计数满足条件，则
3: 采样独立扰动
4: 增强特征集
5: 结束 if
6: 对于每个带有标签 的原始支持特征：
7: 对于每个类 c：
8: 让 表示属于类 c 的所有特征
9: 计算排除原型
10: 计算 logit
11: 结束 for
12: 结束 for

3. 批量归一化优化动态
使用标准批量大小跟踪内部任务驱动的空间迭代会严重降低全局归一化统计。M2AML 通过结合 robust_bn 稳定机制和 isolate_bn 操作序列（算法 1）的协同集成，天然地缓解了这一问题。受 MAML++ [23] 的启发，isolate_bn 操作专门为内部循环创建了全局批量归一化（BN）跟踪字典的深度副本。这种隔离的计算缓冲区阻止了快速的任务驱动特征失真永久破坏更广泛的骨干标准化。然而，如果没有替代的更新机制，绝对的内部循环隔离会导致全局 BN 统计稳定停滞，从而根本降低评估性能。为了解决这种跟踪悖论，框架在内部优化之前强制执行 robust_bn 稳定阶段。网络对整个聚合的任务数据执行独立的无梯度前向传播，以准确预校准全局总体均值和方差张量。随后，触发 isolate_bn 机制，将这些新校准的指标内部复制用于局部评估。这种协同方法防止了序列统计算法破坏，同时动态更新归一化配置文件。区分这种协同策略的原始贡献与先前的基于梯度的文献至关重要。虽然 isolate_bn 概念源自 MAML++ [23]，但我们提出的 robust_bn 机制是一种专门为无参数度量架构设计的严格新颖的结构干预。在标准的 MAML 框架中，未校准的 BN 统计可以部分被它们参数化的线性分类器的动态更新权重吸收和有机纠正。相比之下，M2AML 完全消除了这一层，仅依赖于严格的几何距离评估。因此，任何局部统计失真都会直接在度量流形中引起不可逆的空间扭曲。通过独立执行先前的无梯度校准，原始的 robust_bn 阶段不仅充当借用的优化稳定器，而且是极端数据稀缺情况下确保严格无偏度量计算的基础几何前提。在第 4.3 节中提供了分析这种批量归一化策略精确影响的全面消融研究。

算法 3 标准相似性度量（）
要求：
- 支持特征
- 支持标签
- 查询特征
- 规模

确保：
- 查询 logit

1: 对于每个类 c：
2: 让 表示属于类 c 的所有特征
3: 计算标准原型
4: 结束 for
5: 对于每个查询特征：
6: 对于每个类 c：
7: 计算 logit
8: 结束 for
9: 返回数据分区专门为元训练分配了64个类别，为元验证分配了16个类别，为元测试分配了20个类别。tiered-ImageNet [29] 数据集提供了一个更大规模的基准测试，包含779,165张图像，这些图像分布在608个类别中，归类为34个语义超类。为了在不同阶段强制实现显著的领域变化，评估协议将这些结构超类直接划分为20个用于元训练，6个用于元验证，8个用于元测试。CIFAR-FS [30] 数据集将一组由32x32像素分辨率图像组成的100个类别调整为相同的分布，为训练分配了64个类别，为验证分配了16个类别，为评估分配了20个类别。实验使用了预训练的ResNet-12骨干网络和标准的统计归一化，没有复杂的 数据增强。评估设置采用了五折一次性的配置，每个类别有15个查询。元训练过程持续20个周期，每个周期中有500个周期，在固定的随机种子2025下进行。内部适应严格执行五次迭代，使用自排他的余弦相似性度量，并增加了0.01的抖动扰动。该机制具有强大的批量归一化稳定性以及相应的独立跟踪统计。优化在内部适应和外部一阶元更新中使用了统一的0.001学习率。Nesterov随机梯度下降优化器使用0.9的动量因子和0.0005的权重衰减。该框架结合了一个余弦退火学习率调度器，从五周期的预热阶段开始。相似性标量在动态反向传播时初始化为10.0，没有应用任何标签平滑。从单周期验证评估中选出的最佳模型在2000个独立周期中进行测试，以报告平均准确率和置信区间。4.2 主要结果 与最先进算法的比较评估。表3和表4中呈现的全面性能评估系统地将提出的M2AML框架与文献中先前记录的广泛少样本分类算法进行了基准测试。实证证据表明，无论空间分辨率或领域复杂性如何，所提出的架构始终建立了新的性能标准。在mini-ImageNet一次性的配置下，该方法实现了预期的准确率。这个特定的优势明显超过了之前维持性能上限的强大现有模型。将评估扩展到更具复杂性的tiered-ImageNet协议，进一步证实了这一优越性，在一次性的约束下捕获了强大的准确率，并在五折条件下获得了坚实的评估指标。此外，将严格的基准测试协议应用于CIFAR-FS数据集，在独立的一次性场景中显示了精确的分类平均水平。这一特定的计算结果在数学上超过了之前表现最好的比较标准TPMN，后者实现了精确的准确率，而相应的五折测试配置验证了输出饱和准确率达到了精确的准确率。表3. 在mini-ImageNet和tiered-ImageNet上的分类性能。MAML、ProtoNet和Proto-MAML的基线结果反映了局部复制。所有其余指标直接来自已发布的基准记录。粗体值强调最高性能。下划线值表示第二高的性能。表4. 在CIFAR-FS上的分类性能。MAML、ProtoNet和Proto-MAML的基线结果反映了局部复制。所有其余指标直接来自已发布的基准记录。粗体值强调最高性能。统计显著性分析。为了解决关于性能改进是否源于偶然的随机测试变异的担忧，我们进行了严格的独立双样本Welch's t检验。由于先前文献中的评估协议使用不同的测试周期长度——具体来说，我们的方法和RENet使用的是N = 1000个周期，而像FEAT和FRN这样的强大基线使用的是N = 10,000个周期——这个测试考虑了样本大小不等和样本方差不同的问题。标准误差（SE）是使用正式报告的置信区间（）明确推导出来的。表5中完全透明地总结了实证证据，结论性地证明了我们的多数数值增益在结构上超出了随机评估的方差（）。虽然高度饱和的五折测试边界（例如，在mini-ImageNet上与FRN或CIFAR-FS上的TPMN相比）可预见地产生了统计平局，但在高度受限的一次性评估中根本性的显著优势明确验证了优化优越性和通过省略参数化分类层生成的强大泛化能力。表5. 对最强基线的统计显著性测试（Welch’s t检验）。对数据的独立t统计量和p值的评估。一个函数验证了数值增益在统计学上是显著的。完整分析透明地包括了单次性和饱和五折评估，以客观地跟踪优化上限。严格的基线验证和统计稳定性分析。为了确保绝对严格的比较分析，避免实施偏差，评估仔细地将M2AML架构与新复制的基线模型进行了对比，包括MAML、ProtoNet和Proto-MAML。这种有针对性的比较严格使用了相同的预训练网络骨干、完全等效的优化算法和全面匹配的结构超参数。图2中可视化的统计分布明确证明了算法的优越性，显示出明显提高的中位准确率，并伴随着在2000个评估任务中紧密限制的性能方差。这一明显的操作优势直接源于完全移除了传统的参数化分类头，并用无偏见的自排他度量优化阶段替换了评估序列。传统的基于梯度的结构模型本质上受到由快速更新随机初始化的分类层引起的严重梯度波动的影响。通过仅通过连续的几何相似性计算执行任务特定的微调，新提出的M2AML框架系统地消除了这种初始的优化冲击。这种架构上的改进随后稳定了基础梯度轨迹，自然允许优化过程实现根本更深的特征分离和始终如一的优越推理可靠性。图2. 在mini-ImageNet上的分类准确率分布。所有结果均来自相同的2000个测试任务。运营效率和优化优势。引入的框架建立了几项关键的运营优势，特别是将该架构与已建立的基线算法区分开来。与MAML相比，所提出的方法展示了三个主要的结构改进。首先，该架构实现了完全统一的学习率配置。虽然传统的梯度方法需要不同的超参数进行内部适应和外部更新，但所提出的框架安全地匹配了内部和外部优化步骤的大小。该算法严格使用0.001的恒定学习率进行一次性评估，以及0.0015的五折配置。其次，结构设计保证了加速的功能任务适应。通过省略参数化分类层，网络在一次性评估中仅需要精确五个最优步骤，而在五折条件下需要10个步骤，而MAML则强制要求10个和20个相应的迭代。第三，这种配置直接产生了显著更快的全局元训练收敛。如图3中的优化轨迹所明确显示的，所提出的方法在初始训练阶段迅速收敛。标准的MAML架构由于必须为每个采样任务从随机状态重新构造新的线性边界参数而遭受严重的收敛延迟。重要的是，这种特定的设计选择本质上引入了关于模型理论适应能力的结构权衡。通过切除参数化的线性分类头，网络有意放弃了执行任意仿射变换或在内部循环更新期间构建高度复杂、扭曲的决策边界的能力。虽然标准MAML通过这种灵活的线性层在理论上具有更高的适应能力，但在极端少样本约束下（尤其是在一次性配置中），这种过度的参数能力会严重引发过度拟合和梯度波动。M2AML明确地用深刻的空间稳定性交换了这种表面的线性灵活性。通过将适应限制在纯几何相似性的骨干特征提取器上，网络在算法上被迫将底层表示流形簇化为严格线性可分的度量空间。因此，模型在任意边界弹性上所做的牺牲，在梯度可靠性和对稀疏数据的强大抵抗能力上得到了巨大的回报。图3. 在mini-ImageNet上的元训练曲线（一次性）。左垂直轴代表分类准确率，右垂直轴表示学习率。与像ProtoNet这样的纯静态度量方法相比，目标内部循环产生了主要的表征优势，并同时管理了计算权衡。根本优势是更优越的特征空间区分。如图4中的特征分布可视化所示，显式的任务适应机制动态地迫使类内特征变得高度紧凑，同时确保类间簇保持明显可分。这种连续的空间优化本质上导致了适度的计算开销增加。为了量化这种操作权衡，表6评估了单个NVIDIA RTX 3090 GPU上的计算成本。虽然M2AML由于其内部循环适应自然需要比无参数的ProtoNet更多的计算，但切除线性分类头使其能够实现更快的训练和更低的推理延迟，同时保持了相同的内存占用量（<5.0 GB）。图4. [44] 在mini-ImageNet上的UMAP特征分布。上面的序列（a–c）展示了ProtoNet基线执行的独立五折五次评估任务。下面的序列（d–f）可视化了通过提出的M2AML架构最佳处理的相同任务配置。为了定量评估簇的可分性，每个子图报告了Davies-Bouldin指数（DBI），这是一个聚类指标，其中较低的值表示更好的分离。不同的颜色标识不同的类别。圆圈标记°表示支持实例。三角形标记△表示查询实例。表6. 在mini-ImageNet（一次性）上使用单个NVIDIA RTX 3090的成本比较。推理延迟是在2000个周期上平均的。最后，将框架直接与Proto-MAML的混合能力进行比较，验证了线性分类层的系统移除。表3和表4中详细描述的实证分布牢固地确认了分类性能的持续提升。如先前的方法分析部分所述，用几何初始化替换线性定义有效地迫使Proto-MAML实际上与MAML优化序列完全相同地运行。新提出的机制完全避免了这些参数化的瓶颈，从结构上证明了连续的几何相似性评估在功能上超出了标准微调的线性变换。4.3. 消融研究 批量归一化稳定性动力学。传统的元学习架构由于内部循环中连续的数据分布变化而天生难以处理批量归一化统计。表7中呈现的实验系统地隔离了健壮校准阶段和完全独立跟踪贡献的贡献。对于一次性配置，支持集包含极其有限的样本。因为这些稀疏数据无法独立生成可靠的归一化统计，仅仅隔离批量归一化缓冲区是不够的。在这种特定的低数据情况下，将健壮的设置与严格隔离结合使用联合任务数据来适当更新统计，然后再关闭内部适应过程。表7. 在mini-ImageNet上的批量归一化策略消融。健壮的配置合并了支持集和查询集，进行统一的无梯度前向传递，以专门更新运行统计。独立配置完全防止了内部循环优化步骤修改骨干运行统计。所有实验在一次性设置和五折设置中统一实现了0.0001的学习率以及10个内部循环迭代。这里，?和×分别表示启用和禁用的设置。粗体值表示每种方法块中的最佳性能。相反，五折配置将支持集扩展到25个样本。这种增加的容量为内部循环提供了足够的统计稳定性，以可靠地更新批量归一化结构。当存在足够的样本时，引入健壮的校准机制实际上会降低性能，因为使用查询样本进行预先校准会不必要地扭曲已经由足够支持集建立的健壮的类内边界。因此，仅应用严格隔离而不使用健壮机制在五折设置中产生最佳结果。这种趋势在标准MAML结构和所提出的M2AML框架中都是一致的。在M2AML中，未经调整的原始几何任务适应在没有这些稳定措施的情况下会遇到统计发散的问题。最后，表8验证了批量归一化更新协议在训练和测试环境之间有根本性的差异。在元训练阶段，持续更新统计反映了学习泛化参数所需的动态变化。然而，在元测试阶段，全局网络参数和跟踪统计已经完全稳定。评估期间的动态统计更新将不必要的数学噪声引入了适当稳定的表示域。因此，在测试期间严格固定明确的批量归一化参数保留了对齐的特征映射，并本质上在基线和几何架构之间最大化了结果准确率。表8. 在mini-ImageNet上的测试阶段批量归一化消融。固定的BN设置表示在评估期间批量归一化运行统计保持不变。在此，?和×分别表示固定和未固定的批量归一化（BN）设置。自排除内循环适应。在任务适应过程中实施自排除的几何原型评估的结构决策，是所提出框架中的一个关键数学组成部分。实验基线明确地将这种提出的机制与标准的包含性原型计算策略进行了比较。在传统的包含性设置中，该框架将所有支持特征聚合到一个单一的簇中心点。当优化引擎针对目标支持样本评估特定的逻辑函数（logit）时，它实际上是在向自己类别的原型进行评估，因此所得到的距离度量隐含了严格的恒等向量本身。对于一次性分类任务，评估的logit本质上计算样本特征与其精确的几何副本之间的空间相似性。这种结构上的冗余立即最大化了正类概率的分配。尽管模型在初始前向传递过程中在本地支持集上实现了100%的分类准确率，但底层的数学梯度严格拒绝消失。相应的损失函数仍然应用了积极的优化信号，将未缩放的点积大小推向理论上的无穷大，同时严厉惩罚与替代类别对应的logits。这种特定的梯度行为本质上优化了连续的结构缩放大小，而不是强制有意义的特征分离。表9中呈现的结果一致表明，无论应用哪种批量归一化设置，使用这种标准的包含性映射策略都会持续降低功能准确性。表9显示了在mini-ImageNet上进行自排除原型计算的消融实验。Full策略利用所有可用的支持样本来构建类别原型，包括被评估的实例。Self-Exc策略在内循环期间严格屏蔽当前正在评估的实例，不将其包含在相应的原型计算中。这里，?和×分别表示启用和禁用的设置。粗体值表示最佳性能。用严格的自排除隔离机制完全替换这一机制解决了这一悖论。通过主动将评估样本与其目标真实类别的原型计算安全地隔离，随后的梯度向量被迫识别控制剩余实例的绝对底层空间分布。即使在严格的一次性阈值下操作，并使用数学扰动设置，这种强制的关系评估也成功防止了人为的缩放支配。实验输出验证了这一理论洞察。持续执行自排除机制显著提升了优化能力，超越了所有测试过的包含性参数组合。

学习率同步和功能适应步骤分析。基于梯度的元学习在应对强烈的优化波动性方面通常面临挑战。标准框架通常依赖于为内部适应和外部元更新建立不同的学习率，并且需要严格的集成步骤来确保收敛。表10和表11中展示的实验评估系统地评估了在所提出的M2AML结构下结构修改对这些特定超参数的影响。从实验性能数据中可以发现一个根本性的配置转变。与基线方法不同，所提出的框架在内部学习率与全局统一的外部优化计划完全匹配时，能够始终达到其绝对的分类上限。保持同步的更新速度可以防止在元更新阶段出现异步优化路径导致的表示变化冲突。表10显示了在mini-ImageNet上进行的一次性学习率和内部步骤的消融实验。等号（=）表示内部适应学习率严格等于统一的外部更新配置。粗体值表示最佳性能。表11显示了在mini-ImageNet上进行的一次性学习率和内部步骤的消融实验。同样，等号（=）表示内部适应学习率严格等于统一的外部更新配置。粗体值表示最佳性能。此外，分析内部迭代阈值揭示了必要的适应序列中的明显加速。数据显示，执行恰好五次操作性内循环步骤可以完美地为一次性配置提取出稳健的空间边界。相应地，在五次性配置下增加样本密度仅需10步即可完全合成一个成熟的决策流形。大幅度增加内部迭代会均匀引发结构退化和分类准确率的下降。这种加速的收敛动态直接源于将传统的随机初始化线性分类器完全替换为严格的几何度量基线。在标准架构优化过程中，大量的初始梯度步骤被浪费在尝试组织和定向数学上混乱的随机边界上。所提出的几何骨架完全规避了这种混乱的参数初始化，从最初的内部优化步骤起就允许立即进行有意义的特征空间定向。同步的学习配置与压缩的迭代约束相结合，提供了一个结构上优化的数学路径，使得任务适应快速且可靠。

辅助超参数配置。表12系统地评估了在一次性配置设置下控制所提出架构的其余关键结构超参数。进一步确认这些最优值不是针对数据集量身定制的启发式方法，表13在CIFAR-FS基准测试上独立验证了相应的敏感性，一致表明某些超参数能够构建出无需数据集特定调整的最优泛化流形。可学习缩放因子的初始化大小隐式控制了计算出的logits上的初始softmax概率分布。将这个标量严格设置为10可以精确平衡梯度传播的限制。较低的缩放配置会结构性地导致分类概率分布严重稀释，从而产生平坦的梯度信号。相反，设置过大的初始化阈值会立即使置信概率饱和，并在初始适应阶段引发梯度消失现象。表12显示了在mini-ImageNet上进行的一次性实验中额外超参数的消融效果。该评估分析了初始缩放因子、数学抖动幅度、分类标签平滑处理以及几何距离度量定义对整体性能的影响。表13显示了在CIFAR-FS上进行的一次性实验中超参数的敏感性分析。最佳稳定值在不同数据集上具有普遍适用性。粗体值表示最佳性能。精确度抖动评估分析了将人工高斯数学噪声嵌入支持样本中的效果，这些噪声专门设计用于人为满足一次性自隔离的结构限制。集成 exactly 0.01 的最小扰动方差缩放提供了足够稳定的空间区分，以避开零距离陷阱，同时完美保留了基本的真实空间语义。较大的配置幅度会掩盖结构特征语义，导致表示簇的重叠。

标准标签平滑处理通常通过规范连续目标空间来减少监督分类流程中的结构过拟合行为。将经典的分类标签平滑处理应用于M2AML框架会逐渐降低得到的几何优化向量质量。在竞争性结构类别之间连续分布概率约束在数学上与将离散空间距离最大化分开的基本目标相矛盾。基线概率向量自然引导最优边界分离，严格执行利用硬分类注释的优化参数，这些注释代表了0.00的平滑逻辑。最后，替换原有的评估度量空间直接决定了整体分类潜力。通过制定相似性评估，特别是操纵标准的范数和通用的欧几里得范数，会抑制最终的运行能力。余弦相似度度量将投影逻辑完全限制在理想化的单位超球面上。这种连续的角度限定计算特别隔离了不受幅度变化影响的结构上稳健的旋转特征分离。余弦相似度计算固有的数学几何特性从根本上解锁了最优的表示映射。为了理论和实证地解决纯度量方法常常受益于数值规模的问题，我们明确指出，在我们的架构中，尺度是功能上解耦的，而不是被完全抛弃的。标准欧几里得距离的无限制幅度（）在直接映射到局部softmax分布时通常会导致极端梯度饱和，使得内循环适应变得不稳定。通过将特征通过余弦相似度明确投影到理想化的单位超球面上，我们强制消除了这些混乱的范数差异，以确保稳定的角度决策边界。然而，为了保持有效的softmax概率传播所需的必要幅度缩放，我们的框架系统性地重新引入了一个全局可学习的概率标量。正如表12中的距离度量消融实验所明确证实的，用标准的欧几里得距离（）替换这种解耦的度量方法会显著降低性能。同时，我们的缩放消融实验表明，不足的标量初始化会严重扁平化概率分布，验证了人工尺度约束的必要性。这种双重算法设计——在结构上分离旋转方向（余弦）与概率缩放——因此在实证上被证明能够构建出最稳定的度量环境。

5. 结论
本研究介绍了基于度量的模型不可知元学习（Metric-based Model-Agnostic Meta-Learning），这是一个统一的框架，从根本上消除了标准少样本架构中固有的优化不稳定性。通过完全移除参数化的分类头并集成一个无偏的自排除几何度量，该方法实现了完美同步的优化计划，并大幅加速了任务适应，同时在标准化基准测试中取得了最先进的准确率。从定量上看，M2AML在不同模型上实现了从...到...的绝对分类改进，同时保持了相同的基线结构复杂性。此外，它在元训练期间的运行速度更快，并且与标准基于梯度的基线相比，推理延迟降低了大约...。未来的研究将专注于将这种几何适应机制扩展到跨域的少样本环境，因为在这些环境中，严重的分布变化会本质上限制全局参数的初始化。此外，整合最优传输结构来模拟细粒度的局部语义对齐，为进一步扩展表示泛化能力提供了有前景的路径。