GOODY：小数据学习中的规模定律

《Pattern Recognition Letters》：GOODY: On the Scaling Law in Small Data Learning

　　

- GOODY 量化了小数据集中子集与参考集之间的分布差异。
- 分布差异随数据集规模呈幂律衰减。
- 幂律行为在图像、文本和临床数据中得到验证。
- 在 GMM 组件、编码器和度量指标上展示了鲁棒性。
- GOODY 支持用于生成和分类的数据充分性分析。

引言

深度学习在图像分类、自然语言处理和多模态智能方面取得了显著成功，这主要得益于大规模、高质量数据集 [1]。然而，在许多现实应用场景中，数据收集本身受到固有限制，例如罕见病诊断 [2]、工业故障检测 [3] 和低资源机器翻译 [4]。在这些场景中，模型必须在小数据学习（SDL）环境中运行，其中可用样本不足以可靠地近似数据生成分布。

SDL 中的一个核心难点在于，有限的数据集可能显著偏离总体分布 [5]。这种分布不匹配会降低泛化能力，加剧过拟合，并使训练不稳定 [6]。尽管这一问题已被广泛认知，但有限的子集与完整参考集之间的分布差异如何随样本量变化而演变仍不清楚。这引出了我们的主要问题：是否存在经验规律来支配数据集规模与分布差异之间的关系？

经典差异度量，包括最大均值差异（MMD）[7]、Kullback-Leibler 散度 [8] 和 Wasserstein 距离 [9]，为比较概率分布提供了基础。与此同时，概率论研究经验测度的收敛性，并提供有限样本或渐近界，通常以 Wasserstein 距离表示 [10], [11]。这些结果表明，在适当假设下，分布差异呈多项式衰减。然而，实际数据集往往是高维的、结构化的和多模态的。因此，最坏情况或渐近界并不能直接揭示在学到的表示空间中可观测到的有限样本缩放行为。

机器学习文献中也识别出了大数据环境下的经验规律，包括将性能与模型规模、数据规模和计算量联系起来的神经缩放定律 [12], [13]，以及监督学习末期的神经坍缩现象 [14], [15]。这些工作主要刻画模型端的学习行为，或在理想化假设下的渐近分布收敛。相比之下，我们的焦点是小数据环境中的数据端有限样本缩放：随着可用样本数的增加，数据集的代表性和分布差异如何演变。这种视角的转变定义了我们研究的创新性：我们并非直接建模特定学习器的下游性能，而是检验数据集的代表性本身是否随可用样本量的变化而表现出系统性的有限样本规律性。

基于上述观察，我们提出 GOODY，该方法对有限数据集 S 及其完整参考数据集 ?? 的学到嵌入拟合高斯混合模型（GMM），并计算拟合混合组件之间的最优传输。GMM 被用作经验嵌入分布的可处理有限混合近似，而非严格假设真实特征分布恰好是高斯混合。在模拟、图像、文本和医疗数据集上的实验揭示，|S| 与 GOODY 所度量的差异之间存在稳定的经验幂律衰减。

我们的贡献总结如下：
1) 我们提出 GOODY，一个用于度量有限数据集与其完整参考数据集之间差异的实用框架。
2) 我们识别出一种稳定的经验数据端缩放行为，表明 GOODY 度量的分布差异在模拟、图像、临床和文本数据集上均遵循幂律衰减。
3) 我们提供了关于 GMM 组件数、嵌入维度、编码器、差异度量、非线性降维和计算成本的鲁棒性分析，并展示了其在生成建模和分类中的应用。

相关工作

经验分布的收敛性。由独立同分布样本构造的经验测度的收敛性已在概率和统计学中得到广泛研究。经典结果在低维设置下建立了均匀收敛 [16]，而多元和度量空间分析则推导出依赖于维度、矩条件和分布正则性的 Wasserstein 收敛率 [10], [11]。这些结果表明，分布差异可以衰减，但在高维和多模态数据中，渐近界往往过于宽松，无法刻画实际学习表示空间中的有限样本缩放行为。

设置与方法

令 ?? 表示完整参考数据集，S??? 表示一个随机采样的子集，其中 |??|?|S|。我们研究 S 与 ?? 之间的差异如何随 |S| 变化。两个数据集均用 GMM 表示，差异在拟合的混合分布之间计算。

特征嵌入。直接在原始高维空间中进行密度估计是不稳定且计算昂贵的。现实世界数据往往位于低维流形上，神经编码器进一步将原始输入转换为紧凑的低维表示。

缩放定律

来自玩具示例的动机。我们首先使用简单函数来说明 GOODY 如何量化分布差异，以及增加数据集规模如何提高经验分布保真度。

我们考虑 [0, 2π] 上的 ?1(x)=sin(x) 和 ?2(x)=sin(x)+0.5sin(3x)+0.3cos(5x)。对于每个函数，10,000 个 (x, h) 对构成完整数据集 ??。我们构造不同规模的子集 S 并拟合 20 个组件的 GMM。为减少采样变异性，每个数据集规模计算 20 次 GOODY 并取平均；

应用

我们展示了所提度量和缩放关系的两个应用。首先，我们利用公式 (4) 提供基于分布代表性的小数据学习（SDL）的操作定义。其次，我们检验 GOODY 是否反映生成建模和分类中的学习行为。

结论与未来工作

我们提出 GOODY，一个结合 GMM 与最优传输（OT）来量化小数据集与完整数据集之间分布差异的原则性框架。在模拟数据、图像和文本基准、不同编码器、不同差异度量、非线性降维方法以及真实世界临床小数据集上的实证结果揭示，数据集规模与分布差异之间存在一致的幂律关系。在生成建模中的应用进一步……

作者贡献声明

Lili Kong：撰写——初稿。Dongdong Chen：撰写——审阅与编辑。Juan Zhao：可视化。Jiancheng Lv：撰写——审阅与编辑。

利益冲突声明

作者声明不存在已知的竞争性财务利益或个人关系，这些利益或关系可能影响本论文中报告的工作。

致谢

本工作部分得到四川省自然科学基金创新研究群体科学基金资助（项目编号 2024NSFTD0035），部分得到国家自然科学基金重大科研仪器设备研制项目资助（项目编号 62427820），部分得到中央高校基本科研业务费专项基金资助（项目编号 1082204112364）。

Lili Kong | Dongdong Chen | Juan Zhao | Jiancheng Lv