面向时变数据分布的速率依赖性核心集选择器在持续学习中的应用与挑战

本文提出一种创新性的速率依赖性核心集选择器（RDCS），用于解决传统类增量学习（CIL）中因固定"阶段"划分导致的数据分布突变问题。通过建立钟形曲线权重模型生成动态数据流，RDCS能够自适应地平衡旧知识记忆（memorization）与新类适应（adaptation），有效应对非稳态数据分布（non-stationarity）和时变类别不平衡（class-imbalance）两大挑战。

　　

Highlight

类增量学习设置自提出以来已显著演进。经典的分阶段设置首次在[11]中通过MNIST^[9]数据集的划分版本提出，其利用标签信息将数据流组织为独立阶段。这种分阶段设置已被[1],[12],[13],[14],[15]广泛采用。然而，最新研究[16],[17],[18]揭示了其在反映真实场景方面的局限性及其不必要加剧遗忘问题的风险。

Data stream generation（数据流生成）

类增量学习（CIL）模型被设计用于从输入数据流中学习新类别，同时保留已学类别的知识。本节中，我们通过摒弃传统的"阶段"概念，提出了一种更真实的CIL数据流建模方法。为实现此目标，我们引入了一种基于时间轴上分布的钟形曲线序列计算每类采样权重的方法，每条曲线代表特定...

Rate-dependent coreset selection（速率依赖性核心集选择）

本节我们介绍应对所提出流带来新挑战的方法论（见第3节）。在第4.1节中，我们制定了每步核心集选择器的优化问题并推导出其闭式解。在第4.2节中，我们提出速率依赖性核心集选择器（RDCS）。RDCS根据近期流动态自适应调整其选择策略。它摒弃了可能存在偏差的验证数据需求，采用按类别...

Experiments（实验）

本节我们在具有时变分布的数据流上评估所提出的核心集选择器（RDCS）。下面，我们在第5.1节介绍实验设置，并在第5.2节呈现结果与分析。

Conclusions（结论）

本文介绍了在具有时变分布的数据流上进行类增量学习。通过此类数据流，我们能够消除传统持续学习协议中带来非自然分布变化的"阶段"。为生成数据流，我们通过具有位置和形状参数的钟形曲线对类别波动进行建模。为应对流中的挑战，我们提出速率依赖性核心集选择器以实现自适应选择和偏差缓解。我们还提供...