释放数据的力量：利用强化学习实现动态子集选择

《Neurocomputing》：Unlocking the power of data: Dynamic subset selection with reinforcement learning

　　尹子墨|卓晶杰 中国北京100085，联想研究院AI实验室 摘要 数据选择是一种通过选取整个数据集的子集来降低成本和能耗的常用技术。然而，确定合适的子集比例颇具挑战性，需要领域知识与实践经验。此外，评估结果会因验证集的选择而大幅波动，这就需要额外的计算资源以确保结果的稳定性。为解决这些问题，我们提出了DSRL这一新方法，它基于训练集，利用在线强化学习动态确定子集比例。我们采用探索模块来积累状态转换，并引入高斯噪声以避免陷入潜在的局部最优解，从而进一步提升性能。实验表明，与其它固定子集比例策略相比，我们的方法在CIFAR-10、CIFAR-100和TinyImageNet上的平均加速比为2.2倍、2.5倍和2.5倍，同时精度损失最小。总之，我们的贡献如下：我们将按类别划分的子集比例调度问题视为一个在线连续控制问题，提出DSRL仅依据训练集调整子集比例，从而无需在在线决策时依赖验证集；我们采用的在线学习方案能够有效更新参数，避免了强化学习训练通常带来的高昂成本；DSRL可与任何数据选择算法结合使用，将多种子集比例纳入训练过程，这一点已在CRAIG、Grad-Match和CCS等任务上得到验证。大量实验表明，DSRL在加速与精度之间取得了良好平衡，提升了所评估图像分类任务中人工智能解决方案的效率与可持续性。引言 现代深度学习应用，如计算机视觉中的面部识别，高度依赖数据驱动的统计模型[1][2]。然而，要获得良好性能往往需要付出高昂的经济与环境成本[3][4]。例如，Killamsetty等人使用残差网络和V100 GPU在CIFAR-10数据集上进行图像分类实验，1000次训练运行就需要6000 GPU小时的时间[5]。据估计，每次训练所消耗的能量相当于在美国驾驶汽车行驶1600到3500英里，同时还会产生640到1400公斤的二氧化碳排放。人工智能算法所需的计算资源预计每100天就会翻一番，未来5年内甚至可能增加100多万倍[6]。对于个人和小型机构而言，人工智能研发所需的巨大计算资源可能构成障碍，限制了他们在人工智能技术方面的研究与应用[7]。因此，提升训练效率是现代人工智能面临的重要挑战之一[4]。这有助于研究人员通过并行训练同时测试更多新想法，进而提升模型性能[8]。此外，降低训练成本还有助于减少模型商业化的障碍，从而推动人工智能在更多实际应用中的普及[9]。为解决这些问题，许多研究者致力于通过数据相关的加速策略来降低机器学习的计算成本，包括数据蒸馏、数据采样和数据选择。它们的训练流程如图1所示。数据蒸馏可将原始训练数据压缩为规模更小但信息量更高的数据集[10][11]；数据采样则通过策略性修改小批量样本的分布和顺序来实现加速[12][13]；数据选择则在筛选训练数据量方面起着关键作用[14][15]。这三种策略不仅能加快整体训练速度，还能降低电能消耗。不过，数据蒸馏中生成合成数据集的计算成本很高，且所需时间会随着数据集规模的增大而呈指数级上升[16]。对于数据采样和数据选择，近期研究侧重于根据模型性能的变化动态选择样本。一些启发式探索方法通过量化感知的自适应核心集选择方法[17]或自适应子采样策略[18]来确定样本。在动态技术方面，相关的强化学习研究目前还比较少，其性能仍有提升空间。研究者直接将强化学习用于样本选择或评估，结果在对比实验中会出现意外失败[19]，或者导致训练时间过长[20]。具体而言，DQNimb在CIFAR-10数据集上，当数据不平衡比例为0.5%时，无法达到最佳性能[19]；Yoon等人的DVRL方法相比传统训练方式，训练时间开销要高出两倍[20]；最近开发的LDV方法仅适用于表格数据，其在计算机视觉任务中的应用还有待进一步发展[21]。因此，正如[22][23]所指出的，开发一种能在效率与精度之间实现出色平衡的动态数据加速方法具有很高的价值。与以往那些有缺陷的强化学习应用方法不同，利用强化学习来控制子集比例是一种更为直接且可行的方法，但目前尚未被探索。值得注意的是，当存储空间有限时，数据选择在加快训练速度方面优于数据采样[24]。此外，大多数现有的数据选择技术都采用固定大小的子集，而忽略了在训练过程中动态调整子集比例的潜在优势，近期研究也强调了这一点[25][26]。这些固定比例的方法需要预先定义的值，而这些值可能并不适合各种不同的数据集和模型。例如，Chai等人探讨了如何通过从较小的比例开始，逐步增加比例，直到观察到模型性能不再提升，从而手动选择合适的核心集大小[25]；类似地，Zhang等人则尝试为沙普利值估算设置不同的样本大小阈值，然后选择误差率最低的那个值[26]。尽管这些方法展示了动态子集比例的潜在优势，但为寻求最佳性能而进行的计算开销却与加快训练速度这一核心目标相悖。因此，针对实际应用，非固定子集比例策略的研究还远远不够。此外，许多数据选择方法在子集选择过程中会使用验证集[20][27][28]，这限制了它们在仅使用训练集场景下的应用，同时还可能带来额外的计算成本[23]。与这些存在问题的方法相比，不依赖验证集，在数据选择方法中控制子集比例是一种更为简单可行的研究方向，有望在训练效率方面带来实际效益。在本文中，我们提出了基于强化学习的动态子集比例调整方法（DSRL），这是一种在线强化学习框架，可在训练阶段动态确定子集比例，而不需要依赖验证集，如图1(d)所示。据我们所知，DSRL是首个研究动态子集比例在数据选择中作用的研究工作。我们的方法会定期根据训练性能迭代确定子集比例，强化学习网络会监测预测网络的性能，并据此调整子集比例。为防止过早收敛到次优的局部最优解，我们采用了探索机制并引入高斯噪声，以鼓励更广泛的搜索空间探索。我们的DSRL框架可以与任何数据选择算法结合使用，将多种子集比例纳入训练过程，从而形成内容丰富、信息全面的训练集。由于强化学习训练既不稳定又非常耗资源，因此我们的强化学习部分是在线更新的，只需最少的训练轮数就能实现子集比例的自适应调整。我们在CIFAR-10、CIFAR-100和TinyImageNet数据集上，通过常规的数据增强方法，评估了我们提出方法的有效性。实验结果表明，DSRL能够在保持模型性能的同时显著提升训练效率，其加速效果相比其他基准方法最高可达3.0倍。我们需要说明的是，所提出的方法是一种按类别划分的子集比例控制框架，而非一种新的强化学习算法。之所以需要强化学习控制器而非预定义的调度方案，是因为预定义的调度方案无法对模型的即时状态做出反应。强化学习控制器会在每个决策步骤中监测各类别的准确率及当前子集比例，然后根据当前状态调整下一个比例——在模型训练不足时提高比例，当模型性能已达饱和时降低比例，一旦额外数据无法进一步提升性能则自动终止训练。这种基于状态感知的行为以及自动终止功能，是固定的、随机的或按预定时间表执行的子集比例策略所无法实现的，这一点我们在第4.2节通过实验证实了。我们工作的贡献可总结如下：•我们将按类别划分的子集比例调度问题视为一个在线连续控制问题，提出DSRL仅依据训练集调整子集比例。这一框架而非新的强化学习算法才是我们的主要贡献，它为探索动态子集比例在提升模型训练效率中的作用打开了新途径。•在线学习使得参数更新更加高效，有助于避免强化学习训练过程中产生的高额成本。•该框架可以与任何数据选择算法结合使用，将多种子集比例纳入训练过程，从而形成内容丰富、信息全面的训练集。•大量的实验结果表明，DSRL在加速与精度之间取得了良好平衡，提升了人工智能解决方案的效率与可持续性。相关研究 我们的方法利用强化学习优化训练集的比例，从而加速深度学习模型的训练。因此，深度学习模型加速技术以及超参数优化是我们工作的关键组成部分。首先，我们介绍了三种深度学习模型加速技术，包括数据相关的加速策略、模型压缩以及分布式训练。接着，我们探讨了超参数搜索以及多目标超参数优化领域的最新进展。提出的方法 在所提出的框架中，强化学习模块会动态确定要使用的训练数据集的比例。根据这一比例，数据选择方法会从完整数据集中挑选出有价值的子集。随后，目标预测器会在这个子集上进行训练，其参数通过梯度下降法进行优化。模型准确率会被评估出来，并与当前的子集比例一起，作为强化学习模块所接收的强化信号。这种闭环机制使得持续优化成为可能。实验 我们的实验旨在展示DSRL的训练效率及其适用性。首先会介绍数据集和实验方法的详细信息。之后，我们会对比DSRL与各种基准方法在不同规模数据集上的模型性能。为了进一步分析DSRL的训练过程，我们会研究每类数据的子集比例变化以及训练时间的不同构成部分。我们还会使用另一种数据选择算法来测试我们的方法。结论与未来工作 本文我们提出了DSRL，这是一种通过动态调整子集比例来在训练效率与精度之间取得更好平衡的新方法。我们所提出的方法解决了在不依赖验证集的情况下确定合适子集比例的问题，因此比传统方法更具效率且更易于应用。通过利用强化学习在训练阶段自适应地确定子集比例，我们的方法减少了人工干预的必要性。CRediT作者贡献声明 尹子墨：撰写——审阅与编辑。卓晶杰：撰写——审阅与编辑。利益冲突声明 作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。尹子墨分别于2016年和2019年在辽宁大学获得学士和硕士学位，2024年在复旦大学计算机科学学院获得博士学位。他目前任职于中国北京联想研究院的AI实验室。他的研究兴趣包括人工智能智能体与强化学习。