使用预训练模型进行数据集蒸馏：一种对比性方法

《Neurocomputing》：Dataset distillation with pre-trained models: A contrastive approach

数据蒸馏中引入对比损失函数CLoM，支持跨分布预训练模型（如基础模型CLIP和CoCa）指导合成数据集生成，在CIFAR-10等数据集上提升模型性能达2.6%-26.7%，并增强跨架构泛化能力。

　　在当前的数据处理和机器学习领域，数据集蒸馏（Dataset Distillation）作为一种关键技术，正逐步成为提升模型训练效率的重要手段。数据集蒸馏的核心理念在于，通过将大规模原始数据集中的知识压缩到一个小规模的合成数据集中，从而在保持模型性能的同时，显著降低训练成本。这一技术在多个应用场景中展现出广阔前景，例如持续学习、联邦学习以及神经架构搜索等。然而，现有的数据集蒸馏方法大多依赖于与目标数据集具有相同标签空间的预训练模型，这种限制在一定程度上阻碍了其应用的广度和深度。

预训练模型在数据集蒸馏中的作用至关重要。它们能够提供丰富的特征表示和重要的信息，从而帮助生成高质量的合成数据。然而，这些模型往往局限于特定的标签空间，无法有效处理跨领域或跨任务的数据集。为了突破这一局限，研究者们开始探索如何利用不同标签空间的预训练模型来指导数据集蒸馏。这种探索不仅拓宽了数据集蒸馏的应用范围，还为利用大规模无标签数据集的潜力提供了新的思路。

为了实现这一目标，本文提出了一种新的插件式损失项，称为Contrastive Loss of pre-trained Model（CLoM）。CLoM的核心思想是通过对比学习的方式，优化合成数据集的生成过程。具体而言，CLoM将原始数据和合成数据视为正样本对，当它们的标签相同时，通过最小化它们之间的距离来提升合成数据的质量。同时，CLoM还通过最大化负样本对（即标签不同的数据）之间的距离，进一步增强模型的区分能力。这种对比学习的方式使得CLoM能够独立于任何特定的模型架构或任务类型，从而支持更广泛的预训练模型应用。

在实际应用中，CLoM不仅适用于与目标数据集具有相同标签空间的预训练模型，还能够有效利用标签空间不同的预训练模型。这为研究者们提供了一种灵活的工具，使得他们可以更加自由地选择和使用预训练模型，而不必受到标签空间匹配的限制。通过将CLoM集成到现有的数据集蒸馏方法中，实验结果表明，这种方法在多个基准数据集上均取得了优异的性能。例如，在CIFAR-10数据集上，当使用CLoM时，模型在每类仅使用10个样本的情况下，仍然能够达到70.3%的准确率，这一成绩比现有最先进的方法高出2.6%到26.7%。

此外，CLoM在跨架构泛化任务中也表现出色。实验结果显示，CLoM能够显著提升模型在不同架构上的表现，其性能提升幅度高达11.3%。这一结果表明，CLoM不仅能够有效指导数据集蒸馏，还能够增强模型的泛化能力，使其在面对新的模型架构时依然保持良好的性能。

为了进一步验证CLoM的有效性，本文还进行了大量的实验分析。这些实验涵盖了不同类型的预训练模型，包括传统的预训练模型和基础模型（如CLIP和CoCa）。通过对比实验，研究者们发现，使用CLoM可以显著提升合成数据集的质量，同时降低训练成本。此外，实验还揭示了基础模型在数据集蒸馏中的积极作用，这些模型能够捕捉更广泛的数据特征和模式，从而为合成数据集的生成提供更加丰富的指导信息。

在实验过程中，研究者们还对CLoM的敏感性进行了分析，探讨了不同参数设置对合成数据集性能的影响。结果显示，CLoM对参数的调整具有一定的鲁棒性，能够在不同的参数设置下保持良好的性能。同时，研究者们还测量了CLoM的计算开销，发现其在保持性能的同时，对计算资源的需求相对较低，这为实际应用提供了重要的支持。

本文的研究不仅为数据集蒸馏技术提供了新的视角和方法，还为预训练模型的广泛应用打开了新的大门。通过引入CLoM，研究者们能够更加灵活地利用不同类型的预训练模型，从而提升合成数据集的质量和泛化能力。此外，本文的实验结果也表明，CLoM在实际应用中具有较高的可行性和有效性，能够为各种数据集蒸馏任务提供强有力的支持。

在总结部分，本文指出CLoM作为一种通用框架，能够支持不同类型的预训练模型，并且可以与现有的数据集蒸馏方法相结合，提升其性能。研究者们认为，CLoM的引入不仅为数据集蒸馏技术带来了新的发展，还为未来的研究提供了重要的方向。尽管CLoM在多个方面表现出色，但研究者们也指出，该方法仍存在一些局限性，例如对特定数据集的适应性以及在大规模数据集上的表现等。未来的研究可以进一步探索这些方面，以期在更多应用场景中发挥CLoM的优势。

总的来说，本文通过引入CLoM这一新的损失项，为数据集蒸馏技术提供了一种更加灵活和高效的解决方案。CLoM的对比学习机制使得合成数据集的生成更加独立于预训练模型的标签空间，从而拓宽了其应用范围。实验结果表明，CLoM在多个基准数据集上均取得了优异的性能，尤其是在跨架构泛化任务中表现突出。这一研究不仅为数据集蒸馏技术的发展做出了重要贡献，也为预训练模型的广泛应用提供了新的思路和方法。