任务时刻不匹配：诊断基于覆盖度的方法在共核集选择中处理重尾分布时的失效问题

《Scientific Reports》：Task-moment mismatch: diagnosing failures of coverage-based methods on heavy-tailed distributions in coreset selection

　　

摘要

核心集构建旨在找到一个规模较小、经过加权处理的训练数据子集，使其能够近似反映整个数据集的统计特性，从而在不会显著降低模型性能的前提下实现高效的模型训练。现有的核心集选择方法通常以几何覆盖度或均值匹配作为优化目标，其隐含假设是这些目标能够有效应用于各种下游任务。本研究表明，当下游任务依赖于某些统计矩时，这一假设可能不成立，因为这些选择目标往往无法保留这些统计矩。研究中发现了一种常见的现象，即任务-统计矩不匹配，此时忽视与任务相关的统计矩的核心集选择方法，其性能甚至会低于随机抽样。本研究的目标有三点：（1）分析基于覆盖度的核心集选择在重尾分布上的失效模式；（2）探讨优化低阶统计矩如何影响某些任务所要求的更高阶统计结构的保留；（3）通过实验证明，考虑统计矩的选择方法可以有效解决这种不匹配问题。研究提出了一种名为分层统计矩保留（HMP）的选择算法，该算法通过两阶段分层方式针对特定的统计矩张量进行选择。在基于合成数据集以及从现实世界数据中提取的信号进行的实验中，结果表明，在重尾数据上，k-means++方法的协方差误差比随机抽样高\(5\times\)，这证实了对于依赖统计矩的任务而言，基于覆盖度的优化方法可能会适得其反。此外，经过协方差优化的核心集在独立成分分析任务中的信号分离性能会下降\(-13.3\)?dB，置信度为\(p = 0.002\)，这是因为这类方法破坏了ICA算法所依赖的四阶累积量结构。而所提出的考虑统计矩的方法，其协方差误差比随机抽样低\(3\times\)，在金融数据上的异常值检测精度则提高了\(+15\%。研究还提供了一个实用的决定矩阵，帮助从业者根据下游任务的统计需求选择合适的核心集构建方法。