《Knowledge-Based Systems》：Adaptive Clustering-Driven Imputation with A Priori Suitability Estimation for Unlabeled Data
编辑推荐：
DDBC算法通过自适应聚类和预先评估机制有效填补缺失数据，保持潜在结构，适用于高维无标签数据，在医疗等场景中提升下游任务性能。
阿努·玛丽亚·塞巴斯蒂安 | 大卫·彼得 | 里努·安·塞巴斯蒂安
印度喀拉拉邦科塔亚姆印度信息技术学院计算机科学与工程系
摘要
缺失数据是现实世界数据集中普遍存在的挑战，它常常会损害无监督学习算法的性能，并影响下游分析的完整性。在这项工作中，我们提出了一种基于邓恩指数的聚类插补（DBCI）算法，该算法能够在保留潜在数据结构的同时自适应地插补缺失值。与传统方法不同，DBCI无需训练，不受领域限制，并且在插补过程中明确利用了簇内凝聚力和簇间分离性。为了解决传统基于消融法和后验验证方法的局限性（这些方法通常依赖于在大多数现实世界环境中无法获得的真实数据），我们进一步引入了一种“先验”适用性评估机制。该机制在插补之前评估DBCI的预期效果，显示出与下游插补性能的强相关性，并且可以推广到其他基于质心的插补方法。实验结果表明，DBCI能够降低插补错误，保持结构完整性，并提高下游无监督任务（包括投影方法和自组织映射）的性能。这些特性使其在医疗保健、环境监测和金融等数据稀缺领域具有特别的价值。总体而言，我们的工作为无监督机器学习流程中的实时、适用性感知插补奠定了基础。
引言
缺失数据是数据分析和机器学习中普遍存在的挑战，常常会降低结果的质量并影响下游任务的可靠性[1]。大多数机器学习算法假设数据是完整的，其性能对输入特征的质量和完整性非常敏感。尽管当缺失数据较少时，简单的删除策略可能是有效的，但对于现实世界的数据集来说，这些策略并不实用，因为缺失数据往往广泛存在且具有系统性模式。数据插补（DI）旨在用合理的估计值替换缺失值，为此已经提出了许多技术。研究表明，适当的插补可以显著提高模型性能和分析结果[2,3]。缺失数据的模式通常被分类为完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）[4,5]。理解缺失数据的本质至关重要，因为简单的插补方法可能会引入偏差，特别是在MNAR情况下，缺失数据源于未观察到的因素。此外，插补方法的成功在很大程度上取决于数据的内在特征，没有一种方法在所有情况下都能表现出最佳性能[6,7]。
聚类驱动的插补（CDI）因其简单性、高效性和适用于高维数据而受到关注[[8], [9], [10], [11], [12], [13]]。CDI将相似的实例分组，并根据簇信息估计缺失值。然而，传统的CDI方法往往忽略了关键的特征相关性和潜在数据结构，导致插补结果失真，并在降维和无监督学习等任务中性能下降。当数据特征高度相关时（例如在生物医学或传感器数据中），某些变量隐含地反映了共同的潜在因素，这尤其成问题。
在插补过程中保留数据的潜在结构至关重要，特别是在无监督学习任务中，模型性能完全依赖于内部数据模式。一些因素会显著破坏潜在结构，例如改变重要的特征间相关性、生成人为异常值、抑制自然变异性等，这些都是插补后效应需要关注的问题。许多现实世界的数据集显示出变量之间的内在关系，反映了潜在的构建[14]。忽略这些依赖关系的插补方法可能会削弱或消除这些重要相关性，从而扭曲数据的真实结构。因此，有效的插补不仅需要最小化局部预测误差，还需要通过保持重要相关性、避免人为异常值以及保留对潜在空间至关重要的统计属性来维护数据集的全局结构完整性。评估插补的适用性至关重要，因为不适当的插补会增加数据集中的错误和偏差。糟糕的插补会削弱相关性，导致误导性的嵌入结果、降低可解释性，并降低下游应用的性能。此外，目前还没有可靠的机制可以“先验”地评估某种插补策略是否适合给定的现实世界数据集，尤其是在没有真实数据的情况下。常用的基于消融的验证方法涉及在完整数据集中人为掩盖值，并根据已知的真实数据来评估性能[15]。然而，这种方法不适用于存在自然缺失数据的现实世界场景。
本研究解决了现有插补方法中的两个关键局限性：
1.传统的CDI技术主要依赖于局部相似性，常常忽略全局数据结构和重要的特征间依赖性。这可能会扭曲潜在表示，并降低插补数据在降维和无监督学习等任务中的有效性。
2.目前还没有直接评估CDI在现实世界数据集上性能适用性的方法，主要是因为缺乏真实数据。
3.现有的评估机制是事后的，需要先进行插补才能评估其适用性。如果方法被证明不足，这将导致计算资源和努力的浪费。
为了解决这些局限性，我们开发了一种新的DBCI算法。本研究的主要贡献包括：
1.开发了DBCI：一种新的自适应CDI框架，能够在保留数据潜在结构的同时最小化插补错误。该方法包括：
?改进的成员函数，以更有效地处理不完整记录。
?一个自适应的多阶段插补过程，考虑了特征之间的方差和相关性。
?增强簇内的结构一致性，通过边际分布检查来检测和纠正异常。
2.新的先验适用性评估：一种新的先验评估方法，即使在缺乏真实数据的情况下也能估计DBCI的预期效果。作为一种先验方法，它避免了先应用插补再评估其有效性的低效率。
3.增强了对下游学习任务的支持：通过更连贯的低维嵌入和改进的无监督学习性能来验证保留结构插补的好处，表现为更低的重建误差和自组织映射。
总之，我们的工作为无标签的高维数据集提供了一种无需训练的插补框架。它通过保留插补数据的结构保真度，并引入了一种新的评估机制，在应用之前评估插补的适用性，即使在没有真实数据的情况下也是如此。
相关文献
相关工作
CDI因其概念清晰度和计算效率而受到欢迎[16]。常用的算法包括高斯混合模型（GMM）、模糊C均值（FCM）和K均值[[10], [11], [12], [13], 16]。这些方法在簇分配上有所不同，例如GMM分配概率责任[17]，FCM赋予模糊的成员度，而K均值基于距离到质心的硬分配。一旦选择了簇，就使用相应的技术来插补缺失值
提出的技术
传统的CDI方法常常忽略重要的数据依赖性，这可能会扭曲数据的潜在结构。此外，不正确的插补会向数据集中引入错误和偏差，从而导致从结果数据中得出的洞察力质量低下。众所周知，没有一种插补策略对所有数据集都是最优的[35]。据我们所知，现有的CDI框架中没有内置的评估机制来评估其
结果与分析
在本节中，我们使用已建立的评估技术[15]将我们提出的DBCI方法的插补性能与基于聚类的基线插补技术进行了比较，并分析了我们的评估机制是否与这些结果一致。然后，我们检查了每种插补技术在插补后保持属性间重要相关性的有效性。此外，我们还分析了信息损失，这会影响下游分析的质量
讨论
CDI因其简单性和速度快而受到欢迎。然而，它们基于记录的相似性进行操作，而基于相似性的策略在插补时通常会忽略变量之间的关键相关性。这可能会损害插补后数据的固有性质。一般来说，现有的插补算法都没有提供关于该算法是否适合插补给定数据集的任何指导。目前的做法是进行消融研究，其中
结论
在这项研究中，我们提出了一种新的方法，该方法优先考虑可解释性和原则性的回退行为，采用自适应CDI框架，旨在减少插补错误，同时保持重要的特征间相关性，这对于维护数据的潜在结构至关重要。与许多现有的插补方法不同，DBCI无需训练，不需要特定的领域知识，特别适用于无标签或高维数据集，其中结构保留
作者贡献声明
- 阿努·玛丽亚·塞巴斯蒂安：概念化、数据整理、方法论、验证、可视化、撰写原始草稿。
- 大卫·彼得：审阅与编辑、监督、方法论。
- 里努·安·塞巴斯蒂安：方法论、验证、可视化、审阅与编辑草稿。
利益冲突声明
我们特此声明，这项工作不促进任何财务或个人利益。不存在利益冲突。
CRediT作者贡献声明
阿努·玛丽亚·塞巴斯蒂安：撰写——原始草稿、可视化、验证、项目管理、方法论、形式分析、数据整理、概念化。大卫·彼得：撰写——审阅与编辑、验证、监督、方法论、形式分析、概念化。里努·安·塞巴斯蒂安：撰写——审阅与编辑、可视化、方法论、调查、概念化。
利益冲突声明
作为文章《针对无标签数据的自适应聚类驱动插补及先验适用性评估》的第一作者，我声明这项研究不涉及任何资金支持，也不促进任何个人利益。所有作者都同意将手稿发表在《基于知识的系统》期刊上。
