基于局部和全局信息的表格数据插补：一种基于得分的扩散方法

《Pattern Recognition》：Tabular data imputation via local and global information: A score-based diffusion approach

　　万博文|施洪波|景丽平|严明奇|王大明•SVIM能够捕捉数据集的局部和全局信息，用于填补缺失值。•引入通过扩散模型学习得到的斯坦因分数，用以修正表格数据中的邻近插补值。•已从理论上分析了SVIM的合理性。•SVIM的表现优于传统插补方法，具有更出色的插补效果。

引言
在现实世界的数据收集过程中，缺失值是不可避免的，比如神经影像数据[1]、交通数据[2]以及电子健康记录[3]。这些缺失值可能源于意外丢失、隐私保护需求、传感器故障或数据收集过程中的困难，进而导致信息损失、统计推断困难以及下游模型性能下降[4]。插补技术通过利用现有的可观察信息来恢复缺失值，以此解决这一问题。在本文中，我们将这类信息分为局部信息和全局信息。局部信息指的是特征级或样本级的信息，如特征统计量；而全局信息则是指数据集层面的分布或结构信息，如特征间的依赖关系、样本分布或低秩结构。根据插补所使用的信息和建模原理，现有方法大致可分为推断型、基于优化的方法以及生成型方法。推断型方法主要依赖局部统计量或预测模型，但可能无法捕捉特征之间的复杂关系。基于优化的方法则通过明确的目标函数来利用全局的分布或结构信息，但其有效性取决于预定义的指标或结构假设。生成型方法则通过学习整体数据分布来生成合理的缺失值，但若可观察信息不足，则可能难以实现可靠的分布学习。例如，Yoon等人[5]和Han等人[6]使用了生成对抗网络（GAN）进行插补；Mattei等人[7]和Ramchandran等人[8]采用了变分自编码器（VAE）；而Jolicoeur-Martineau等人[9]和Zhang等人[10]则使用扩散模型来填补缺失部分。

在表格数据中，缺失值往往与局部特征属性以及全局特征间关系相关。因此，有效的插补方法应同时利用局部特征级信息和全局的分布依赖关系。然而这并非易事，因为现有的插补方法仍面临两大挑战：(I)特征间的复杂关系：表格特征之间的关系通常较为复杂且不规则，推断型方法可能受限于局部信息，而基于优化的方法则可能受到预定义指标或结构假设的约束。(II)可观察信息不足：缺失的条目会减少可用信息量，这可能使得生成型方法难以学习到可靠的数据分布。为应对这些挑战，我们考虑将局部信息与全局分布信息相结合。针对挑战(I)，我们采用了基于分数的扩散模型，因为这类模型能够学习到联合特征分布的分数，从而通过表格数据的依赖结构隐式地编码特征关系[11]。对于挑战(II)，我们引入了邻近风险最小化（VRM）原理，将局部信息注入缺失条目中，从而缓解基于扩散模型的插补中存在的信息不足问题。

总之，我们提出了一种基于分数的邻近插补模型（SVIM），该模型利用局部和全局信息来填补缺失值。SVIM首先构建不完整表格数据中已观测部分的邻近分布，再利用局部信息对缺失部分进行粗略插补，这有助于基于分数的扩散模型更好地捕捉整体特征分布。此外，由于在插补任务中数据集的整体特征关系更为重要，因此需要利用特征间的关系来优化粗略插补得到的值。修正过程借助从训练好的扩散模型中获取的全局信息，迭代最大化插补后数据集的概率，从而得到更精确的插补值。本研究的主要贡献可总结如下：首先，我们提出了SVIM这种插补方法，它结合基于分数的扩散模型和VRM原理，利用局部和全局信息更准确地填补缺失值。其次，我们对这种基于扩散的邻近插补方法进行了理论分析，并证明了SVIM的理论特性。最后，我们在多个数据集上进行了多种实验，以验证所提出的SVIM的有效性。

缺失值插补方法
根据KPI[12]的分类方法，现有的缺失值插补方法大致可分为判别型和生成型两类。在本研究中，我们进一步根据插补过程中所使用的信息和建模原理，将判别型方法细分为推断型和基于优化的插补方法。具体而言，推断型方法利用统计或预测模型，根据已观测数据来预测缺失值，而基于优化的方法则……

问题描述
对于一个具有[Math Processing Error]d个特征的表格数据，[Math Processing Error]x表示该表格数据中的一个[Math Processing Error]d维随机变量，其定义为[Math Processing Error]x?(x1,…,xd)∈Rd。[Math Processing Error]y∈Y则是与该随机变量对应的标签。包含特征和标签的示例可表示为[Math Processing Error]?=(x,y)。对于不完整的表格数据，其特征由可观测特征和缺失特征组成，分别记为[Math Processing Error]xobs和[Math Processing Error]xmiss，二者共同构成[Math Processing Error]x=xobs∪xmiss。[Math Processing Error]m?(m1,…,md)∈{0,1}d是一个掩码向量，用于……

基于分数的邻近插补模型框架
所提出的SVIM旨在用于数值型表格数据集的缺失值插补。如图1所示，SVIM由两个核心模块组成：邻近插补模块和扩散调优模块。邻近插补模块首先根据已观测的条目构建邻近分布，然后基于局部特征信息进行粗略插补。之后，利用这些经过邻近插补得到的数据来训练基于分数的扩散模型，该模型能够捕捉特征间的全局关联……

实验设置
为验证所提出的SVIM的有效性，我们进行了大量实验，具体内容将在下文中阐述。

数据集：我们主要从KEEL数据库中选择了15个数据集，这些数据集的所有特征均为数值型，因为我们的算法专注于数值数据。这些数据集主要用于分类和回归任务。有关这些数据集的详细信息见表1。

缺失机制：尽管本研究中的方法和理论证明是基于……

结论
在本文中，我们提出了一种基于分数的邻近插补方法SVIM，用于处理表格数据中的缺失值。通过结合局部邻近信息与全局的基于分数的分布信息，SVIM能够通过学习到的扩散分数场来优化粗略的插补结果。这一设计有效克服了推断型、基于优化的以及生成型插补方法的局限性，包括依赖关系建模能力有限、依赖于预定义假设以及可观察信息不足等问题。

实验

CRediT作者贡献说明
万博文：写作——审稿与编辑、可视化、软件、概念设计。施洪波：写作——审稿与编辑、软件、方法论、概念设计。景丽平：验证、方法论、概念设计。严明奇：写作——初稿撰写、验证、概念设计。王大明：写作——审稿与编辑、方法论。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（编号62105190）、中国教育部人文社会科学研究基金（编号22YJAZH092）以及中央政府引导地方科技发展专项基金（编号YDZJSX20231A057）的支持。