并非另一种插补方法：一种基于Transformer的表格数据集缺失值处理模型

《AI Open》：Not another imputation method: A transformer-based model for missing values in tabular datasets

　　

处理表格数据集中的缺失值在训练和测试人工智能（AI）模型时提出了重大挑战，该问题通常通过插补技术（imputation techniques）解决。此处，研究人员引入了“并非另一种插补方法（Not Another Imputation Method, NAIM）”，这是一种新颖的基于Transformer的模型（transformer-based model），专门设计用于在不需传统插补技术的情况下解决此问题。NAIM避免缺失值插补并有效从可用数据中学习的能力依赖于两种主要技术：使用特征特定嵌入（feature-specific embeddings）来编码分类特征（categorical features）和数值特征（numerical features），同时处理缺失输入；修改掩码自注意力机制（masked self-attention mechanism）以完全掩盖缺失数据的贡献。此外，引入了一种新颖的正则化技术（regularization technique）以增强模型从不完整数据中的泛化能力。研究人员在5个公开可用的表格数据集上广泛评估了NAIM，证明了其优于6个最先进的机器学习（ML）模型和5个深度学习（DL）模型（每个模型在必要时与3种不同的插补技术配对）的性能。结果突出了NAIM在存在缺失数据时提高预测性能和鲁棒性的有效性。为促进在没有传统插补方法的情况下处理缺失数据的进一步研究和实际应用，研究人员将NAIM的代码公布于https://github.com/cosbidev/NAIM。

论文解读：基于Transformer的表格数据缺失值处理模型NAIM

**研究背景与存在问题**

表格数据（tabular data）在人工智能（AI）模型训练与测试中面临独特的挑战，尤其是缺失值（missing values）问题。缺失值可能源于人为错误、无应答、数据损坏、样本流失或系统性丢失，导致数据集不完整。传统方法主要依赖插补技术（imputation techniques），如常数插补、多重插补（MICE）和K近邻插补（KNN），这些方法在预处理阶段填充缺失条目，但可能引入偏差或信息损失。另一类方法是内在处理策略，如树模型中的缺失值纳入属性（MIA），但仅适用于特定模型。尽管Transformer架构在自然语言处理（NLP）和计算机视觉领域取得成功，其在表格数据领域的应用尚未专门解决缺失值问题。现有Transformer变体（如TabNet、TabTransformer、FTTransformer）均无法直接处理缺失值，需要依赖外部插补。因此，研究人员开展了本研究，旨在提出一种无需插补即可处理缺失值的Transformer模型，以提升预测性能与鲁棒性。论文发表在《AI Open》。

**主要技术方法概述**

NAIM采用三种关键技术：①特征特定嵌入（feature-specific embeddings）：对每个分类特征设计查找表（lookup table, E^cat_i），对数值特征设计含“存在”和“缺失”两个条目的嵌入表（E^num_i），缺失条目对应不可训练的零向量（padding index），从而编码特征值并自然处理缺失输入；②修改的掩码自注意力机制（masked self-attention）：在标准自注意力中，使用双重掩码矩阵（M+M^T）完全掩盖缺失特征的贡献，确保注意力矩阵中缺失行和列被归零；③新颖的正则化技术：每轮训练时以50%概率随机掩盖样本中的非缺失特征（至少保留一个特征），模拟缺失场景，增强模型从不同缺失模式中的泛化能力。实验基于5个公开UCI数据集（Adult、BankMarketing、OnlineShoppers、SeismicBumps、Spambase），所有数据集原始完整，仅Adult含1%缺失，人工生成完全随机缺失（MCAR）比例为0%–75%。

**研究结果**

**第一项分析：与机器学习和深度学习模型对比**
NAIM与6个机器学习模型（AdaBoost、决策树、HistGradientBoost、随机森林、支持向量机、XGBoost）及5个深度学习模型（MLP、GRAPE、TabNet、TabTransformer、FTTransformer）配对3种插补方法的35个竞争者进行对比。结果显示，NAIM在36种缺失值组合中23次获得最佳平均性能（AUC），且在训练集无缺失时性能稳定，得益于正则化技术使其学会处理缺失值。

**第二项分析：与内在处理策略对比**
NAIM与采用MIA策略的树模型及GRAPE对比，在训练集无缺失时，其他模型性能随测试缺失增加显著下降，而NAIM表现稳定，验证了正则化技术的有效性。在训练集缺失50%时，XGBoost和随机森林偶尔超越NAIM，但整体上NAIM在多数场景占优。

**第三项分析：与插补策略对比**
NAIM与3种插补方法（均值、KNN、MICE）的平均性能对比显示，插补方法之间差异不显著，但NAIM在所有缺失级别上均优于这些插补策略，且无需事先选择最优插补方案。

**鲁棒性分析**
通过计算性能下降量（对比完全无缺失场景），NAIM在训练缺失增加时下降0.88%，在测试缺失增加时下降5.27%，虽然鲁棒性略逊于SVM+KNN，但整体性能显著优于后者（67.8%的统计检验优于SVM），表明NAIM在保持高性能的同时具备较强鲁棒性。

**消融研究**
去除正则化技术（NAIM w/o reg）后，模型在训练无缺失时性能类似于XGBoost，强调了正则化在训练期间学习处理缺失值的关键作用。结合3种插补技术的NAIM变体均优于纯插补基线，证明掩码自注意力机制的有效性。

**结论总结与讨论**

NAIM通过特征特定嵌入和双重掩码自注意力机制，最大化利用可用数据信息，避免传统插补；其正则化策略使模型能在训练集无缺失时也学会处理缺失值。实验表明NAIM在多数场景下显著优于现有方法。讨论部分指出当前工作基于MCAR假设，未来将扩展至随机缺失（MAR）和非随机缺失（MNAR）机制，并探索多模态学习、高效注意力、模型可解释性、自监督学习、时间序列建模及领域适应等方向。研究结论翻译如下：“当面对训练或测试阶段存在缺失数据的表格数据集时，在测试的方法中，NAIM是一个有前景且具有竞争力的选择，因为它能从可用数据中提取有用信息，无需任何插补。”