TabMAGD：结合掩码自编码器（Masked Autoencoder, MAE）与引导扩散（Guided Diffusion）的混合类型表格数据合成框架

《IEEE Transactions on Big Data》：TabMAGD: Combining Masked Autoencoders with Guided Diffusion for Mixed-Type Tabular Data Synthesis

　　

为应对真实数据稀缺与数据隐私问题，大量研究工作致力于开发表格数据合成器。表格数据具有异质性与列间相关性，特征可能代表多样信息类型并包含混合数据格式（包括类别型与数值型）。为克服建模异质特征及其复杂依赖关系的挑战，研究人员提出一种新颖的表格数据合成框架，将掩码自编码器与引导扩散相结合（TabMAGD）。与现有表格数据生成器不同，该方法关注类别特征与数值特征间的相关性：通过掩码自编码器学习数值特征对类别特征的影响，通过引导扩散捕捉类别特征对数值特征的影响。实验中，研究人员对TabMAGD进行了全面评估，证明其在现有生成模型中达到最优性能（State-Of-The-Art, SOTA）。在隐私敏感应用中，TabMAGD在保持数据效用与隐私保护良好权衡的同时，持续生成高质量合成数据。值得注意的是，表格数据合成可视为数据治理工具，协助组织生成高质量、合规且安全的合成数据。

研究背景与问题提出

表格数据广泛存在于机器学习任务中，但真实表格常含数值型、类别型乃至混合类型特征，各列语义独立、类型不一致，且列间存在复杂甚至无空间规律的依赖关系。现有深度生成模型（如生成对抗网络（Generative Adversarial Network, GAN）、变分自编码器（Variational Autoencoder, VAE）、自回归模型、扩散模型）在表格合成上各有局限：CTGAN、TVAE、GOGGLE合成质量有限；GReaT易生成无效类别且数值建模弱；STaSy、TabDDPM、CoDi等扩散方法未达最佳；TabSYN虽质量较优，但变分自编码器架构引入额外损失并扭曲列间关联。核心缺陷在于既往方法忽视不同类型特征间的双向影响。为此，研究人员在《IEEE Transactions on Big Data》提出TabMAGD，旨在显式建模数值→类别与类别→数值两条相关路径。

主要关键技术方法

研究人员采用统一预处理：类别特征定序编码，数值特征经高斯分位数变换；以变分高斯混合（Variational Gaussian Mixture, VGM）从数值列提取离散模态表示（ClusterBasedNormalizer），与类别特征拼接为离散输入x^dis。针对离散侧，构建掩码自编码器（Masked Autoencoder, MAE）：特征分词器（feature tokenizer）统一嵌入，随机掩码后由Transformer编码器与多层感知机（Multilayer Perceptron, MLP）解码器以交叉熵重建，按列随机顺序逐步生成类别与数值离散表示。针对数值侧，采用方差保持随机微分方程（Variance Preserving SDE, VP-SDE）扩散，去噪网络以正弦时间嵌入、条件嵌入（类别与数值离散表示）注入，训练采用分类器无关引导（Classifier-Free Guidance, CFG）思路的自引导策略，以离散特征为条件指导数值生成；预训练模型可直接用于缺失值填补。

研究结果

3.1 表格数据生成问题定义

研究人员形式化定义含N_cat类别列与N_num数值列的表格，经预处理与VGM离散化得到x^dis，明确生成目标为学习参数化模型p_θ(T)以采样逼真多样合成数据。

3.2 面向离散特征的掩码自编码器

研究人员以特征分词器将x^dis映射为嵌入E^dis∈R^k×d，随机采样掩码概率β～N(0,1)得掩码矩阵M，被掩位置置入可训练向量V^dis；Transformer编码器捕获离散列关联，MLP解码器仅对掩码位计算交叉熵。生成阶段逐列、随机顺序将M由全1变全0，完成离散特征合成。该设计规避了传统one-hot对表格的不适应，并利用掩码预测显式学习数值离散表示对类别的影响。

3.3 面向数值特征的引导扩散

研究人员选用VP-SDE：dx=??β(t)xdt+√β(t)dw，反向SDE代入得分网络D_θ(x,t,c)≈?_xlog p_t(x|c)，其中条件c为类别特征与数值离散表示。采用CFG形式D?_θ=δD_θ^m?(δ?1)D_φ^g，本文取δ=1退化为条件得分。时间嵌入经SinTimeEmb→Linear→SiLU→Linear，条件嵌入经Embedding层加入，MLP堆叠预测噪声。自引导训练以表格内离散特征为条件，使数值分布生成受类别约束，同时预训练权重可零微调用于数值列缺失填补（类别列用MAE掩码预测）。

讨论与结论翻译

研究人员将TabMAGD与CTGAN、TVAE、GOGGLE、GReaT、STaSy、TabDDPM、CoDi、TabSYN对比，在多个基准集上取得SOTA合成质量；隐私敏感场景下，合成数据在下游效用与成员推断抵抗间保持优异权衡。结论表明：TabMAGD通过掩码自编码器建模数值→类别影响、引导扩散建模类别→数值影响，有效捕捉混合类型表格的联合分布；该框架可扩展至缺失值填补，并作为数据治理工具产出合规、安全、高保真合成表格，缓解真实数据稀缺与隐私约束。