《IEEE Transactions on Big Data》：AASFormer: Adaptive Axial Squeeze Transformer Network for Industrial Surface Defect Segmentation
编辑推荐：
为了解决真实数据稀缺和数据隐私问题，研究人员投入了大量精力开发表格数据合成器。表格数据呈现内在的异质性，列间存在相关性，特征可能代表多种信息类型，并包含混合数据格式——包括类别特征和数值特征。为克服异构特征及其复杂依赖关系建模的挑战，研究人员提出了一种结合掩码
为了解决真实数据稀缺和数据隐私问题，研究人员投入了大量精力开发表格数据合成器。表格数据呈现内在的异质性，列间存在相关性，特征可能代表多种信息类型，并包含混合数据格式——包括类别特征和数值特征。为克服异构特征及其复杂依赖关系建模的挑战，研究人员提出了一种结合掩码自编码器与引导扩散的新型表格数据合成框架（TabMAGD）。与现有表格数据生成器不同，该方法侧重于类别特征与数值特征之间的相关性，通过掩码自编码器学习数值特征对类别特征的影响，并通过引导扩散捕捉类别特征对数值特征的影响。在实验中，研究人员对TabMAGD进行了全面评估，证明了其相对于现有生成模型的先进性能。研究人员在隐私敏感应用中评估了TabMAGD的性能，观察到其能够持续生成高质量的合成数据，同时在数据效用与隐私保护之间保持了出色的权衡。值得注意的是，表格数据合成可被视为数据治理的工具，帮助组织生成高质量、合规且安全的合成数据。
本文系统介绍了一种面向表格数据合成的新型混合生成框架TabMAGD（Tabular data synthesis framework combining Masked Autoencoder with Guided Diffusion，即掩码自编码器与引导扩散相结合的表格数据合成框架）。论文发表于《IEEE Transactions on Big Data》，其核心贡献在于显式建模类别特征与数值特征之间的内在相关性，以提升合成数据的质量与隐私保护能力。
研究背景方面，深度学习在图像、音频和文本等连续同质数据上取得了显著成功，然而表格数据在现实世界中同样大量存在且具有广泛的应用价值，例如训练数据增强、隐私保护、缺失值填补以及数据治理等场景。表格数据具有固有的异质性：不同列可包含数值型或类别型数据，且列间存在复杂而不规则的依赖关系。与图像等具有明确空间相关性的数据不同，表格数据中缺乏可预先利用的归纳偏置，因此生成模型必须从数据中从头学习特征间的结构关系。已有表格数据生成器，包括生成对抗网络（Generative Adversarial Networks, GANs）、变分自编码器（Variational Autoencoders, VAEs）、自回归模型和扩散模型，虽各有进展，但普遍未能充分关注类别与数值特征之间的交互影响，导致合成质量不佳。例如CTGAN和TVAE受限于模型表达力，GReaT难以有效建模数值列，TabDDPM、CoDi等扩散方法也未充分捕捉异构依赖。针对这些问题，研究人员提出了TabMAGD，其核心思想是从两个方向建模特征相关性：一方面，利用掩码自编码器学习数值特征对类别特征的影响；另一方面，利用引导扩散捕捉类别特征对数值特征的影响。
研究人员开展了一项系统性的研究。首先，他们定义表格数据生成任务，并对数据进行统一预处理：类别特征采用顺序编码，数值特征使用scikit-learn库的高斯分位数变换。进一步，利用基于聚类的归一化器（Cluster-based Normalizer），其内部使用变分高斯混合模型（Variational Gaussian Mixture, VGM）估计数值列的模态数并拟合高斯混合分布，从而将每个连续数值转换为离散模态表示，作为类别特征的有效补充。随后，TabMAGD的两大核心组件协同工作：掩码自编码器接收由类别特征与数值离散表示拼接而成的输入，通过特征分词器将每个离散特征映射为嵌入向量，并引入可训练向量替代掩码区域；Transformer编码器捕捉离散特征间依赖，轻量级解码器重建被掩码值，训练目标仅为掩码位置上的交叉熵损失。与此同时，引导扩散模型采用方差保持随机微分方程（Variance Preserving Stochastic Differential Equation, VP-SDE）作为前向噪声过程，并以类别离散表示作为条件信息，通过分类器无关引导（Classifier-Free Guidance, CFG）增强条件依赖，其去噪网络基于MLP结构，使用正弦时间嵌入与类别嵌入共同调制，从而生成数值特征。值得注意的是，TabMAGD还利用扩散模型的预训练特性，将其扩展至缺失值填补任务：类别列直接沿用掩码预测范式，数值列则由条件扩散过程推算。研究采用联合训练策略，总损失为掩码自编码器损失与引导扩散损失之和。
关于技术方法，可概括为以下几点：第一，通过VGM聚类归一化器对数值特征进行离散化，获得可融入类别建模的离散表示；第二，掩码自编码器采用特征分词器、可训练掩码向量、Transformer编码器与MLP解码器，以掩码预测方式学习类别分布；第三，引导扩散采用VP-SDE与分类器无关引导，以离散表示为条件生成数值特征；第四，模型通过统一训练目标整合两种模型。实验所使用六个数据集（Adult、Default、Shoppers、Magic、Beijing、News）均来自UCI机器学习库。
研究结果从四个维度进行了评估，并设有对应的小标题。
（1）列密度估计：该指标衡量合成数据各列的边际分布是否忠实于真实数据。实验结果表明，TabMAGD在全部六个数据集上均取得最佳或次佳的性能，说明其能够有效学习单个列属性的分布形状。相比之下，CTGAN、TVAE和GOGGLE因模型表达能力限制或类别特征处理不足而表现欠佳；TabDDPM在特征相关性较弱的数据集（如Default、Magic）上表现较好，但整体不稳定；TabSYN接近本方法，但其VAE与扩散混合架构引入额外损失，扭曲了列间相关。
（2）成对列相关估计：该指标关注任意两列之间的相关性是否被保持。TabMAGD同样在所有数据集上取得最优结果。STaSy、CoDi和TabDDPM未能保持稳定的相关性，TabSYN因其潜在扩散框架具有较好的稳定性，但仍不及TabMAGD。这表明显式建模类别与数值依赖对于列间相关的保留至关重要。
（3）机器学习效率（MLE）：该指标通过比较在合成数据上训练的分类或回归模型（如极端梯度提升XGBoost）在真实测试集上的性能，评估合成数据的效用。结果显示，TabMAGD在所有基线上均表现出一致的领先优势。CTGAN、TVAE和GOGGLE在特定数据集上尚可，但缺乏鲁棒性；语言模型类方法GReaT受生成方式限制表现平平；扩散类方法STaSy和CoDi效果欠佳；TabDDPM在分类任务上尚可但在回归任务上中等；TabSYN是较强基线，但TabMAGD在整体MLE上更优。这说明考虑特征相关性显著提升了合成数据在下游任务中的可用性。
（4）距离最近记录（DCR）：该指标以合成样本到真实训练集与测试集的最近邻欧氏距离分布来评估隐私风险。理想的合成数据应对训练集和测试集具有相似的DCR分布，且平均DCR应接近训练集比例（多数数据集为0.9，Adult为0.68）。研究人员将TabMAGD与当前统计特征和效用最优的TabSYN进行比较，发现TabMAGD在DCR与MLE两个维度上均显著优于TabSYN，证明其在保护隐私的同时保持了高质量的生成能力，实现了数据效用与隐私保留的出色平衡。
在讨论部分，研究人员指出，TabMAGD的成功源于其相关性中心的设计思路：掩码自编码器擅长从数值离散表示中推断类别特征的分布，而引导扩散则以类别信息为条件精细建模数值特征，二者互补形成了对异构表格数据联合分布的更完整刻画。实验中的多项指标一致显示，显式捕捉类别-数值相关性是超越现有方法的关键因素。同时，模型在隐私敏感应用中也能保持稳定的高质量输出，凸显了其作为数据治理工具的潜力。
最后，结论部分翻译如下：本文提出了TabMAGD，一种用于表格数据生成的新型混合模型。它利用掩码自编码器对类别特征建模，并通过引导扩散过程生成数值特征。该方法的关键创新在于显式关注表格数据内在相关性的捕捉，这有助于更深入地学习底层数据结构。在隐私敏感应用上的评估表明，TabMAGD能够持续生成高质量合成数据，并在数据效用与隐私保护之间实现出色平衡。未来的改进方向包括探索将掩码自编码器、数值数据离散特征提取与引导扩散进行联合训练，以研究是否能够获得更优的混合训练和表格数据生成性能。总而言之，这项工作证明了以相关性为中心的方法在高质量表格数据合成中的有效性。
