《IEEE Transactions on Big Data》：Detection of Base Modifications Using Long-Read Sequencing: Methods, Applications, and Challenges
编辑推荐：
摘要：为应对真实数据稀缺与数据隐私问题，大量研究工作致力于开发表格数据合成器。表格数据具有内在异质性，列间存在相关性，其特征可能代表不同类型的信息，并包含混合数据格式——包括分类值和数值。为克服对异质性特征及其复杂依赖关系建模的挑战，研究人员提出了一种结合掩码
摘要：为应对真实数据稀缺与数据隐私问题，大量研究工作致力于开发表格数据合成器。表格数据具有内在异质性，列间存在相关性，其特征可能代表不同类型的信息，并包含混合数据格式——包括分类值和数值。为克服对异质性特征及其复杂依赖关系建模的挑战，研究人员提出了一种结合掩码自编码器与引导扩散的新型表格数据合成框架（TabMAGD）。与现有表格数据生成器不同，该方法聚焦于分类特征与数值特征之间的相关性，通过掩码自编码器学习数值特征对分类特征的影响，并通过引导扩散捕捉分类特征对数值特征的作用。在实验中，研究人员对TabMAGD进行了全面评估，证明了其相较于现有生成模型达到了最先进的性能。研究人员在隐私敏感应用中评估了TabMAGD的性能，观察到其能够持续生成高质量的合成数据，同时在数据效用与隐私保护之间保持了优异的权衡。值得注意的是，表格数据合成可被视为一种数据治理工具，辅助组织生成高质量、合规且安全的合成数据。
论文解读：基于掩码自编码器与引导扩散的表格数据合成方法
一、研究背景与问题
近年来，深度学习在图像、音频和文本等数据领域取得了显著成功，这促使研究者们积极探索将深度学习方法拓展至表格数据领域。然而，现有研究大多聚焦于与表格数据相关的机器学习问题（如分类、回归），而对表格数据合成这一基础性问题的关注相对不足。表格数据生成旨在通过捕捉真实表格数据的分布，创建新的且更具价值的表格数据，其在训练数据增强、隐私保护、缺失值填补等方面具有广泛的应用前景。尤为重要的是，表格数据生成可被视为数据治理的重要工具，能够辅助组织生成高质量、合规且安全的合成数据，从而应对数据短缺、偏差、安全共享等挑战。
尽管已有大量研究者致力于开发表格数据合成器，现有方法仍面临若干关键挑战。首先，异质性特征是构建表格合成器的最棘手问题：真实世界的表格常同时包含数值特征、分类特征甚至混合类型特征，每一列具有独特的语义和不一致的数据类型，可用稠密的数值特征和稀疏的分类特征来表征。合成表格数据的目标不仅是学习各列属性的分布，更要理解不同类型的列之间复杂的相关性，核心挑战在于有效捕捉缺乏清晰或具有高度复杂空间相关性的联合分布。其次，主流神经网络模型往往对同质数据施加归纳偏置（如图像领域的卷积神经网络），但表格数据中变量间通常不存在空间相关性，或特征之间的关系高度复杂且不规则，模型需要从头学习数据结构与特征间的关系，这也导致迁移学习难以在表格数据上有效发挥作用。
此外，既有表格数据合成方法均存在一定不足：CTGAN、TVAE、GOGGLE受限于自身模型结构缺陷，合成质量较差；GReaT不仅会生成无效类别，而且难以对数值列进行有效建模；STaSy、TabDDPM、CoDi虽采用扩散模型，但仍未达到最优合成效果；TabSYN在合成质量上显著优于其他模型，然而其使用变分自编码器架构引入了额外损失，扭曲了列间相关性。总体而言，以往表格数据生成器的主要局限在于未充分考虑不同类型特征之间的相关性，导致实验性能不佳。
二、研究内容与核心贡献
针对上述问题，本文提出了一种结合掩码自编码器与引导扩散的新型表格数据合成框架TabMAGD，其包含两个核心组件：用于建模分类特征的掩码自编码器（Masked Autoencoder, MAE）和用于生成数值特征的引导扩散模型（Guided Diffusion）。该方法从两个视角处理表格数据异质性引起的复杂相关性：其一，关注数值特征对分类特征的影响，利用Cluster-based Normalizer提取数值特征的离散表示，将提取的离散表示与分类特征结合后输入掩码自编码器，通过掩码-预测机制有效学习分类特征的分布；其二，考虑分类特征对数值特征的影响，将Cluster-based Normalizer提取的离散表示与分类特征结合后输入去噪网络，利用引导扩散增强模型对复杂数值数据分布的表示能力。通过这两种模型的组合来捕捉表格数据的整体分布，TabMAGD被证明是一种稳健且可扩展的表格生成器，在多个数据集上达到最先进的性能。
三、关键技术方法
研究人员在以下核心技术方法基础上构建了TabMAGD框架：（1）掩码自编码器：采用基于Transformer的编码器-解码器架构，通过特征分词器对离散特征进行统一嵌入，以可训练向量替换掩码区域的嵌入，利用掩码-预测机制学习分类特征的条件分布，并以随机顺序逐列生成分类特征；（2）引导扩散模型：采用方差保持随机微分方程（VP-SDE）描述扩散与去噪过程，使用正弦时间嵌入与条件嵌入，通过无分类器引导（CFG）机制增强数值特征的生成质量，以离散特征作为生成数值特征的条件引导；（3）特征离散化：利用Cluster-based Normalizer结合变分高斯混合模型（VGM）估计数值列的模式数量并拟合高斯混合，从中采样模式作为数值特征的离散表示。此外，TabMAGD还借鉴了扩散模型中的图像修复技术，将其扩展至缺失值填补任务，根据列类型分别采用掩码-预测范式或引导扩散过程进行填补。
四、实验结果与结论
在实验部分，研究人员从数据统计特征、下游任务表现和隐私保护三个角度对生成数据质量进行评估，选取了Adult、Default、Shoppers、Magic、Beijing和News六个来自UCI机器学习库的真实数据集，涵盖了不同规模、预测任务（分类或回归）、特征数量和特征分布。基线方法包括CTGAN、TVAE、GOGGLE、GReaT、STaSy、TabDDPM、CoDi和TabSYN，覆盖了生成对抗网络、变分自编码器、语言模型和扩散模型等各类深度生成模型家族。
（1）列级密度估计：在列级密度估计任务中，TabMAGD相较基线方法展现出明显优势。CTGAN和TVAE因表达能力受限而表现欠佳；GOGGLE因对分类特征处理不足而性能不佳；GReaT在News数据集上因特征数量多而遭遇显存限制；STaSy因将独热分类嵌入不当视为连续变量而表现不足；CoDi未能有效建模分类-数值特征相关性；TabDDPM在不同数据集上表现不稳定，且其在分类与数值列相关性较低的数据集（如Default、Magic）上表现更好；TabSYN虽为最接近本方法的基线，但其VAE-扩散混合架构引入的额外损失项扭曲了列间相关性，导致系统性劣于TabMAGD。
（2）成对列相关性估计：在衡量列间相关性的成对指标上，TabMAGD在所有数据集上同样取得了最佳性能。CTGAN、TVAE、GOGGLE仅表现出数据集特异的成功但缺乏系统性优势；GReaT在相关性建模中遭遇类别泛化问题；STaSy、CoDi和TabDDPM未能实现一致的相关性保持，其中TabDDPM的设计更适合弱分类-数值依赖的数据集（如Default和Magic）；TabSYN凭借其潜在扩散框架在所有六个数据集上展现出卓越的稳定性。
（3）机器学习效率：为衡量生成数据的实用价值，研究人员采用机器学习效率（MLE）指标，通过比较在真实数据与合成数据上训练的机器学习模型（XGBoost分类器与回归器）的性能来评估。结果表明TabMAGD在所有基线上取得了一致的优势。CTGAN、TVAE和GOGGLE仅在特定数据集上具有竞争力；GReaT受限于语言模型的生成特性，表现平平；STaSy和CoDi始终表现一致但相对较差；TabDDPM在分类任务上表现较好而在回归任务上仅中等；TabSYN作为基线中最优的方法，其性能仍不及TabMAGD，这印证了在表格数据生成中考虑特征相关性至关重要。
（4）最近记录距离：采用DCR指标度量合成样本与其最近真实数据点之间的欧氏距离，以量化数据的原创性与隐私保护程度。在“合成vs.保留”设置下，研究人员比较了TabSYN与TabMAGD的DCR分数及对应MLE分数。结果表明，与在统计特征和效用方面被认为表现优异的TabSYN相比，TabMAGD在隐私保护和生成质量两方面均显著胜出，凸显了本方法在隐私与效用之间实现了最优平衡。
五、结论
本文提出了TabMAGD，一种用于表格数据生成的新型混合模型。该方法利用掩码自编码器建模分类特征，利用引导扩散生成数值特征，其关键创新在于明确聚焦于捕捉表格数据中的内在相关性，从而促进对底层数据结构更深入的学习。在隐私敏感应用中的评估表明，TabMAGD可持续生成高质量的合成数据，在数据效用与隐私保护之间实现优异平衡。未来改进方向可探索通过联合训练结合掩码自编码器、数值数据的离散特征提取和引导扩散，以研究是否能获得更好的混合训练与表格数据生成性能。总之，这项工作证明了以相关性为中心的方法在高质量表格数据合成中的有效性。
