在支持社会科学研究和政策分析方面，合成数据是替代真实敏感个人数据的重要手段。以往的大量研究探讨了多种生成合成数据的模型，从传统的统计方法到先进的深度学习技术都有涉及。
然而，由于不同应用领域的特点、数据分布情况、分析需求以及隐私保护要求等因素，各种方法的优缺点各异，因此为那些尚未预见的应用选择最合适的生成方法是一项艰巨的任务。
差分隐私（DP）合成器作为一种生成合成数据的重要方法，能够提供强大的数学级隐私保障。这类合成器首先从真实数据中学习模型，再通过添加噪声来实现差分隐私效果，最后基于带噪声的模型生成合成数据集。尽管差分隐私相比之前的如k-匿名性等方法能提供更强的隐私保护，但它也存在诸多实用方面的问题和争议。在现实应用中，这些问题尤为突出，比如美国2020年人口普查的数据，若其中存在噪声，就可能影响到诸如拨款分配等关键决策的准确性或公平性。
那么，对于2020年之前的人口普查数据这类非差分隐私合成器生成的数据，是否存在同样的问题呢？很有可能，尤其是当它们具备类似隐私保护能力时。不过，目前关于各类合成器在实际应用中的效用表现，相关证据还十分有限。通常用于评估合成数据效用的指标，如描述性统计量和分类准确率，虽然能在一定程度上反映分析任务的情况，但无法证明其在现实场景中的适用性。
要弥补这一缺陷，就需要建立合理的效用评估标准，这也是当前亟待解决的重要问题。在相关论文《认知对称性：以可复现性作为差分隐私的评估指标》中，作者提出了一种以“差分隐私合成器能否生成可用于得出科学结论的私有化表格数据”这一为核心问题的合成数据评估方法。该方法直接着眼于实践者在实际场景中使用合成数据时的体验，衡量如果使用合成数据，已发表的研究结果是否会发生变化，这一现象被称为认知对称性。作者首先使用真实数据集复现经过同行评审的论文中的研究结果，然后再用差分隐私合成版本进行复现，以此进行对比。
虽然这个思路看似简单，但要实现它却面临诸多挑战，需要付出大量努力。首先，由于计算细节不明确以及数据版本管理等问题，从同行评审的论文中复现研究结论的成功率往往较低。其次，要设计出能够体现现实分析复杂性的有效评估标准，并确保不同差分隐私合成器之间的公平比较，就需要对海量数据集及其相关研究进行细致的筛选和处理。此外，每一种差分隐私合成器都包含多种随机因素，这增加了准确、公平地报告评估结果的难度。该论文首次解决了所有这些难题，提出了一个用于复现同行评审文献中统计分析结果的实用分类体系，同时还开发了一套名为SynRD的软件评估工具包，能够自动完成差分隐私合成器的认知对称性评估。
作者借鉴了可复现性研究领域的理念，从ICPSR这一社会科学数据存储库中精心挑选数据集——该数据库包含17,312项研究对应的10万多份出版物；从中确定论文中的研究结论，提取相关研究发现，并运用相应的统计检验方法。SynRD评估工具包包含了八个数据集，每个数据集都由两位在计算机科学、统计学领域或有相关经验的专家进行严格审查，整个审查过程至少需要30小时的工作时间。通过这些努力，共得到了上百项可复现的实证研究结果。所选数据集及研究结果具有多样的属性和特征（样本量、变量数量、领域规模、异常值、互信息、偏度以及稀疏度等），并且涵盖了回归分析、因果路径分析等多种计算方法。作者使用这套新的评估标准对五种最先进的差分隐私合成器进行了测试，得出了此前那些仅使用简单效用指标的评估论文中的主要研究结果。
此外，研究还带来了一些新的、令人意外的发现，比如可复现性对隐私预算的敏感度较低，以及面对某些具有特殊挑战性的数据集时，所有合成器都无法正常工作。这款开源且可扩展的评估工具包还会不断更新，增加更多用于评估合成数据的指标，比如假发现率以及效用与隐私之间的平衡程度。SynRD有望成为推动差分隐私合成器以及其他非差分隐私类实用合成器发展的重要基准工具。如果您对SynRD的构建方式以及关于最新差分隐私合成器的新见解感兴趣，或者有志于开发先进的差分隐私合成器或为合成数据评估工具包做出贡献，我们强烈推荐您阅读这篇论文。
