《Artificial Intelligence in the Life Sciences》:CLOVER: A framework for benchmarking synthetic data generation methods balancing utility and privacy in healthcare
编辑推荐:
背景:合成数据通过增强真实世界数据,实现了开放且高效的医学研究。研究人员利用新开发的开源Python库CLOVER,研究了基于MIMIC-III和eICU数据集生成的合成数据在有无差分隐私(DP)情况下的效用-隐私权衡。方法:研究人员基于MIMIC-III(2
背景:合成数据通过增强真实世界数据,实现了开放且高效的医学研究。研究人员利用新开发的开源Python库CLOVER,研究了基于MIMIC-III和eICU数据集生成的合成数据在有无差分隐私(DP)情况下的效用-隐私权衡。方法:研究人员基于MIMIC-III(24个变量,n=15,118)和eICU(23个变量,n=3,726)数据生成了合成数据集。使用的生成方法包括SMOTE、DataSynthesizer、Synthpop、MST、CTGAN、TVAE、CTABGAN+和FinDiff,涵盖有无DP的情况。研究人员基于单变量、双变量和群体保真度;特定分析与基于距离的指标;以及成员推理攻击(MIAs)评估了生成数据集的效用和隐私。利用排名衍生分数对合成数据集进行效用和隐私的基准测试。研究人员检查了DP对机器学习(ML)性能和MIAs的影响,并通过在不同隐私机制下生成合成数据分析了可实现的效用-隐私权衡。此外,还比较了各生成器的计算资源使用情况。结果:在不施加DP约束的情况下,MST(ε=105,δ=0·9999)在MIMIC-III上排名隐私性最高,在eICU上排名第二(两个数据集的DCR和NNDR均远高于基线,MIMIC-III和eICU的MIAs前1%精度分别低于0·53和0·62),但在两个数据集的效用排名中均位列第7。相反,Synthpop在两个数据集上的效用均排名第一,其Hellinger距离分别为0·88?×?10-2和1·41?×?10-2;成对相关系数差异为0·31和0·68;可区分性为0·02?×?10-1和0·02?×?10-1;分类任务的AUC差异为0·20?×?10-1和0·10?×?10-1;回归任务的RMSE差异为2·53?×?10-2和13·64?×?10-2。然而,它在两个数据集上的隐私排名均为第7。基于排名衍生分数,SMOTE和TVAE在两种数据集上的效用和隐私均被至少一种其他生成器超越。一旦引入DP,所有算法的效用均下降,且没有方法能在所有隐私机制下始终优于其他方法。解释:在非DP设置中存在效用与隐私的权衡。DP降低了效用,但确保了隐私的一致水平,允许公平比较不同生成器的效用。选择适当的生成器取决于隐私需求、预期用例和用户的可用资源。
该研究发表于《Artificial Intelligence in the Life Sciences》,旨在解决医疗数据共享中的隐私与效用平衡难题。当前,尽管已有多种合成数据生成库,但缺乏一个能全面集成差分隐私(DP)于预处理、训练及生成全流程的基准测试框架,导致隐私泄露风险难以量化。为此,研究人员开发了名为CLOVER的开源Python库,通过对MIMIC-III和eICU两大公开重症监护数据集进行系统性的基准测试,深入探究了八种主流生成算法在有无DP保护下的表现差异。
关键技术方法方面,研究选取了SMOTE、DataSynthesizer、Synthpop、MST、CTGAN、TVAE、CTABGAN+和FinDiff共八种生成器。效用评估涵盖单变量保真度(Hellinger距离)、双变量保真度(Frobenius范数、卡方检验)、群体保真度(可区分性)及应用保真度(分类AUC差异、回归RMSE差异)。隐私评估则采用重识别风险指标(DCR、NNDR)和五种成员推理攻击(MIAs)。此外,研究定义了高、中、低三种隐私机制(基于ε值划分),并利用排名衍生分数进行综合排序。
研究结果如下:
在无差分隐私设置下,Synthpop和DataSynthesizer在复制单变量分布方面表现最佳,Hellinger距离最低。Synthpop在保持变量间关系(Frobenius范数最低)、数据可区分性(Propensity MSE最低)及机器学习任务性能(AUC和RMSE差异最小)方面均领先,综合效用排名第一,但其隐私排名仅为第七。相反,MST在极度宽松的DP参数下(ε=105)表现出最高的隐私性,但其效用排名第七。SMOTE在MIAs中表现最差,前1%精度达到1.00,表明其隐私风险极高。
在差分隐私设置下,随着ε值减小(隐私保护增强),所有生成器的机器学习性能均显著下降。在分类任务中,CTABGAN+和DataSynthesizer在MIMIC-III的中间隐私机制下表现较好,而DataSynthesizer在eICU的低隐私机制下AUC最高。在回归任务中,FinDiff和CTGAN在MIMIC-III的低隐私机制下最接近真实数据表现。对于MIAs,引入DP显著提升了SMOTE和Synthpop的鲁棒性,即使在高隐私机制下,其前1%精度也大幅降低至接近随机水平。
在计算资源方面,深度学习模型(如CTABGAN+)训练耗时最长,可达1小时以上,而MST在合成阶段耗时异常长(约11-13分钟)。DP的引入普遍增加了运行时间和内存占用,尤其是DP模式下的SMOTE,其合成时间长达20小时。
讨论部分指出,在无DP环境下,效用与隐私存在明显的权衡关系,没有单一模型能同时在两方面最优。CLOVER通过将DP严格集成到预处理等全流程,提供了比现有库更可靠的隐私保障。虽然DP会牺牲一定的数据效用,但它消除了依赖启发式隐私指标的模糊性,为不同生成器提供了公平的比较基准。研究结论强调,不存在适用于所有场景的通用生成器,选择应基于具体的隐私预算、任务需求和计算资源。CLOVER为医疗从业者提供了一个强大的工具,通过可视化和多指标评估,辅助其在特定的隐私-效用平衡点做出明智决策。