
-
生物通官微
陪你抓住生命科技
跳动的脉搏
特征重要性排名指标在合成医疗数据相似性评估中的比较研究
《BMC Medical Informatics and Decision Making》:Beyond cross-classification: evaluating tabular dataset similarity via feature importance rankings
【字体: 大 中 小 】 时间:2026年10月14日 来源:BMC Medical Informatics and Decision Making 5.5
编辑推荐:
摘要背景与目标合成数据为医疗健康领域的数据访问限制提供了有前景的解决方案,但评估真实数据集与合成数据集之间的相似性仍然具有挑战性。传统的交叉分类指标存在局限性,包括值无界、方差高和计算成本高。本研究评估了特征重要性排名指标,作为评估表格数据集相似性的补充手段。方法我们在七个医
合成数据为医疗健康领域的数据访问限制提供了有前景的解决方案,但评估真实数据集与合成数据集之间的相似性仍然具有挑战性。传统的交叉分类指标存在局限性,包括值无界、方差高和计算成本高。本研究评估了特征重要性排名指标,作为评估表格数据集相似性的补充手段。
我们在七个医疗数据集上进行了受控实验,涉及五种扰动类型(均值 - 方差漂移、噪声注入、类别翻转、相关性混合、缺失性)。通过多个分类和回归模型(逻辑回归、随机森林、梯度提升、K 近邻)的置换重要性提取特征重要性,并使用排名指标(Kendall tau、加权 tau、Spearman rho、NDCG、排名偏差重叠(RBO))评估相似性。结果通过自助法置信区间(200 次重采样)进行验证。
Kendall's \(\tau\) 总体上是表现最强的排名指标,在各种扰动类型下实现了最高的相似值,在破坏性条件下方差最低(缺失性:\(\tau\) SD = 0.12 与 RBO SD = 0.18 相比),并与效用下降具有最强的相关性(\(r = -0.475\),\(p < 0.001\))。在主要为数字型的 UCI 健康数据集中,稀有类别坍缩使排名基本保持完整(\(\tau \approx 0.96\)),而相关性衰减和缺失性是最具破坏性的扰动类型(\(\tau \approx 0.66\)–0.70)。均值 - 方差漂移产生了 \(\tau = 0.73\):基于树的模型在理论上对仿射变换具有不变性,但混合模型集成(包括 KNN 和逻辑回归)导致了不可忽视的下降。
Kendall's \(\tau\) 是评估表格数据集相似性的主要推荐排名指标,它与下游效用具有最强的关联性,并且在破坏性扰动下方差最低。RBO 在需要界定在 \([0,1]\) 范围内解释时提供了有用的补充。这两种指标都取决于所使用的模型集成,并且必须与分布指标结合使用,才能进行全面评估。
合成数据为医疗健康领域的数据访问限制提供了有前景的解决方案,但评估真实数据集与合成数据集之间的相似性仍然具有挑战性。传统的交叉分类指标存在局限性,包括值无界、方差高和计算成本高。本研究评估了特征重要性排名指标,作为评估表格数据集相似性的补充手段。
我们在七个医疗数据集上进行了受控实验,涉及五种扰动类型(均值 - 方差漂移、噪声注入、类别翻转、相关性混合、缺失性)。通过多个分类和回归模型(逻辑回归、随机森林、梯度提升、K 近邻)的置换重要性提取特征重要性,并使用排名指标(Kendall tau、加权 tau、Spearman rho、NDCG、排名偏差重叠(RBO))评估相似性。结果通过自助法置信区间(200 次重采样)进行验证。
Kendall's \(\tau\) 总体上是表现最强的排名指标,在各种扰动类型下实现了最高的相似值,在破坏性条件下方差最低(缺失性:\(\tau\) SD = 0.12 与 RBO SD = 0.18 相比),并与效用下降具有最强的相关性(\(r = -0.475\),\(p < 0.001\))。在主要为数字型的 UCI 健康数据集中,稀有类别坍缩使排名基本保持完整(\(\tau \approx 0.96\)),而相关性衰减和缺失性是最具破坏性的扰动类型(\(\tau \approx 0.66\)–0.70)。均值 - 方差漂移产生了 \(\tau = 0.73\):基于树的模型在理论上对仿射变换具有不变性,但混合模型集成(包括 KNN 和逻辑回归)导致了不可忽视的下降。
Kendall's \(\tau\) 是评估表格数据集相似性的主要推荐排名指标,它与下游效用具有最强的关联性,并且在破坏性扰动下方差最低。RBO 在需要界定在 \([0,1]\) 范围内解释时提供了有用的补充。这两种指标都取决于所使用的模型集成,并且必须与分布指标结合使用,才能进行全面评估。