《Neural Networks》:Unsupervised utility evaluation of text anonymization methods via neural language models
编辑推荐:
```贝内特·曼扎纳雷斯-萨洛尔(Benet Manzanares-Salor)| 大卫·桑切斯(David Sánchez)| 皮埃尔·利松(Pierre Lison)摘要文本匿名化方法旨在在隐私保护和数据效用保留之间找到平衡。所谓数据效用保留,是指匿名化后的文档仍然可以对研究
```
贝内特·曼扎纳雷斯-萨洛尔(Benet Manzanares-Salor)| 大卫·桑切斯(David Sánchez)| 皮埃尔·利松(Pierre Lison)
摘要
文本匿名化方法旨在在隐私保护和数据效用保留之间找到平衡。所谓数据效用保留,是指匿名化后的文档仍然可以对研究或业务任务具有分析价值。这些方法的性能通过标准精确度和召回率指标与人工匿名化的结果进行比较来进行评估。召回率被用作隐私保护程度的间接指标,而精确度则反映了数据效用的保留程度。然而,这些指标并非专为评估隐私保护任务而设计,存在一些局限性。首先,它们假设存在唯一的真实情况;但在文本匿名化过程中,多种屏蔽方式同样有效,都可以防止重新识别。其次,作为真实情况参考的人工标注本质上具有主观性,容易出现错误。第三,这两种指标对所有术语的权重相同,忽略了术语语义对数据效用和重新识别风险的不同影响。为了解决这些问题,本文提出了首个用于评估匿名化文本效用的无监督指标。该指标基于神经语言模型来量化匿名化导致的效用损失。通过对文档聚类的实证实验发现,我们的指标能更准确地反映匿名化结果的实际效用,并且对不同的匿名化强度更加敏感。结合之前提出的隐私保护指标,我们的方法构建了一个完整的文本匿名化评估框架,无需耗费大量人工标注成本。利用这一框架,我们还对多种文本匿名化方法进行了全面评估。