一种基于语义维护的高效用文本差分隐私保护方法
《Knowledge-Based Systems》:A Semantics-Maintained Differential Privacy Protection for High-Utility Text
【字体:
大
中
小
】
时间:2026年02月05日
来源:Knowledge-Based Systems 8.0
编辑推荐:
吴志婷|罗森林|潘立民
中国北京100081,北京工业大学信息与电子学院信息系统与安全-对策实验中心
摘要
对于私有化文本数据的下游应用而言,保持其效用至关重要。尽管目前广泛采用的差分隐私机制能够提供正式的隐私保障,但往往会对文本效用造成损害。这种损害主要源于两个问
吴志婷|罗森林|潘立民
中国北京100081,北京工业大学信息与电子学院信息系统与安全-对策实验中心
摘要
对于私有化文本数据的下游应用而言,保持其效用至关重要。尽管目前广泛采用的差分隐私机制能够提供正式的隐私保障,但往往会对文本效用造成损害。这种损害主要源于两个问题:一是不考虑各标记的隐私重要性而一视同仁地对待它们;二是允许语义上无关的候选项替代原始标记,从而导致不必要的语义扭曲。为解决上述问题,本文提出了一种以效用为导向的截断指数机制(UTEM),该机制采用两阶段效用增强策略。首先,UTEM区分敏感标记与非敏感标记,减少对非敏感标记的不必要扰动,从而保留原始语义;其次,它利用距离截断和尾部惩罚机制来优化候选集,通过剔除语义上无关的标记进一步提升效用。本文还给出了隐私与效用的理论推导,为UTEM提供了正式的保障。在SST-2、QNLI和ChnSentiCorp数据集上的实验显示,UTEM的准确率分别为85.09%、87.04%和87.64%,相应的防御成功率分别为75.51%、78.40%和51.09%。在IMDB数据集上,UTEM的准确率为85.80%,同时将攻击者的AUC值降低到51.22%。在十个评估设置下对四个公共基准数据集进行的广泛实验表明,UTEM在保持相当隐私保护水平的同时,其效用表现始终优于现有的最先进方法。
引言
近年来,数据驱动的机器学习技术在各个领域得到了广泛应用,涵盖了从价格预测到用户行为分析等多种任务[[1], [2], [3]]。与这一趋势相伴的是,基于文本数据的自然语言处理应用也取得了快速发展,使得情感分析[4]和问答系统[5]等成为可能。然而,虽然这类文本数据能为构建有效模型提供丰富的语义信息,但其中往往包含一些可被用来推断敏感个人属性的隐含或显性线索,如姓名、性别、年龄等识别特征。这类隐私泄露问题会导致数据所有者失去信任,进而阻碍文本数据的发展与应用。
为建立隐私保护的正式理论保障,原本为统计数据库设计的差分隐私技术已被扩展到文本处理领域[[6], [7], [8]],并已成为目前隐私保护框架的事实标准。在基于文本的应用中,差分隐私通常通过对单个敏感标记进行扰动来实现合理否认性,从而生成私有化文本。现有的基于差分隐私的文本处理方法可根据扰动文本的方面分为两类:一类是扰动标记的嵌入向量,另一类则是修改用于标记替换的概率分布。
在第一类方法中,会在输入标记的嵌入向量中添加经过校准的噪声,然后选择向量与带噪声的输入向量最为接近的标记作为输出标记[[9], [10], [11]]。然而,若独立地对向量的每个维度添加噪声,会导致找到最近邻的概率呈指数级下降,从而限制了文本的效用。第二类方法则是对标记替换的采样概率进行扰动,典型的代表就是指数机制[[12], [13], [14]]。这些方法会根据输入标记与其候选项之间的距离来调整概率分布,从而防止攻击者准确推断出原始输入内容。
尽管差分隐私机制在隐私保护方面十分有效,但它们往往会对生成文本的效用造成损害。在对私有化文本在下游任务中的表现进行分析后,如在SST-21数据集上进行的情感分类任务中,就发现了典型的误分类现象,见表1。在第一个例子中,高频出现的单词“a”被替换成了“deadeningly”,这严重扭曲了句子的语义,导致了错误的情感预测。在第二个例子中,“telling”被替换成了语义上毫无关联的“indifferently”,同样造成了原有含义的丧失。这些例子凸显了两个关键问题:首先,目前的机制不考虑标记的隐私重要性,对所有输入标记一视同仁;其次,语义上无关的标记仍有可能进入候选集,并有一定概率替代原始标记,进而引入不必要的语义扭曲。
为解决上述问题,我们提出了UTEM(以效用为导向的截断指数机制),该机制由两个主要部分组成:非敏感标记过滤和私有化标记生成。在过滤阶段,输入标记会被划分为敏感标记和非敏感标记两组,通过对非敏感标记的扰动进行限制,从而保留文本的效用。在标记生成阶段,则引入了截断机制,通过嵌入空间中预定义的距离阈值来排除语义上无关的候选项。我们还从理论上证明了UTEM满足差分隐私要求。在四个广泛使用的基准数据集上的实验表明,UTEM的性能优于现有的最先进方法,能够在不牺牲隐私保障的前提下提升文本效用。
本文的贡献如下:
1. 我们在差分隐私框架下提出了UTEM,该机制能够在提供正式隐私保障的同时有效提升文本效用。
2. 我们设计了两阶段效用增强策略:首先,通过区分敏感标记与非敏感标记,避免对后者进行不必要的扰动;其次,减少语义上无关的替换,从而保持处理后文本的连贯性与效用。
3. 我们为隐私与效用提供了理论保障,证明UTEM满足?-差分隐私要求,且语义无关标记的替换概率是有界可控的。
4. 我们在十个评估设置下对四个公共基准数据集进行了大量实验。在所有数据集上,UTEM均表现出较强的下游效用,并且在面对多种隐私攻击时能提供相当或更强的隐私保护能力,整体性能优于现有的最先进方法。
5. 实证研究表明,UTEM既适用于英文数据集也适用于中文数据集,而且对不同的敏感度判定策略具有很强的适应性。该机制可与多种敏感度检测器结合使用,无需修改核心结构,具备模块化、即插即用的特点。
本文的其余结构如下:第2节介绍文本私有化方面的相关研究;第3节阐述整个算法框架;第4节给出其隐私保障能力的理论证明;第5节详细介绍实验设置与结果;第6节探讨所提方法的潜在局限性及未来研究方向;第7节为本文结论。
片段摘录
带有差分隐私的私有文本
差分隐私技术[[17]]起源于统计数据库领域的隐私保护工作。它被视为统计分析领域的主要标准,因其能够提供理论保障而成为研究热点。根据扰动对象的不同,典型的差分隐私方法可分为两种形式:一种是对标记向量进行扰动,另一种则是扰动标记替换的概率。
Fernandes等人[[18]]采用了……
UTEM原理
假设在本地差分隐私场景下,某数据所有者使用机制M在当地对包含K个标记的文本T=〈ti〉i=1K进行私有化处理[8]。该机制会将文本T中的标记{t1,…,tK}替换为N个候选标记{c1,…,cN},从而得到私有化后的文本T^,其中ti和cj都属于规模为V的词汇表W。之后,处理后的文本T^会被提交给自然语言处理服务提供商。
正式隐私保障
为正式阐述UTEM的隐私保障能力,我们将证明它满足?d-差分隐私要求。具体如下:
定理1
给定(WS=WP)?W,?≥0,p≥0,?0=ln1p≥0,η≥λ≥0,以及定义在W的嵌入空间φ上的度量函数dt={d(t,t′)+η?λt≠t′0t=t′},则UTEM满足(WS, WP, ?, ?0)-UMLDP。其中,W表示包含V个标记的词汇表,WS为敏感标记集合,WN则为非敏感标记集合。N为敏感标记集的大小。d(t,t′)表示……
实验与结果
在本节中,我们首先在5.1节介绍实验设置,然后在5.2节和5.3节分别说明数据来源与评估方法。最后,我们通过十项实验来验证所提出的UTEM机制的有效性。
讨论
实验结果表明,与TEM、SanText+以及其他基准机制相比,UTEM始终能提升私有化文本的效用。这一改进证明了本文提出的两种设计方案的有效性。首先,非敏感标记过滤机制确保了非敏感标记能以原始形式保留,从而减少了不必要的语义扭曲;其次,基于语义的候选项优化机制降低了替换错误标记的可能性。
结论
尽管在隐私保护型文本处理领域已取得了一定进展,但许多现有方法在有限的计算资源条件下,依然难以在效用与隐私之间实现平衡。在这项工作中,我们提出了UTEM(以效用为导向的截断指数机制),这是一种差分隐私型的文本去敏感化框架,能够在保护隐私的同时提升文本效用。该机制通过标记级的输入过滤和基于语义的候选项优化,有效减少了语义扭曲。UTEM展现了……
关于写作过程中生成式AI及AI辅助技术的声明
在撰写本文期间,作者们使用了ChatGPT来协助语言润色和表达优化。在使用该工具后,作者们对内容进行了必要的审阅和修改,并对最终发表的内容承担全部责任。
CRediT作者贡献声明
吴志婷:写作——审稿与编辑、写作——初稿撰写、可视化、软件工具、方法论、形式分析、数据整理、概念构建。罗森林:写作——审稿与编辑、指导监督、项目管理、资金获取。潘立民:验证、资源协调、研究实施。
利益冲突声明
作者们声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
致谢
本研究部分得到了中国国家信息安全专项计划2020A065项目的支持。吴志婷拥有中国北京工业大学信息与电子学院的工学学士学位,以及中国科学院电子研究所的博士学位。她目前在北京工业大学信息系统与安全对策实验中心工作,研究兴趣包括机器学习、自然语言处理和信息安全领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号