一种新颖的隐私保护大语言模型，集成了信任加权与伦理梯度掩蔽技术

《Engineering Applications of Artificial Intelligence》：A novel privacy-preserving large language model integrating trust-weighted and ethical gradient masking

　　摘要大型语言模型面临隐私与效用之间的关键权衡难题，因为训练数据中包含易受提取攻击的个人身份信息，而现有的差分隐私方法会显著降低模型性能。本研究提出了一种新颖的隐私保护模型——信任加权伦理梯度模型，通过三个整合机制来解决这些挑战。首先，信任加权记忆基于数据敏感性对样本进行加权，在保留非敏感数据学习信号的同时减少敏感信息的记忆。其次，伦理梯度掩码将样本级裁剪与高斯噪声相结合，并在受跟踪的(ε, δ)隐私预算下根据敏感性实施软掩码，同时保持模型效用。第三，伦理边界层在输出交付前对高风险输出进行分类和缓解，作为防止隐私泄露的最终防线。所提出方法的显著特点是将信任度、隐私性和非侵入性的计算解释整合到了人工智能隐私系统中。在Pile数据集上的大量实验表明，信任加权伦理梯度模型在保持基线效用的同时减少了个人身份信息泄露，在该评估中优于基线差分隐私方法。该模型在面向隐私保护的大型语言模型训练中，对成员推断攻击、提取攻击和关联攻击表现出强烈的抵抗能力。与均匀差分隐私相比，选择性掩码在相同隐私预算下提升了模型效用。引言大型语言模型（LLMs）已经改变了人工智能的格局，在从机器翻译到代码生成的各项任务中取得了前所未有的性能（Brown等，2020；Devlin等，2019）。这些基于大规模文本数据训练的模型（Schuhmann等，2022）展现了理解上下文、生成连贯文本（Kiddon等，2016）以及推理复杂问题的卓越能力（Wang等，2022）。然而，这一成功也带来了根本性的隐私挑战，因为训练数据通常包含个人身份信息（PII）（Liu等，2023），包括姓名、电子邮件地址、电话号码及其他可通过精密隐私攻击提取的敏感信息。大型语言模型的隐私风险是切实存在且有据可依的。近期研究表明，攻击者可以通过成员推断攻击（Shokri等，2017）、提取攻击（Carlini等，2021）和关联攻击（Bunz等，2020）来提取模型记住的训练数据。这些漏洞暴露了模型从敏感数据中学习的根本性缺陷（Gambarelli等，2023），引发了在需要强隐私保障的领域部署大型语言模型的严重担忧（Li等，2018），如文本表示、医疗健康、金融和法律服务等。隐私保护大型语言模型的理想解决方案应在保持接近基线模型性能的同时提供强有力的隐私保障。遗憾的是，当前方法未能实现这一目标。标准差分隐私（DP）技术虽然提供了严格的隐私保障，但会产生大量噪声，从而降低模型性能（Abadi等，2016）。实证研究表明，要达到合理的隐私水平（例如 ε = 8，即界定任何单个训练样本对模型输出影响的差分隐私预算）（Dwork等，2006），使用标准差分隐私随机梯度下降（DP-SGD）可能导致模型准确率下降15%–20%（Nasr等，2021），这使得这些方法在效用至关重要的生产部署中不切实际。以往关于隐私-效用权衡的研究探索了多个方向。一些方法侧重于数据净化（Ahmed等，2021），在训练前移除个人身份信息（Habernal等，2023），但由于个人身份信息可能隐含于上下文中，这种方法是残缺的。另一些研究调查了联邦学习（McMahan等，2017），该方法分散了训练但无法防止模型输出中的泄露。选择性梯度掩码已被提出（Zhang等，2023），但现有实现缺乏系统性的机制来确定在不过度损失效用的情况下应掩码哪些梯度。这些局限性带来了重要的后果。由于隐私顾虑，组织不敢在敏感应用中部署大型语言模型，限制了这些强大模型的潜在效益。监管合规变得困难，因为现有的隐私保护技术无法同时满足隐私和效用需求。此外，缺乏面向隐私保护大型语言模型训练的系统性方法，在文献中留下了一个关键空白，本文正是针对这一空白展开研究。本研究通过提出信任加权伦理梯度模型（TWGM）来填补这一空白。我们的方法整合了三种互补机制：信任加权记忆（TWM）、伦理梯度掩码（EGM）和伦理边界层（EBL）。与将所有数据样本一视同仁的先前方法不同，TWM基于数据敏感性对样本进行加权，以减少模型对敏感信息的记忆倾向，同时保留非敏感数据的学习信号。EGM实施了基于敏感性的梯度掩码的随机梯度下降（SGD），在实现隐私保护的同时保持有针对性的噪声应用。EBL通过分类和缓解交付前的风险输出来作为最终防线，在推理时防止个人身份信息泄露。所提出模型的一个显著特点是整合了基于信任度、隐私性和非侵入性概念的风险评估。这些原则为确定何时以及如何保护信息提供了一种方法，提供了一种超越纯粹技术考量范围的隐私视角。这种跨学科整合代表了风险评估在AI隐私系统中的计算化实现。本研究的目标有三。第一，开发TWGM模型并证明信任加权学习、选择性差分隐私和输出缓解的整合能够在保持模型效用的同时实现强隐私保护。第二，对TWGM与最先进的隐私保护方法进行实证评估。第三，分析各组件的贡献以及TWGM对成员推断、提取、关联和模型反演攻击的鲁棒性。主要贡献如下。- 提出信任加权记忆（TWM），根据数据敏感性调整学习权重，在减少敏感信息记忆的同时保持效用。伦理梯度掩码（EGM）通过实施选择性DP-SGD和软掩码，在受跟踪的隐私预算下提供隐私保护，同时保持模型性能。伦理边界层（EBL）在交付前分类和缓解风险输出，作为防止隐私泄露的最终防线。- 所提出的TWGM模型将这三种机制结合用于隐私保护的大型语言模型训练，使大型语言模型能够在隐私至关重要的敏感领域部署，促进强大模型的更广泛采用，同时确保符合隐私法规。本文其余部分组织如下。第2节回顾相关工作。第3节介绍TWGM方法论。第4节描述实现、实验设置和结果。第5节讨论局限性和未来方向。第6节总结全文。章节摘要相关工作大型语言模型的隐私保护机器学习代表了人工智能研究中最紧迫的挑战之一。随着大型语言模型部署规模和普及程度的提升，模型与数据之间的隐私问题日益凸显。鉴于语言模型在医疗健康（Saha等，2024）、金融（Templ和Sariyar，2022）、法律（Van Atteveldt等，2021）和个人通信（Cheng等，2022）等领域处理日益敏感的数据，本研究的重要性不可言喻。方法本节介绍所提出的TWGM方法论，描述TWM、EGM和EBL的概念设计与数学表述。包括数据集、模型架构和实验配置在内的实现细节将在第4节中阐述。实验本节描述实现细节、数据集、评估指标、统计分析和实验结果。讨论本讨论考察了TWGM模型的设计原则、理论基础及其相对于现有文献的预期性能特征，同时承认实现方面的局限性并提出未来研究方向。该模型整合了三种互补机制来解决隐私-效用权衡：用于自适应样本加权的TWM、用于选择性差分隐私的EGM以及用于输出缓解的EBL。理论设计表明TWM能够……结论本研究提出了TWGM，一种面向大型语言模型的隐私保护模型，整合了TWM、EGM和EBL。所提出的模型通过采用样本级加权、差分隐私和输出缓解来解决隐私-效用权衡。本工作的主要贡献有三方面。首先，提出信任加权记忆，根据数据敏感性动态调整学习权重，在减少敏感信息记忆的同时保持效用。其次，提出EGM，即……利益冲突声明作者声明不存在任何已知的竞争性经济利益或个人关系，这些利益或关系可能影响到本文所报告的研究工作。Muhammad Luqman Naseem