《Knowledge-Based Systems》:PANS: A Novel Polarity-Adjusted Noise Scaling Approach for Privacy-Preserving Sentiment Analysis in Federated Learning
编辑推荐:
本研究提出基于情感极性动态调整噪声的隐私保护联邦学习框架PANS,在IMDB和MovieLens 1M数据集上实验表明,相较于传统方法,PANS在保持隐私的同时显著提升情感分析性能,各项指标提升0.5%-5.6%,并通过统计验证其有效性。
Devshri Pandya | Ankit Thakkar
计算机科学与工程系,Nirma大学理工学院,艾哈迈达巴德 - 382481,古吉拉特邦,印度
摘要
联邦学习(FL)在情感分析(SA)领域受到了关注,因为它能够在保护多个客户端数据隐私的同时实现去中心化的模型训练。在FL中保护SA的隐私通常涉及向模型更新中添加噪声。这种噪声可以掩盖个体的贡献,确保在训练过程中敏感数据不会被暴露。传统方法对所有数据应用统一的噪声,但这种方法忽略了数据敏感性的差异,可能导致性能不佳。我们提出的方法——极性调整噪声缩放(PANS)通过根据数据的情绪极性动态调整噪声水平来解决这个问题。PANS方法利用随机响应局部差分隐私(RR-LDP)和位量化等技术,在不牺牲性能的情况下确保隐私。实验分析使用了两个数据集IMDB和MovieLens 1M。实验结果显示,在ROC-AUC值、准确性、精确度、召回率和F1分数方面,PANS方法有0.5%到5.6%的显著改进。此外,通过p值、效应大小和置信区间证明了该方法在保持强隐私保护的同时提升模型性能的有效性。
引言
情感分析(SA)是自然语言处理(NLP)中的核心活动,旨在检测和分类文本中的观点、情感和态度[1]。SA在产品评论挖掘、社交媒体监控和推荐系统等各种应用中至关重要。然而,SA模型的成功在很大程度上依赖于访问大量可能包含敏感个人数据的内容。集中式数据收集在模型训练中也带来了严重的隐私问题,因此需要设计出不损失模型性能的隐私保护解决方案[2]。
联邦学习(FL)作为一种强大的分布式机器学习(ML)方法受到了广泛关注,在这种方法中,模型训练可以在用户设备上进行,而无需共享敏感数据[3]。这一范式在SA中尤为重要,因为数据通常分布在多个设备上,如智能手机或社交媒体平台。FL通过将数据保留在每个用户设备上,并汇总来自各种设备的更新来创建全局SA模型,而无需直接访问个人数据[4]。例如,一家公司希望开发一个SA模型来将电影评论分类为正面或负面,可以从不同用户的设备收集数据,同时确保这些评论的隐私。FL的通用框架如图1所示。
尽管FL具有隐私保护的优势,但在训练过程中保持强隐私保障方面仍面临挑战。传统方法如差分隐私(DP)通过向模型更新中注入噪声来掩盖个体贡献[5]。然而,对所有数据应用统一的噪声可能不足以保护高度敏感的信息,特别是在SA中,强烈的情绪(例如正面或负面情感)可能比中性情绪揭示更多的个人信息[6]。这种统一的方法还可能导致有价值的数据不必要的丢失,并降低模型性能[7]。
为了解决基于FL的SA中的隐私保护挑战,我们引入了一种称为极性调整噪声缩放(PANS)的新技术。该方法根据数据的情绪极性动态调整添加到模型更新中的噪声,从而为更敏感的信息(如强烈正面或负面情感)提供更强的隐私保护,同时不牺牲SA的性能。为了进行比较分析,我们使用IMDB和MovieLens 1M两个数据集,评估了我们的方法与结合随机响应局部差分隐私(RR-LDP)和位量化的现有方法的结果[8]。实验评估表明,PANS在ROC-AUC、准确性、精确度、召回率和F1分数方面表现出高性能。
此外,为了解决在基于FL的SA中应用隐私保护所面临的挑战,我们提出了几个研究问题(RQs),这些问题指导了我们提出方法的发展和评估。这些问题关注隐私、模型效率和性能的关键方面。表1列出了研究问题以及手稿中对应解决每个问题的部分。
传统的SA技术通常依赖于集中式数据收集,用户生成的评论或消息被编译在单个服务器上进行训练[9]。这种做法带来了相当大的隐私威胁,因为机密数据需要集中传输和存储。相比之下,FL允许在用户设备上本地进行模型训练,确保原始数据保留在客户端[10]。这种去中心化的架构自然保护了用户隐私,降低了数据传输成本,并利用了来自各种来源的数据多样性,从而提高了模型的泛化能力[10]。
FL作为一种有效的SA框架出现,因为它能够解决隐私、可扩展性和效率方面的挑战[11]。FL中的隐私保护确保了敏感的用户数据(如个人观点或评论)保留在本地设备上,减轻了将原始文本集中用于SA任务的担忧[12]。这种去中心化的方法利用了数据多样性,利用了多个设备上生成的各种用户内容来提高模型的泛化和鲁棒性[13]。此外,FL显著减少了数据传输开销,减少了将大型数据集传输到中央服务器的需求,从而降低了通信成本和延迟,同时保持了模型性能[14]。
FL的隐私保护能力的一个关键方面在于数据处理或模型更新过程中引入噪声[8]。在FL中向数据或模型更新中添加噪声是隐私保护机制的基石。通过混淆个体贡献,噪声确保在模型训练或聚合过程中无法推断出私人信息。这一过程使FL能够实现差分隐私(DP),通过在更新中引入随机性来提供可量化的隐私保障。噪声还作为一种强大的防御机制,防止恶意尝试从聚合更新中提取敏感细节[15]。噪声的这种双重作用使其成为安全和符合隐私要求的FL系统不可或缺的部分。
传统的隐私保护技术通常无论数据的敏感性如何都应用统一的噪声,导致隐私和性能之间的权衡不佳[8]。提出的PANS方法根据情绪极性动态调整噪声水平,从而解决了这一问题。这种方法确保了更强的情感(如强烈正面或负面情感)获得更高的噪声,以增强隐私保护。相反,中性或弱情感则受到较少的噪声影响,保护了关键信息并提高了模型的性能和泛化能力。定制的噪声应用确保了强大的隐私保护,而不牺牲模型的性能,使PANS成为隐私保护SA框架中的一个重要进步。提出的方法的重要性在表2中进行了说明。
在这项研究中,我们在保护SA的FL领域做出了几项关键贡献。我们工作的主要贡献如下:
•本研究提出了一种新的PANS方法,该方法根据情绪极性分数动态调整噪声水平。
•实现了一个框架,其中噪声比例根据情绪极性进行变化,从而在数据隐私和模型性能之间取得了平衡。
•为了比较分析结果,我们将我们提出的方法的实验结果与[8]中给出的现有方法进行了比较。实验结果显示,我们提出的方法在性能上有所提升。
•我们在IMDB和MovieLens 1M两个数据集上进行了实验[8],证明了所提出方法在现实世界SA应用中的有效性。
•提出的PANS方法在ROC-AUC、准确性、精确度、召回率和F1分数等指标上展示了改进的性能。
•该研究还通过p值分析、效应大小和置信区间等统计指标验证了结果的可靠性。
本文的结构如下:第2节讨论相关工作。第3节介绍所提出的方法。第4节分析实验结果。最后,第5节总结本文。
相关研究
相关研究
FL已在SA领域得到了广泛应用。本节介绍了基于FL的方法在SA领域的相关工作,重点介绍了利用FL来提高情感模型性能和鲁棒性的技术,同时管理跨多个设备的分布式数据的复杂性。
基于方面的情绪分析(ABSA)涉及预测句子中特定方面的情绪极性。由于上下文模式的不同,这项任务具有挑战性
提出的方法
提出的PANS方法根据情绪极性动态调整噪声水平,以增强隐私保护和SA性能。实验评估使用了IMDB和MovieLens 1M两个数据集[8],在不同的条件下进行,如客户端数量(N)、通信轮次(R)和量化范围(q)。实验结果以ROC-AUC、准确性、精确度、召回率和F1分数等指标进行了展示,证明了其优越性
实验结果分析
本节提供了对实验结果的全面分析和解释,以验证所提出的PANS方法在FL for SA中的有效性。在两个数据集上进行了多次实验,以评估基于情绪极性添加噪声的影响。使用ROC-AUC值、准确性、精确度、召回率和F1分数等指标来量化模型性能。与现有方法[8]的比较分析突出了PANS在保护隐私方面的优势
结论
提出的PANS方法为FL for SA中的隐私保护挑战提供了一种新颖且有效的解决方案。通过将情绪极性纳入噪声缩放,PANS确保了隐私保护机制对数据重要性的不同水平敏感,解决了传统统一噪声应用的局限性。该方法在隐私和性能之间保持了稳健的平衡。
在IMDB和MovieLens 1M数据集上的实验结果验证了
CRediT作者贡献声明
Devshri Pandya:撰写——审阅与编辑,撰写——原始草稿,方法论,概念化。Ankit Thakkar:撰写——审阅与编辑,撰写——原始草稿,方法论,概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。