PRSL：用于多源嵌入融合的隐私保护与鲁棒分裂学习

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：PRSL: Privacy-Preserving and Robust Split Learning for Multi-Source Embedding Fusion

　　

-PRSL实现了面向多源嵌入融合的隐私保护与鲁棒性协同学习。
-设计了一种基于函数加密（FE）的框架来保护本地嵌入。
-设计了一种鲁棒聚合机制以抑制中毒的本地嵌入。
-在面对攻击时实现了高准确率和低攻击成功率（ASR）。
-实现了较低的计算与通信开销。

引言

隐私敏感的垂直分区数据上的协同学习在信息融合领域引起了越来越多的关注。在许多跨机构应用中，不同参与方持有相同样本实例的不同特征子空间，而没有任何一方拥有完整的特征表示。这类场景常见于智慧医疗和医学影像分析[1]、[2]、交通预测[3]以及金融或信用风险评估[4]、[5]，在这些场景中，直接的数据共享通常受到隐私法规、商业机密和安全方面的限制。尽管联邦学习（FL）已被广泛用于隐私保护下的协同模型训练[6]、[7]、[8]、[9]，但传统联邦学习通常要求每个参与方维护和更新一个完整模型，当模型规模较大或客户端资源受限时，这可能带来相当大的计算和通信负担。分割学习（SL）提供了一种替代方案，它将神经网络划分为客户端底部模型和服务器端顶部模型[10]、[11]、[12]、[13]。在垂直分区数据上的分割学习中，每个客户端从其本地特征子空间中提取一个本地嵌入，服务器将这些嵌入进行融合以进行预测和训练。

尽管分割学习在隐私敏感的多源嵌入融合方面具有潜力，但在隐私受限和对抗环境中，垂直分区数据上的分割学习仍面临两个关键挑战。首先，尽管原始数据未被直接传输，但割层嵌入仍可能编码样本特定和任务相关的信息。已有研究表明，分割学习中的中间表示可被利用来推断敏感信息，包括原始输入、标签或私有属性[14]、[15]、[16]。其次，服务器端融合的可信度可能因本地嵌入中毒而受到损害。由于服务器根据客户端上传的嵌入构建融合表示，恶意客户端可能在融合前操纵其嵌入，导致效用退化或攻击者指定的错误分类[17]、[18]、[19]。与主要通过操纵梯度或模型更新的传统联邦学习中毒攻击不同，本地嵌入中毒直接污染了用于融合的表示空间。因此，垂直分区数据上的分割学习既需要保护个体的明文本地嵌入，又需要在多源融合过程中识别不可靠的嵌入。

为解决分割学习中的隐私泄漏问题，现有研究通过差分隐私（DP）[20]、[21]、同态加密（HE）[22]、表示混淆[14]和安全多方计算（MPC）[23]来保护本地嵌入或中间表示。例如，Wang等人[20]提出了掩码分割学习（MaskSL），一种面向大规模视觉预训练的大规模轻量级框架，并进一步通过DP增强了其安全性。Sun等人[21]将DP与图剪枝和模型剪枝相结合，以降低卫星导向分割学习中的隐私暴露、模型复杂度和通信开销。然而，基于DP的方法往往难以在效用与隐私之间取得令人满意的平衡。Khan等人[22]在将激活图发送到服务器之前对其采用了HE，从而在服务器端计算过程中保护中间表示。然而，基于HE的方案通常会产生额外的计算和通信开销。Vepakomma等人[14]提出了NoPeek，通过最小化原始输入与中间激活之间的距离相关性来减少重建泄漏。然而，其保护效果依赖于分割层、正则化强度以及任务特定的表示结构。更近期，Khan等人[23]将分割学习与函数秘密共享（FSS）相结合，使服务器能够在对中间值进行掩码处理的情况下进行计算，而无需直接观察客户端数据、标签或明文激活。然而，基于FSS的方案通常需要额外的秘密共享操作和多服务器协调，这可能会增加协议复杂度和通信开销。总之，上述隐私保护方案主要通过扰动、加密、混淆或安全共享来减少本地嵌入或中间表示的暴露，但仍存在若干未解决的局限性。

与此同时，鲁棒聚合也被探索作为缓解不可靠客户端贡献影响的一个可能方向。大多数现有的鲁棒聚合方法是在水平联邦学习（HFL）中开发的，其中服务器聚合模型更新或梯度，并基于更新空间统计、距离关系或基于聚类的方法来检测恶意客户端[24]、[25]、[26]。这些方法在攻击表现为异常模型更新时是有效的。然而，垂直分区数据上的分割学习面临不同的威胁面：服务器基于融合后的本地嵌入进行预测，恶意客户端可能在融合前毒害表示空间。在这种情况下，中毒嵌入在分布多样性和稀疏模式方面可能与良性嵌入几乎无法区分，但仍会导致融合表示的有害偏移[18]。最近的研究开始调查分割学习中的客户端后门防御和可验证鲁棒性[27]、[28]。例如，Rieger等人[27]提出了SafeSplit，通过分析明文服务器端模型状态来检测和过滤客户端后门行为，而Sheybani等人[28]引入了ZORRO，通过零知识证明来验证客户端防御而不暴露私有模型参数。然而，这两种方法都没有直接解决在垂直分区数据上的分割学习中如何评估受保护本地嵌入在多源融合过程中的可靠性。总之，现有的鲁棒聚合和检测方案主要假设客户端贡献是可观测的，而隐私保护的多源嵌入融合需要在不暴露其明文表示的情况下评估受保护本地嵌入的可靠性。

为应对这一挑战，我们提出了PRSL，一种面向多源嵌入融合的隐私保护与鲁棒分割学习框架。PRSL在一个统一框架内保护本地嵌入的机密性并提高面对中毒攻击时的融合可靠性。我们将主要贡献总结如下。

-我们提出了PRSL，一种面向垂直分区数据多源嵌入融合的隐私保护与鲁棒分割学习框架，共同解决本地嵌入的机密性和抗中毒融合问题。
-我们建立了一种基于非交互式高效解密函数加密的隐私保护框架来保护本地嵌入。它仅公开经授权的功能输出，而不暴露个体的明文本地嵌入。
-我们设计了一种可靠性感知的鲁棒聚合机制，用于识别不可靠的本地嵌入并分配聚合权重，从而在中毒攻击下提高多源融合的可靠性。
-我们提供了安全分析和大量实验，以证明PRSL能够保持嵌入的机密性，提高对中毒攻击的鲁棒性，在IID和非IID设置下保持稳定性能，并以较低的计算和通信开销实现高效用。

本文的其余部分组织如下。我们在第2节中陈述问题。我们在第3节中回顾一些基础知识，并在第4节中介绍我们的方案。然后，我们在第5节中提供安全分析，并在第6节中呈现实验评估。接下来，我们在第7节中回顾相关工作。最后，我们在第8节中总结本文。

系统概述

如图1所示，我们考虑一个面向垂直分区数据的多客户端分割学习系统。该系统由一个可信第三方T、一个中央服务器S和一组客户端C={C1,C2,…,Cn}组成。每个客户端持有相同的对齐样本集上的不同特征子空间并维护一个客户端底部模型，而服务器维护顶部模型及用于监督训练的相应标签。在训练之前，可信第三方T执行系统分割学习。

分割学习

分割学习（SL）[10]、[11]、[12]、[13]是一种通过模型划分实现联合模型训练的协同学习范式。在本论文考虑的多客户端设置中，系统运行在垂直分区数据上：不同客户端持有相同批次全局样本的不同本地特征子空间，而样本标签由服务器维护。设客户端集为C={C1,C2,…,Cn}。对于样本m，其完整特征向量由共同组成。

整体框架概述

本文提出了PRSL，一种面向垂直分区数据多源嵌入融合的隐私保护与鲁棒分割学习框架。PRSL旨在实现本地嵌入的可靠过滤、安全的表示融合和端到端的模型训练，同时不向服务器暴露个体的明文本地嵌入。PRSL的核心思想是从受保护的本地嵌入中推导出任务授权的语义可靠性证据，并利用该证据来指导鲁棒的聚合。

安全分析

本节从密码学角度分析PRSL中个体本地嵌入的机密性。PRSL采用了基于DCR的函数加密原语来支持受保护的语义评分和可靠性感知的安全聚合。由于PRSL必然需要发布协议授权的功能输出用于语义评分和聚合，其安全目标并非隐藏所有任务相关的中间量。相反，PRSL旨在确保服务器无法恢复任何内容。

实现

所有方法均使用PyTorch以Python实现，主要实验在一台配备单块24GB显存NVIDIA RTX 3090 GPU的Linux服务器上完成。为确保公平比较，所有基线方法和本文提出的方法均在相同的软件和硬件环境下进行评估。除非另有说明，所有实验均涉及四个客户端，每个客户端底部模型产生维度为32的割层嵌入。所有方法均训练50个轮次。

分割学习中本地嵌入的隐私保护

现有隐私保护的分割学习（SL）方法主要通过差分隐私（DP）、同态加密（HE）和安全多方计算（MPC）来保护本地嵌入。例如，Wang等人[20]通过将DP纳入训练过程提出了一种轻量级隐私保护SL框架，而Sun等人[21]进一步将DP与图剪枝和模型剪枝相结合以提高基于GNN的SL的效率。然而，基于DP的方法不可避免地面临一个权衡问题。

结论

本文提出了PRSL，一种面向垂直分区数据多源嵌入融合的隐私保护与鲁棒分割学习框架。PRSL在一个统一框架内共同解决了本地嵌入的机密性和抗中毒融合问题。安全分析和实验结果表明，PRSL实现了本地嵌入的机密性、中毒攻击下的鲁棒融合、在IID和非IID设置下稳定的效用，以及较低的计算和通信开销。

CRediT作者贡献声明

Mingtian Jia：原始稿件撰写、软件、方法论、调查。Yiran Li：审稿与编辑、方法论、资金获取、概念构思。Caixu Xu：审稿与编辑、方法论、调查。Yanping Wang：审稿与编辑、软件、方法论。Jie Zhou：审稿与编辑、方法论、调查。Shengke Zeng：审稿与编辑、调查、资金获取。

利益冲突声明

作者声明他们没有任何已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

Mingtian Jia目前正在中国成都西华大学计算机与软件工程学院攻读硕士学位。她的研究方向包括分割学习的密码学与隐私问题。

Mingtian Jia | Yiran Li | Caixu Xu | Yanping Wang | Jie Zhou | Shengke Zeng