EdgePivot：面向边缘-云端连续体中个性化联邦学习的自适应高效隐私检索技术

《Futures》：EdgePivot: Adaptive and efficient privacy retrieval for personalized federated learning in the edge-cloud continuum

　　杨慧杰|李景刚|沈健|维贾亚库马·潘迪|奥迪坦·西瓦拉曼|瓦尔莎·阿利亚|布里吉·B·古普塔中国杭州浙江科技大学信息科学与工程学院（网络科学与技术学院），邮编310018

摘要
边缘-云连续体作为一种新兴的架构范式，整合了从云端到边缘的异构资源，已成为智能分析、联邦学习等大规模分布式应用的关键基础设施。个性化联邦学习需要高效且与数据高度相关的参数检索机制，因为客户端需要获取个性化的模型参数以进行本地训练。然而，基于个性化数据驱动的参数检索方式在模型参数传输过程中会带来新的隐私风险，服务器可能通过个性化参数推断出客户端的敏感数据分布，从而威胁到客户隐私。此外，当多个客户端从云服务器获取模型参数时，串行检索会导致数据吞吐量降低，进而减缓分布式个性化模型的更新速度。再者，如果不借助多个边缘服务器，直接从云端获取高度相关的参数会在长距离传输中造成较大的同步延迟，并形成单点故障，可能导致模型更新延迟甚至失败。为解决这些问题，本文提出了一种自适应且高效的个性化联邦学习隐私检索方案——EdgePivot。该方案设计了两种适用于不同场景的隐私检索协议：（1）跨批次PIR-PFL协议利用无状态边缘代理聚合多个客户端的请求，解决了联邦学习中因更新频率低而导致的服务器吞吐瓶颈；（2）并发流式PIR-PFL协议则采用纠错码和并行检索技术，让客户端能够根据最快的k个响应重建数据，从而降低延迟并提高可靠性。客户端还配备了一种自适应选择算法，能够基于对网络不确定性的概率模型最小化成本函数，从而选择预期成本更低的检索方案。实验结果表明，与所选的PIR基准方案相比，该自适应方案在各种测试场景下都能降低检索开销。

引言
边缘-云连续体提供了从云端到边缘的分布式异构资源，这些资源是支持类似联邦学习这样的大规模去中心化应用所必需的[1]。联邦学习是一种分布式学习范式，多个客户端无需将本地原始数据直接上传至中央服务器，即可协同训练共享模型。在典型的联邦学习流程中，每个客户端都在自己的私有数据集上执行本地训练，仅交换模型更新或参数以实现全局协调。这样一来，联邦学习既实现了模型训练的协作性，又减少了参与者之间直接共享数据的需求。尽管联邦学习避免了原始本地数据的直接共享，但传统的联邦学习仍然容易受到梯度反演和数据重构攻击，攻击者可能通过上传的梯度或模型更新恢复敏感信息[2][3]。尤其是个性化联邦学习[4]，它旨在解决数据非独立同分布这一关键问题。为防范此类检索模型中的隐私泄露，隐私信息检索是一种有效的加密对策，它能够让客户端获取所需信息，同时避免服务器知晓其检索了哪些信息。现代单服务器计算隐私信息检索技术，尤其是那些利用同态加密的方案[5]，已展现出巨大的实用潜力。然而，将计算隐私信息检索应用于联邦学习时，会暴露出一个此前未被重视的系统性挑战：即隐私信息检索协议的性能优化目标与联邦学习多样化的检索需求之间存在固有冲突。这种冲突源于难以兼顾个性化所需的稀疏参数检索（需要高吞吐量）与模型初始化所需的密集模型块获取（需要低延迟）。一方面，模型微调时大量稀疏请求的高吞吐量需求使得集中式架构及无状态边缘代理的批量处理方式更具优势；另一方面，当有新客户端加入或替换某个层时，密集模型块获取的低延迟需求则要求采用去中心化架构及有状态边缘缓存来缩短物理传输距离[7]。这也引出了本文的核心研究问题：我们能否设计一种架构并非固定不变，而是能够根据上层协议的需求动态调整的系统，从而解决这一固有的权衡问题？为应对上述挑战，本文提出了EdgePivot，这是一种适用于边缘-云连续体环境中个性化联邦学习的自适应且高效的隐私检索方案。其主要贡献如下：
•提出了跨批次PIR-PFL协议，解决了联邦学习中并行稀疏参数更新效率低的问题。该协议的跨客户端批处理算法利用无状态边缘代理对多个客户端的查询进行转换和聚合，显著提升了中央云的吞吐能力。
•设计了并发流式PIR-PFL协议，解决了联邦学习中中央云响应缓慢的问题。该协议通过基于纠错码的分层部署，允许客户端同时向有状态边缘节点和云服务器发起查询，根据前k个响应重建参数，从而在动态网络环境中实现低延迟和高可靠性。
•引入了客户端侧的自适应选择算法，用于协调动态架构。该算法能够根据节点可靠性、网络延迟等系统不确定性的概率模型，最小化预期成本函数，为每项请求选择预期成本更低的检索方案。

相关工作
随着计算范式向云-边连续体发展，分布式智能应用得到了快速发展[8]。个性化联邦学习正是这一趋势下的重要应用，它利用边缘节点与云端的协同计算能力，为用户提供定制化的模型[9][10]。在个性化联邦学习中，客户端往往需要从服务器获取特定的模型参数或层结构，以实现个性化功能[6][11]。而这一检索过程可能会泄露隐私信息。

预备知识
表1总结了本文中使用的主要符号。以下预备知识部分则介绍了后续内容构建所需的基础要素。

系统模型
我们的EdgePivot方案由四个组成部分构成。该方案采用了典型的边缘-云连续体网络架构，云端与边缘之间的带宽较高，而边缘与客户端之间的通信延迟较低。

密钥生成中心：密钥生成中心是一个完全受信任的实体，负责整个系统的加密设置。它生成公共参数以及云服务器的统一密钥，同时根据各客户端的请求，为其分配各自的私钥及相关配置。

提出的方案
本节介绍了Yang等人[12]提出的动态个性化联邦学习框架中的CBPIR-PFL和CSPIR-PFL协议。我们的贡献在于为云连续体环境设计了基于隐私信息检索的参数检索机制，而非对联邦学习架构本身进行重新设计。在该框架下，客户端在训练过程中会反复从服务器获取针对自身需求的特定参数或模型块。因此，个性化联邦学习为隐私参数检索提供了应用场景，使其成为保障隐私的重要手段。

安全分析
本节将对我们所提出的方案进行正式的安全性分析。由于我们的核心贡献在于隐私信息检索机制，因此分析重点在于证明我们的具体实现方案CBPIR-PFL和CSPIR-PFL能够满足第4节中规定的隐私查询保障要求。联邦学习框架本身的安全性与我们的贡献无关，故不在此处讨论。我们的证明基于(R)LWE问题的计算难度。

系统环境与参数
实验环境：我们的实验是在一台配备英特尔i5-12490F处理器、32GB内存以及英伟达RTX 4060显卡的台式电脑上进行的，操作系统为Ubuntu 20.04。所有协议均用C++语言实现，并通过Clang 12编译器进行编译。我们测量的指标是从边缘节点收到所有客户端的请求开始，到其完成查询聚合、与云服务器交互以及最终解密所有结果为止的端到端处理时间。所有实验结果均在此处报告。

讨论
EdgePivot通过结合两种互补的基于隐私信息检索的检索协议以及一个自适应选择器，能够在个性化联邦学习中不同的检索需求下平衡吞吐量与延迟。当前的设计针对的是半诚实的、遵循协议的威胁模型，能够在加密通信层面保障查询隐私。该分析假设云服务器与相关边缘节点之间不存在勾结行为，但对于更强大的主动攻击者、格式错误的协议消息以及网络层面的干扰，则未作充分考虑。

结论
在联邦学习中，检索意图的泄露构成了严重的隐私威胁，因为稀疏参数检索需要高吞吐量，而密集模型块检索则需要低延迟，这使得静态的隐私信息检索架构无法满足需求。为解决这一矛盾，EdgePivot使得边缘服务的角色可以根据不同的检索模式进行配置：在需要高吞吐量的检索场景中，边缘节点可作为无状态的计算代理，使用CBPIR-PFL协议；而在需要低延迟的检索场景中，则可作为有状态的数据前置节点，使用CSPIR-PFL协议。

CRediT作者贡献说明
杨慧杰：撰写——审稿与编辑，撰写——初稿，方法论，资金获取。李景刚：撰写——初稿，软件开发，概念设计。沈健：指导工作，软件开发，方法论。维贾亚库马·潘迪：方法论，研究调研。奥迪坦·西瓦拉曼：验证工作。瓦尔莎·阿利亚：研究调研。布里吉·B·古普塔：可视化处理。

利益冲突声明
作者声明自己没有已知的、可能影响本文研究工作的财务利益或个人关系。

致谢
本研究得到了国家自然科学基金项目（编号62502452）、浙江省自然科学基金项目（编号LQN25F020002）、浙江科技大学基础研究经费项目（编号24222238-Y）、浙江省领军创新团队计划项目（编号2023R01001）以及浙江省数字时尚与数据治理重点实验室项目（编号2024E10049）的支持。杨慧杰分别于2020年和2024年在中国南京的信息工程大学获得硕士和博士学位。自2024年起，她在中国杭州浙江科技大学信息科学与工程学院（网络科学与技术学院）担任副教授。她的研究兴趣包括计算机与网络安全、安全系统以及密码学领域。