编辑推荐：
在联邦学习（FL）中，数据异构与通信资源受限阻碍其部署。研究人员开展 pFL-SBPM 框架研究，利用随机二进制概率掩码实现高效通信的个性化 FL。实验显示该框架在多方面优于现有方法，为相关场景提供有效解决方案。
在当今数字化时代，数据隐私与安全愈发重要，联邦学习（Federated Learning，FL）应运而生。它能借助分散客户端的本地数据协同训练模型，同时保护客户端数据隐私，在工业物联网、智能医疗系统等领域前景广阔。然而，现实应用中，联邦学习面临着两大棘手难题。一方面，客户端数据呈现非独立同分布（Non - Independently and Identically Distributed，Non - IID）特征，单一的共享全局模型难以满足所有客户端的特定需求；另一方面，客户端有限的通信带宽和高昂的通信成本，严重阻碍了模型信息在客户端与服务器之间的顺畅传输，使得联邦学习在资源受限的设备上难以有效部署。
为了解决这些问题，来自国内研究机构的研究人员开展了一项关于个性化联邦学习框架的研究，成果发表在《Future Generation Computer Systems》上。研究人员提出了一种名为 pFL - SBPM（A communication - efficient personalized federated learning framework for resource - limited edge clients）的全新联邦学习框架，旨在实现高效通信的个性化联邦学习。
研究人员采用了多种关键技术方法。首先，基于彩票假设（Lottery Ticket Hypothesis，LTH），引入随机性到掩码生成和优化过程。通过随机初始化模型权重，并让客户端利用本地数据迭代优化个性化概率掩码（概率掩码中的每个元素代表网络中相应权重的激活概率），而非传统的权重训练，间接优化本地模型。其次，设计了基于随机二进制掩码的上行通信策略和基于二进制编码和解码的下行通信策略，有效降低了通信成本并增强了隐私保护。此外，还精心设计了基于软阈值的概率掩码选择性更新策略，以应对异构数据问题。
在研究结果部分：
- 模型训练与优化：通过随机初始化权重和迭代优化概率掩码，客户端能够获得适应本地任务需求的个性化稀疏子网。具体而言，中央服务器随机初始化模型权重并将随机种子发送给客户端，客户端据此在本地复现相同的随机加权网络，随后使用本地数据对个性化概率掩码进行迭代优化。在优化过程中，通过均匀分布采样随机初始化概率掩码，并利用伯努利采样对概率掩码进行随机二值化以实现掩码剪枝，大幅降低了本地优化过程的计算成本。
- 通信策略优势：基于随机二进制掩码的上行通信策略，客户端上传随机二进制掩码（每个元素 1 比特），相比直接上传权重、梯度或概率掩码（每个元素 32 比特），上行通信成本降低了 96.875%，同时增强了隐私保护。研究人员还证明，聚合结果是全局概率掩码的无偏估计，且估计误差有严格上界，为框架的训练和推理稳定性奠定了基础。下行通信方面，服务器将全局概率掩码的估计值编码为二进制序列并广播给客户端，客户端在本地快速解码，有效压缩了下行通信。
- 应对异构数据能力：基于软阈值的选择性更新策略，使客户端在更新个性化概率掩码时，既能保证模型的个性化，又能确保其泛化能力，成功应对了异构数据的挑战。
研究结论表明，pFL - SBPM 框架在推理精度、通信成本、计算成本和模型大小等方面，相较于现有的基线和最先进方法，展现出显著的优越性和竞争力。该框架为在资源受限的设备上进行联邦学习提供了有效的解决方案，能够在复杂的现实场景中实现高效的个性化联邦学习。其重要意义在于，不仅解决了联邦学习面临的关键难题，推动了联邦学习技术的发展，还为工业物联网、智能医疗等领域提供了更可靠、高效的技术支持，有助于保护用户隐私，促进相关行业的数字化转型和发展。
