综述:面向边缘智能与物联网的节能且保护隐私的联邦学习综合综述
《Results in Engineering》:A Comprehensive Survey on Energy-Efficient and Privacy-Preserving Federated Learning for Edge Intelligence and IoT
【字体:
大
中
小
】
时间:2025年10月21日
来源:Results in Engineering 7.9
编辑推荐:
本综述系统梳理了联邦学习(FL)在资源受限的边缘与物联网(IoT)环境下的节能与隐私保护技术,重点探讨了模型压缩(剪枝、量化)、通信优化、客户端选择及硬件感知策略等核心方法。文章通过统一的分类法,分析了各类方法在能耗、模型精度、通信成本间的权衡,并引入了评估框架,为开发可扩展、节能且保护隐私的FL系统提供了宝贵指导。
联邦学习(Federated Learning, FL)作为一种去中心化的机器学习范式,允许多个设备在不共享原始数据的情况下协作训练全局模型,从而在设计中减少通信开销并增强数据隐私。这使得FL特别适用于医疗健康、金融和工业物联网(IoT)等数据敏感且资源受限的关键领域。然而,随着智能边缘设备的广泛部署和机器学习模型复杂度的增加,FL中的能耗问题已成为一个主要挑战。边缘设备参与FL需执行多次本地训练迭代并频繁通信更新,导致高功耗。尽管现有研究多关注FL的安全性和性能优化,但其能源效率却未受到足够重视。解决这些挑战对于在现实场景中实现可持续、可扩展的FL应用至关重要。
本综述围绕四个核心研究问题展开:如何在边缘设备和IoT网络等资源受限环境中优化FL的能源效率;能源感知FL系统中模型精度、通信开销、训练时间和能耗之间的权衡;模型优化与通信高效技术(如压缩、剪枝、量化、知识蒸馏和自适应客户端选择)如何改善FL的能源效率;以及哪些新兴策略和技术(如硬件感知加速、区块链协调和下一代无线网络)可以增强节能FL的可扩展性和可持续性。为系统评估相关技术,本研究遵循系统综述方法,从五大数字图书馆检索2015-2024年间发表的同行评审文献,最终纳入75项研究进行综合分析。
FL的基本流程涉及初始化、本地训练、模型聚合和迭代更新。其核心算法联邦平均(Federated Averaging, FedAvg)通过加权平均本地模型更新来生成全局模型。FL主要分为跨设备FL(涉及大规模移动或IoT设备)和跨孤岛FL(涉及少数强大实体,如医院或金融机构)。能源效率在FL中至关重要,原因在于频繁的通信轮次会产生高能耗,异构设备在计算能力、内存和能源储备方面存在差异,且需要轻量级模型和自适应训练策略来确保FL的长期可持续性。
为应对能耗挑战,研究者提出了多种优化策略,主要可分为四类:
模型压缩通过减少模型大小来降低计算和通信负担。量化(Quantization)将高精度参数(如32位浮点数)转换为低精度格式(如8位整数),显著减少内存使用和功耗,通信开销可降低高达50%。剪枝(Pruning)通过移除神经网络中的冗余权重、神经元或整个滤波器来创建稀疏模型,降低计算成本。知识蒸馏(Knowledge Distillation, KD)则让一个轻量级的“学生”模型从复杂的“教师”模型学习,在保持性能的同时减少本地计算需求。
该策略根据设备电量、计算能力和网络状况动态选择参与训练的客户端。例如,多臂赌博机(Multi-Armed Bandit, MAB)方法平衡探索与利用,优先选择能提供高价值更新且能耗可控的设备,从而改善模型收敛速度并防止电池耗尽。
减少通信轮次和数据量是节能的关键。梯度压缩(如量化和稀疏化)仅传输最重要的梯度更新。分层FL架构引入边缘服务器等中间聚合器,减少客户端与中央服务器的直接通信。异步FL和延迟模型更新也被用于降低同步开销。
在无线FL环境中,能效调度、自适应带宽和功率分配至关重要。动态功率控制可根据网络条件调整设备发射功率。区块链集成可通过智能合约实现安全、透明的客户端协调,减少冗余通信。利用5G、边缘计算等下一代无线技术可以进一步降低延迟和能耗。
不同优化技术存在显著权衡。通信高效技术(如梯度压缩)带宽利用率高,但可能带来中等程度的精度损失。计算高效方法(如模型剪枝)能降低能耗,但需要精细调优以避免精度下降。个性化FL和知识蒸馏能很好地适应非独立同分布(Non-IID)数据,但计算开销较大。硬件感知优化(如使用TPU、FPGA、神经形态芯片)能大幅提升计算速度和能效,但受限于硬件异构性。雷达图分析直观展示了各类技术在精度影响、通信效率、计算开销、能耗、可扩展性和非IID数据适应性六个维度的性能差异,表明没有单一技术在所有方面均最优,实际部署需根据具体应用场景选择或组合使用多种策略。
评估节能FL技术需综合考虑节能效果、精度损失、通信减少量和边缘可行性。量化、剪枝和知识蒸馏等在特定场景下表现优异。然而,FL优化仍面临诸多挑战:效率与性能之间的权衡、异构环境下的操作复杂性、客户端贡献不平衡导致的模型偏差、隐私保护机制(如差分隐私和同态加密)带来的额外计算能耗、大规模网络的可扩展性瓶颈,以及缺乏标准化的评估指标和基准。
未来研究应致力于开发混合优化技术,结合多种方法以实现最佳平衡。强化学习可用于智能客户端选择和资源分配。去中心化FL架构(如对等FL和区块链集成)能增强安全性和容错性。联邦元学习(Federated Meta-learning)和联邦迁移学习(Federated Transfer Learning, FTL)有望提升模型在异构数据分布下的适应性和泛化能力。集成专用AI硬件(如FPGA、神经形态芯片)将加速训练过程。最终,推动FL与可再生能源驱动的边缘设备结合,是实现可持续AI的关键一步。在医疗物联网(IoMT)等特定领域,开发节能且保护隐私的FL框架对于入侵检测和数据安全具有迫切需求和广阔前景。
通过系统梳理节能与隐私保护FL技术,本综述为在边缘智能和IoT环境中构建可扩展、可持续的FL系统提供了清晰路线图。平衡能源效率、模型性能与隐私保障是未来研究的核心,需要算法、系统架构和硬件加速等多方面的协同创新。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号