基于软演员-评论家算法的能源时间感知个性化联邦学习在资源受限物联网中的应用研究

为解决联邦学习(FL)在物联网(IoT)场景中面临的设备异构性、数据非独立同分布(non-IID)及通信环境不稳定等问题，研究人员提出了一种基于软演员-评论家(SAC)深度强化学习的个性化联邦学习算法Per-FL-SAC。该研究创新性地引入全局平均本地用户精度(LUP)评估指标和个性化批归一化层(BNL)，在CIFAR-10等数据集实验中证实其能显著降低能耗与时间成本，同时保留客户端个性化特征，为资源受限的边缘计算场景提供了高效解决方案。

　　

随着5G技术的普及，物联网(IoT)设备产生的海量数据面临隐私保护与利用效率的双重挑战。传统联邦学习(FL)虽能通过分布式训练保护数据隐私，但在实际部署中常因设备计算能力差异、数据分布不均(non-IID)及通信环境动态变化导致模型收敛缓慢、能耗激增，且忽视客户端个性化需求。针对这一痛点，中国研究人员在《Expert Systems with Applications》发表研究，提出基于软演员-评论家(SAC)的Per-FL-SAC算法，通过深度强化学习(DRL)动态优化客户端选择策略，并设计个性化批归一化层(BNL)保留用户特征，最终实现能耗降低37%的同时提升模型收敛速度2.3倍。

关键技术包括：1) 构建含LUP评估指标的马尔可夫决策过程(MDP)框架；2) 采用SAC算法动态选择具备最优系统性能的客户端；3) 在本地模型中嵌入BNL层处理non-IID数据；4) 基于CIFAR-10等数据集验证算法在IID/non-IID条件下的性能。

【系统建模与工作流程】
建立能量-时间感知的PFL框架，计算客户端CPU频率f_i
、传输功率P_i
等参数，通过SAC智能体实现每轮训练的客户端动态筛选。实验显示该框架在MNIST数据集上通信开销减少42%。

【问题建模】
将目标函数P1设计为多目标优化问题，权衡模型性能增量(ΔL^mean
)、能耗e(j)和时间成本t(j)三项指标，约束条件包含f^min
≤f_i
≤f^max
等硬件参数边界。

【算法实现】
Per-FL-SAC通过熵正则化机制增强探索能力，在FashionMNIST非IID实验中准确率提升15.8%，且训练周期缩短28%。个性化BNL层使客户端特异性特征保留率提升至93.2%。

【性能验证】
三组数据集对比实验表明：在相同能耗约束下，Per-FL-SAC的收敛速度比FedAvg快1.7倍，且个性化特征保留效果显著优于FedProx等基线算法。

该研究突破传统FL在动态环境中的适应性瓶颈，通过DRL与个性化层的协同设计，为医疗健康等隐私敏感领域的边缘智能部署提供新范式。其创新的LUP指标和BNL结构，为后续联邦学习研究开辟了设备-数据-环境多维联合优化的新方向。