摘要
在联邦学习系统中，客户端选择是确保系统稳定收敛的关键机制，但它仍易受到非独立同分布数据以及拜占庭攻击的影响。深度强化学习在自动客户端选择方面展现出潜力，但现有方法存在三重结构缺陷：观测模糊性，即标量状态无法区分恶意更新与良性差异；奖励脆弱性，攻击者可利用无限制的反馈来操控策略更新；以及风险盲视，风险中立型智能体会忽视客户端贡献中的固有方差。为解决这些问题，我们提出了InfRA-FL这一强大的自适应框架。该框架通过基于互信息的状态构建方法提取高价值特征，从而消除观测模糊性。同时，它还采用了饱和感知型强健奖励机制，通过对每个客户端对策略梯度的影响进行限制，有效防止奖励投毒行为。此外，URA-PPO是一种具备双头评价器的不确定性感知算法，它能优化经过风险惩罚的目标函数，促使智能体从风险中立决策转向风险规避决策。在包含20%拜占庭攻击者的MNIST和CIFAR-10数据集上的实验表明，InfRA-FL在准确率上比现有最佳方法高出5–10%，同时还能加快收敛速度，这证明了基于信息论的合理观测设计以及强健的奖励设计足以保障由强化学习驱动的联邦学习系统免受针对性攻击。
