ERPPO-VA：面向联邦金融风险预测的熵正则化近端策略优化客户端选择框架

《Scientific Reports》：Adaptive entropy and robust aggregation for client selection in federated credit risk modeling

　　

摘要

联邦学习能够在不暴露原始本地数据的情况下，实现包括信用违约和交易欺诈在内的金融风险预测协作建模。然而，客户端异质性、非独立同分布（Non-IID）数据分布以及动态参与者参与不可避免地降低了模型性能，并产生了过度的通信开销。现有的客户端选择方法，无论是启发式策略还是深度强化学习解决方案，都存在探索与利用权衡不足的问题，并且忽略了本地模型更新固有的不稳定性。本文提出了 ERPPO-VA，一种用于联邦客户端选择的熵正则化近端策略优化框架。我们使用启发式增强的马尔可夫决策过程风格框架来构建客户端选择过程，引入自适应熵系数以及优先经验回放以动态平衡探索与利用，并进一步设计了基于指数移动平均的置信度加权聚合机制，以抑制不稳定客户端的负面影响。我们在三个真实世界金融数据集上进行了大量实验，分别是 CCFD、HCDR 和 IEEE-CIS，总样本量超过一百万。所提出的方法与随机选择、贪心选择、DDQN、标准 PPO、FedProx、MAPPO 以及 ERPPO 的忠实重新实现进行了比较。在典型的 Non-IID 设置下，与 ERPPO 相比，ERPPO-VA 将 AUC 指标提升了 4.5–8.7%，在 200 个联邦轮次中将总累计通信能耗降低了 52%，将收敛速度加快了约 30%，并且也实现了卓越的客户端公平性。大量的实证收敛分析证实了所提出方法的有效性。