《Journal of Parallel and Distributed Computing》:DCMF-BFL: A decentralized consensus multi-factor approach for blockchain-based federated learning
编辑推荐:
马国瑞|曾子谦|莫诺瓦尔·布扬|齐书涵|刘阳•DCMF-BFL是一种由委员会管理的区块链工作流,用于实现去中心化的联邦学习。•一种可解释的声誉机制将贡献评分与聚合、激励机制及治理相结合。•在图像、文本和表格任务中的实验表明,该方案在大多数情况下都能提升准确性并提高公平性。•通过稳
马国瑞|曾子谦|莫诺瓦尔·布扬|齐书涵|刘阳
- •
DCMF-BFL是一种由委员会管理的区块链工作流,用于实现去中心化的联邦学习。
- •
一种可解释的声誉机制将贡献评分与聚合、激励机制及治理相结合。
- •
在图像、文本和表格任务中的实验表明,该方案在大多数情况下都能提升准确性并提高公平性。
- •
通过稳定性分析、消融实验以及开销分析,明确了去中心化协调的优势与代价。
引言
在数据分散于不同机构、设备或组织之间,且由于隐私、监管或商业原因无法集中处理的情况下,联邦学习作为一种协作式机器学习的重要范式应运而生[1]。典型应用包括跨医院预测、金融风险分析、工业物联网监控以及移动智能领域,在这些场景中,各参与方既能从共享模型改进中受益,又能将原始数据保留在本地。在这种情境下,联邦学习为数据利用与数据保护之间提供了理想的平衡方案。
尽管具有如此优势,传统的联邦学习流程仍依赖中央服务器来协调客户端参与、收集更新信息并重新分配全局模型。这种设计存在若干众所周知的瓶颈:当有大量参与者加入时,单一协调器可能成为故障点、信任瓶颈以及性能瓶颈[2]。此外,不同客户端之间的数据差异往往会导致收敛不稳定,因为来自分布极不均匀的本地数据的更新会被整合到同一个全局模型中。如果某些参与者是间歇性的、资源有限的或不可靠的,这一问题会更为突出。
激励机制设计也带来了另一个实际挑战。在实际应用中,参与者在本地训练和模型交换过程中会消耗计算、存储和通信资源,但他们的奖励往往只是粗略设定的,比如依据数据量或统一的参与假设来计算[3]。这样的规则可能会低估那些规模虽小但质量高的贡献,对新参与者不利,也无法区分普通训练工作与那些负责验证和协调全局模型的节点所承担的治理工作。对于那些数据量可能有限但仍能提供高质量更新信息的中小企业来说,这些问题尤为突出。
因此,基于区块链的联邦学习逐渐受到重视。区块链账本可以提高可审计性,实现防篡改的元数据管理,同时减少对永久可信服务器的依赖。智能合约可以自动处理客户端选择、日志记录以及奖励核算,而IPFS或类似的分布式存储则可用于在链下保存大型模型文件。然而,现有的去中心化联邦学习系统往往需要在简洁性、开销、公平性或稳定性之间做出权衡。许多研究侧重于去中心化本身,但使用的贡献度指标较为有限;还有一些研究专注于激励机制设计,却未让聚合过程在去中心化进程中发挥同等重要的作用。因此,仍需一种能够同时解决贡献评估、聚合治理以及去中心化协调问题的工作流。
本文通过DCMF-BFL研究了这一设计空间,这是一种由委员会协助的去中心化联邦学习框架,它整合了基于区块链的元数据管理、IPFS支持的模型交换、智能合约协调以及基于贡献度的声誉评估功能。多因素评分的目的并非提出一种全新的独立评分理论,而是作为一种可解释的声誉界面,将学习效用、更新可靠性、参与行为以及委员会治理等因素结合在去中心化联邦学习工作流中。这种设计使得同一贡献信号能够用于资格筛选、委员会协助下的聚合、奖励或惩罚核算,以及基于声誉的确认流程。
本文的主要贡献如下:
- •
我们提出了DCMF-BFL,这是一种基于区块链的去中心化联邦学习工作流,其中动态选出的委员会节点取代了固定的中央聚合器,而智能合约则负责协调客户端角色、模型更新元数据、聚合记录以及奖励或惩罚核算。
- •
我们为去中心化联邦学习设计了一种可解释的、基于贡献度的声誉机制。该机制将精度提升、梯度质量、近期活跃度以及经验证的委员会服务整合为一个统一的声誉分数,从而在单一的可审计评估规则中体现模型效用、更新可靠性、参与持续性以及治理贡献。
- •
我们通过基于VRF的委员会选举、基于声誉加权的聚合、自适应梯度裁剪以及类似PBFT的确认机制,将该声誉机制整合到去中心化训练工作流中。这样的整合使得贡献信号不仅能用于奖励分配,还能支撑委员会治理、聚合的稳定性、去中心化协调以及可审计性。
- •
我们对所提出的框架进行了分析和实证验证。测试涵盖了在独立同分布和非独立同分布场景下,来自图像、文本和表格分类任务的四个数据集。此外,还包含了组件消融实验、客户端级公平性分析、动态可用性分析、抗污染攻击能力评估,以及针对区块链和IPFS开销的原型级分析。
本文的其余部分结构如下:第2节回顾了关于联邦学习中的去中心化、激励机制及公平性的相关研究;第3节介绍了DCMF-BFL的架构、工作流程及技术细节;第4节汇报了实验结果,包括主要实验以及关于系统稳定性和参与公平性的扩展分析;第5节总结了本文内容,并指出了进一步优化DCMF-BFL作为面向系统的去中心化联邦学习框架的关键方向。
章节要点
单点故障与去中心化联邦学习
传统的联邦学习系统依赖于中央服务器来协调训练过程、聚合更新结果并重新分配全局模型。当服务器值得信赖且始终可用时,这种设计效率很高,但它也会形成单点故障和单一控制点[2]。为了解决这一问题,近期的一些研究开始探索去中心化联邦学习架构,通常采用区块链、点对点通信或混合协调机制。
例如,完全去中心化的基于点的联邦学习具有
系统架构
如图1所示,所提出的DCMF-BFL框架将区块链元数据管理与基于IPFS的模型存储相结合,从而实现无需永久可信聚合服务器的去中心化联邦学习工作流。该架构是有许可制的:一组已知的参与者通过智能合约进行交互,将更新元数据上传到链上,而大型模型文件则在链下交换。这样的设计使得区块链更专注于协调和可审计性,而非其他功能
CRediT作者贡献声明
马国瑞:撰写——初稿、可视化、验证、软件实现、方法设计、研究分析、概念构思。曾子谦:撰写——审稿与编辑、撰写——初稿、可视化、方法设计。莫诺瓦尔·布扬:撰写——审稿与编辑、指导监督。齐书涵:撰写——审稿与编辑、指导监督。刘阳:撰写——审稿与编辑、指导监督、资金筹集。
利益冲突声明
作者们声明以下可能被视为潜在利益冲突的财务利益/个人关系:
刘阳表示其研究得到了深圳市科学技术创新委员会的财政支持。其他作者则声明自己没有已知的可能影响本文研究的财务利益或个人关系。
马国瑞毕业于中国深圳哈尔滨工业大学计算机科学与技术学院,拥有硕士学位。他的研究兴趣包括联邦学习、区块链技术以及隐私保护计算。他致力于设计去中心化框架,以提高分布式机器学习系统的安全性和效率。