FLBD:基于区块链与深度强化学习,实现工业物联网中可信高效的联邦学习
《Computer Networks》:FLBD: Enabling trustworthy and efficient Federated Learning for IIoT via Blockchain and Deep Reinforcement Learning
【字体:
大
中
小
】
时间:2026年09月21日
来源:Computer Networks 4.7
编辑推荐:
## 摘要
工业物联网(IIoT)是现代智能制造的基石,联邦学习(FL)已成为工厂间实现隐私保护数据共享的关键范式。然而,FL在开放、异构的IIoT环境中的实际部署受到重大挑战的阻碍,即缺乏信任和运营效率低下。为了解决这些问题,本文提出了联邦学习区块链深度强化学习(FLBD
## 摘要工业物联网(IIoT)是现代智能制造的基石,联邦学习(FL)已成为工厂间实现隐私保护数据共享的关键范式。然而,FL在开放、异构的IIoT环境中的实际部署受到重大挑战的阻碍,即缺乏信任和运营效率低下。为了解决这些问题,本文提出了联邦学习区块链深度强化学习(FLBD)框架,旨在实现可信且高效的协同训练。为建立可信环境,我们将FL与区块链技术相结合,并提出了一种新颖的联邦工作量证明(PoFW)共识算法。该算法将传统工作量证明(PoW)的计算努力重新用于直接服务于联邦学习过程的任务。此外,我们通过采用深度强化学习(DRL)来优化每个训练轮次的客户端选择策略,从而缓解效率问题,加速模型收敛。在MNIST、FMNIST、CIFAR10和NEU-CLS数据集上的大量实验验证了我们的方法。我们框架引入的开销极小,仅占总时间的3%–8%,且优于现有的基于区块链的FL框架。此外,我们的基于DRL的客户端选择算法相比基线方法将训练效率提升了1.08至2.63倍。## 引言如今,机器学习(ML)与工业物联网(IIoT)的融合正在推动工业智能化的发展。然而,传统ML面临一个核心挑战:它需要大量敏感的运营数据(分布在工厂、边缘设备中)进行训练,但由于隐私法规的限制,集中这些数据通常不可行。联邦学习(FL)[1], [2] 作为一种有前景的范式脱颖而出,它通过共享模型更新而非原始数据来实现协同模型训练。对于在保护隐私的同时构建智能工业系统至关重要[3], [4], [5], [6], [7], [8]。然而,在IIoT环境中部署FL面临两个主要挑战:建立可信协作和确保训练效率。首先,IIoT环境通常由竞争或互不信任的实体组成。缺乏可靠的信任锚点使得确保协同训练过程的完整性和可用性变得困难,因为没有可验证的机制来验证模型更新并在不信任的参与者之间协调聚合[9]。其次,这些环境本质上具有异构性,由各种计算能力不同的边缘设备组成,网络条件波动,且数据为非独立同分布(non-IID)[10]。传统FL的同步特性要求所有客户端等待最慢的参与者,造成了显著的效率瓶颈并延长了训练时间。为了解决可信协作的挑战,本文介绍了一种与FL集成的新颖区块链架构。虽然区块链已被探索作为FL中的信任机制[11], [12], [13], [14],但现有工作通常将它们视为分离的、松耦合的组件。我们通过重新设计区块链本身的共识机制来实现创新,并提出了一个名为联邦工作量证明(PoFW)的框架。与传统依赖于无意义哈希谜题的共识协议不同,PoFW明确地将"工作量"重新定义为对本地模型更新的并行验证及其聚合为全球模型。具体来说,PoFW采用基于BLS的可验证随机函数(VRF)公正地选择共识委员会,确保去中心化和对拜占庭节点的抗性。通过将共识计算努力直接用于FL过程,PoFW不仅建立了可审计、防篡改的协作历史,还加速了验证过程,创建了一个紧耦合且资源高效的系统。此外,为了应对高度异构IIoT中的效率问题,我们专注于智能客户端选择。虽然已提出异步聚合等策略[15],但它们往往导致全球模型不稳定。我们认为,有效的客户端选择是缓解异构性负面影响的关键[16], [17], [18], [19]。鉴于全面同时解决计算、通信和数据异构性的工作稀缺,我们提出了一种基于深度强化学习(DRL)的动态客户端选择策略,具体利用双深度Q网络(DDQN)。我们的方法旨在显著加速模型收敛,从而缩短达到目标精度所需的时间,最大化工业联邦学习的整体效率。本文致力于探索FL在IIoT中的信任和效率问题,主要贡献如下:(1)我们提出了联邦学习区块链深度强化学习(FLBD)框架,这是一种用于IIoT中可信协作的新颖架构。它用联盟区块链取代中央服务器,创建了一个用于FL管理和验证的去中心化系统。通过集成区块链技术,该架构安全地记录所有交互,在参与者之间培育了一个透明可信的环境。(2)我们为FLBD提出了一种PoFW共识机制。与将计算消耗在无意义哈希谜题上的传统PoW方案不同,PoFW将共识工作重新定义为面向FL的本地模型更新验证和聚合。具体来说,它采用基于BLS的VRF以可验证且无偏的方式选择共识委员会,然后使选中的节点并行验证本地更新,聚合已验证的模型,并将训练结果记录在区块链中。通过将共识与FL工作流程紧密耦合,PoFW提高了协同训练的可信度。(3)我们通过将问题建模为马尔可夫决策过程(MDP)提出了DRL客户端选择策略。训练一个DRL智能体来推导最优策略,动态平衡异构客户端因素,包括计算能力、通信带宽和数据特征。该策略的目标是最小化达到目标精度的时间,从而加速模型收敛。本文其余部分组织如下。第2节回顾了与我们研究相关的现有工作。第3节介绍了相关背景知识。FLBD框架及其工作流程的详细信息将在第4节中呈现。第5节联邦工作量证明和第6节DDQN客户端选择中,我们重点详细介绍了我们提出的PoFW共识算法和客户端选择算法。实验分析在第7节中呈现。最后,我们在第8节中总结研究结论并探讨未来改进的潜在方向。## 各节摘要### 相关工作为了解决基于IIoT的联邦学习中缺乏信任和训练效率低下的问题,本节回顾了三个相关的研究方向:面向IIoT的联邦学习、基于区块链的联邦学习以及异构联邦学习中的客户端选择。### 预备知识在本节中,我们解释了区块链、联邦学习和深度强化学习的基本概念。本文使用的符号及其对应含义列在表1中。### 系统模型和流程描述图1展示了FLBD的框架。我们将介绍框架的层级、参与者和工作流程。### 概述与设计理由我们提出了一种基于区块链的FL架构,并从联邦学习的角度重新设计了共识机制。所提出的联邦工作量证明(PoFW)与传统的工作量证明(PoW)不同,用于达成共识的计算努力不再花费在无意义的哈希谜题上。相反,PoFW将**有用工作**定义为直接有益于FL的共识工作,即:(i)验证客户端上传的本地模型更新的合法性,以及(ii)将验证后的本地模型聚合为全球模型。### DDQN客户端选择在本节中,我们提出了所提出的基于DDQN的客户端选择策略,以提高异构IIoT环境中联邦学习的训练效率。由于不同客户端可能具有不同的数据分布、计算能力和通信延迟,不恰当的客户端选择会显著增加达到目标精度所需的时间。因此,我们将客户端选择过程建模为马尔可夫决策过程(MDP),并采用### 实验评估我们的系统使用大约4000行代码实现:1800行Golang用于区块链组件,2200行Python用于FL系统和智能体。为了模拟IIoT环境,我们部署了一个四节点的点对点区块链网络。每个节点代表一个边缘服务器,运行在配备8 GB内存的Ubuntu 20.04虚拟机上。模拟环境由四个工厂组成,每个工厂有五个IoT设备,总共20个客户端。选择了四个客户端### 结论在本文中,我们提出了FLBD,一个旨在实现IIoT环境中可信、高效且隐私保护的联邦学习框架。我们的贡献有三方面。首先,我们将FL与区块链集成,建立了去中心化且可验证的训练过程,从而解决了协同机器学习中的固有信任问题。其次,我们设计了一种新颖的联邦工作量证明共识机制,由自定义的交易和区块结构支持。我们的### CRediT作者贡献声明**冯利波:** 撰写—原始草稿、获取资金、形式化分析。**周建超:** 撰写—原始草稿、软件、资源、方法论。**方发:** 撰写—原始草稿、软件、方法论、形式化分析。**于一民:** 验证、监督、获取资金、形式化分析。**王金利:** 监督、软件、项目管理、数据管理。## 利益冲突声明作者声明他们不存在已知的竞争性经济利益或个人关系,这些可能被认为影响了本文报告的工作。冯利波 | 周建超 | 方发 | 于一民 | 王金利
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号