EABAC-IoT：异构物联网网络的分散式多智能体调度与优化技术

《Computer Networks》：EABAC-IoT: Decentralized Multi-Agent Scheduling and Optimization for Heterogeneous IoT Networks

　　

摘要

随着物联网网络日益多样化，大规模多智能体系统应运而生，而高效且可靠的任务调度在这些系统中至关重要。传统集中式调度器在处理固定工作负载、一致性设备以及已知的恶意行为时表现良好，但在面对动态工作负载、设备能力变化以及潜在的恶意行为时，其扩展性不足，常常出现瓶颈，且安全性也难以保证。为解决这些问题，本文提出了一种名为边缘自适应区块链保障协作型物联网调度器（EABAC）的框架，这是一种基于学习的去中心化架构，能够在大规模物联网系统中实现智能任务分配、安全共识机制以及公平的资源管理。该调度器结合了三种机制：其一为边缘自适应梯度蒸馏PPO（EAGD-PPO），这是一种考虑了每个边缘设备处理能力的梯度压缩机制，有助于提升分布式强化学习的通信效率；其二为预测性拜占庭异常链式检测机制（PBAC），这是一种轻量级的预测性共识方法，可用于主动检测和防范恶意行为；其三为容量受限主导资源令牌机制（CC-DRT），这是一种多维度公平性机制，可通过基于令牌的分配方式动态实施资源约束。实验结果表明，与现有的先进调度算法相比，所提出的EABAC-IoT调度器在吞吐量、延迟、公平性、能效、累积奖励以及最大关注区域等方面均表现出更优的性能，充分体现了其在动态且可能具有对抗性的物联网环境中的有效性与稳健性。

引言

近年来，随着物联网和智能自主系统领域的应用日益广泛，多智能体协调的需求也发生了显著变化，即需要在动态环境中实现可靠性、高效性以及适应性。在工业自动化、自动驾驶车辆网络或智能电网控制等应用中，不同智能体的工作负载具有动态性，且对延迟的要求极为严格，这就需要一种先进的分布式决策框架来满足这些需求[[1], [2], [3], [4], [5]]。其中最为重要的一种方法是多智能体强化学习，它能够让智能体通过与环境互动相互学习最优策略[[6], [7], [8], [9], [10]]。尽管已经取得了不少进展，但在面对高度动态的网络环境时，如何实现稳定协作、均衡资源使用以及保证系统可扩展性，依然是一个挑战。

不过，要使基于多智能体强化学习的系统在实践中得到应用，仍有许多难题需要克服。首先，随着智能体不断学习，环境也在发生变化，这种非静态性给大量智能体的分布式学习带来了困难[11,12]；其次，在带宽有限的系统中，智能体之间的通信开销会显著影响系统的延迟和能效[13,14]；第三，任务分配和网络负载存在差异，这会导致公平性问题以及资源分配不优化的问题[15,16]；最后，许多现实系统需要同时实现多个相互冲突的目标，比如吞吐量与能效、最大关注区域与公平性等，而现有的标准多智能体强化学习框架很难同时兼顾这些目标[17,18]。

为解决这些问题，人们提出了多种方法：有些方法采用集中式训练与去中心化执行相结合的方式，比如MAPPO-TM[19]，以此提升协调效率与系统可扩展性；还有些方法采用基于层次图的结构，如HGNN-MARL[20]，或是引入考虑通信因素的机制，如ML2MAS[21]和MASC-TIWNet[22]，这些方法也都旨在提高系统的可扩展性和协调效率。此外，还有一些研究采用了基于斯塔克伯格模型的领导者-追随者多智能体强化学习框架[23]，以及MAHHV和CMADDPG这类注重能效优化的方案[24,25]，它们在应对不确定环境时能够提升系统的稳定性与任务分配效率。虽然这些技术提升了系统的整体性能，但大多数仍无法在动态场景中保持良好的通用性，公平性保障不足，或者会带来较高的计算和通信开销。

所提出的EABAC方法旨在通过构建一种基于强聚类的多智能体强化学习框架来克服上述局限，从而提升系统的可扩展性、降低通信负载，并实现更公平的负载分配。该方法是一种自适应的、基于聚类的、注重能效的奖励设计方法，同时还配备了平衡的协作机制，以此弥补现有方法的缺陷，在吞吐量、延迟、公平性指标、累积奖励以及最大关注区域等方面都取得了显著提升。该研究的目的是设计出一种全面且实用的多智能体强化学习解决方案，使其具备良好的效率、可扩展性，同时能够适应真实的物联网及多智能体控制环境。其主要贡献如下：

• •
  提出了EAGD-PPO，这是一种具备容量感知功能的PPO变体，它能根据不同设备的计算能力、能耗以及带宽资源动态调整压缩比例，从而在充分利用联邦学习中的压缩和蒸馏技术的同时，大幅降低物联网环境中的通信开销。
• •
  提出了一种具备抗拜占庭故障能力、能够保护隐私且具有前瞻性的聚合与异常检测系统，即PBAC，该系统通过引入基于轻量级LSTM的行为预测、混合认证以及零知识轻量级共识机制，进一步提升了相关系统的性能。
• •
  提出了基于令牌的激励机制以及CC-DRT这一用于确保资源访问公平性的方法，该机制能够根据实时容量和历史可靠性生成不可转让的多资源令牌，从而在动态环境下实现可适配且可强制执行的公平性保障。
• •
  提出了一种基于能源消耗的奖励函数整合方法，以及一种统一的框架，该框架能够以完全去中心化的方式同时优化多个目标。

本文的其余结构如下：第2节将概述当前去中心化物联网调度、多智能体强化学习以及基于区块链的资源管理领域的最新研究成果，并分析现有方法的不足之处；第3节将详细介绍所提出的EABAC-IoT调度器方法；第4节将通过详细的实验结果来展示该框架在效率、公平性以及稳健性方面的优势，这些实验包括与现有方法的对比、性能测试以及敏感性分析；最后，第5节将总结本文的贡献、实际意义以及未来可能的研究方向，为全文画上句号。

章节要点

相关研究

近年来，多智能体强化学习已被成功应用于物联网领域的各种调度和自主协调问题中，有助于在资源受限的动态环境中提升实时决策能力。在[26]中，作者们提出了MAPPO-TM

问题建模

我们考虑的是一个由分布式边缘设备构成的大规模异构物联网环境，这些设备无需依赖中央控制器即可协同执行和调度那些动态到达的任务。由于每台设备的计算能力、能耗以及通信能力各不相同，因此在不同的网络条件下实现高效协调十分困难。此外，调度过程还必须具备抵御恶意或不可靠智能体的能力，同时还要确保资源分配的公平性

所提出的边缘自适应区块链保障协作型物联网调度器方法

本节将介绍所提出的EABAC-IoT调度器，这是一种专为异构物联网环境设计的去中心化多智能体调度框架。与传统仅将强化学习与区块链简单结合的设计不同，该调度器融入了三种全新且相互配合的机制：边缘自适应梯度蒸馏PPO、预测性拜占庭异常链式检测以及容量受限主导

实验分析

为了评估所提出的EABAC-IoT调度器的有效性，我们进行了大量实验，这些实验既使用了真实的物联网数据集——即IoT-23数据集，也使用了通过NS-3生成的模拟多智能体交互场景。这些实验旨在涵盖大规模物联网部署中的多种典型应用场景，包括设备能力差异、网络条件随时间变化、恶意流量模式以及动态工作负载等情况。所有

讨论

规模扩展性分析也表明，当参与协作的智能体数量从50个增加到500个时，EABAC系统的运行性能依然保持稳定。EABAC的去中心化结构使得决策能够在相邻智能体之间分配，通过采用压缩后的梯度交换方式降低了通信量，而传统的集中式调度方法则通常存在较高的协调开销，且随着网络规模的扩大，这一开销会迅速上升。因此，

结论

本文提出了一种名为EABAC的、注重能效且能够平衡最大关注区域的智能体-评论家框架，用于实现多智能体协作的边缘-云端任务管理。该框架通过自适应聚类以及双向智能体协作方式，能够同时优化系统的整体吞吐量、延迟、公平性、能耗、累积奖励以及最大关注区域，从而提升系统的智能化水平。通过对多种指标的全面评估可知，EABAC的性能显著优于现有的先进技术

未引用参考文献

[39]

CRediT作者贡献说明

T. Archana：研究工作、资金获取、正式分析、数据整理、概念构思。 T. Aravind：论文撰写与修改、结果可视化、项目监督、资源协调、方法设计。 C.T. Kalaivani：论文初稿撰写、结果验证、软件开发、项目管理工作。

T. Archana|T. Aravind|C.T. Kalaivani