基于统计特征的自适应深度强化学习模型用于IoT-Fog环境中的多目标任务调度

《Array》:A New Statistical Feature-Based Adaptive Deep Reinforcement Learning Model for Multi-Objective Task Scheduling in IoT-Fog Environments

【字体: 大 中 小 】 时间:2026年09月21日 来源:Array 5.3

编辑推荐:

  现代技术的快速发展使物体转变为相互连接的设备,即物联网(Internet of Things,IoT)。由于IoT设备资源受限,因此采用雾计算。然而,与云相比,雾服务器的资源也有限,因此需要高效的资源分配算法。传统算法需要不可忽略的执行时间。为了解决这一问题,

  
现代技术的快速发展使物体转变为相互连接的设备,即物联网(Internet of Things,IoT)。由于IoT设备资源受限,因此采用雾计算。然而,与云相比,雾服务器的资源也有限,因此需要高效的资源分配算法。传统算法需要不可忽略的执行时间。为了解决这一问题,采用深度强化学习(Deep Reinforcement Learning,DRL)。DRL要求输入状态和输出动作空间具有固定大小,因此训练是针对固定数量的任务和服务器进行的,这在实时情况下并不实际。为应对这一挑战,本文提出一种基于统计的混合DRL-启发式模型,用于多目标任务调度。该框架将统计表示与自适应DRL策略调整及启发式调度相结合,在不同数量的任务和雾服务器之间保持固定的状态和动作维度。DRL智能体自适应调整启发式参数,而启发式算法执行详细的任务到雾服务器分配。奖励函数使用能量相关非线性惩罚来平衡能耗和延迟。结果表明,与次优算法PSG-M相比,所提算法在系统延迟、总能耗、截止时间成功率和违规时间方面分别平均提高了25%、18%、21%和79%。
基于统计特征的自适应深度强化学习模型用于IoT-Fog环境中的多目标任务调度——论文解读

一、研究背景与问题

随着物联网(Internet of Things,IoT)技术的快速发展,大量资源受限的智能设备通过互联网互联。由于IoT设备计算和存储能力有限,传统云服务器虽能处理数据,但传输延迟高,难以满足时延敏感型应用的需求。为此,雾计算被引入,将计算任务卸载至靠近用户的雾服务器(Fog Server,FS)。然而雾服务器资源同样有限,需要高效的资源分配算法。传统启发式或元启发式算法执行时间长,而深度强化学习(Deep Reinforcement Learning,DRL)可在训练后快速决策,但DRL要求输入状态和输出动作空间维度固定。现有DRL调度方法大多只能处理固定数量的任务和服务器,网络规模变化需重新训练,无法适应实时实际场景。此外,多数研究仅考虑单一目标,且缺乏容错能力。为此,研究人员提出一种基于统计特征的、尺寸不变的混合DRL-启发式多目标任务调度模型。

二、研究内容与结论

该模型将统计状态表示与自适应DRL策略调整相结合,并融合启发式调度。具体地,对任务、雾服务器和链路参数提取均值、中位数、标准差和四分位距四个统计量,构成38维固定状态向量,使输入维度与网络规模解耦。动作空间设计为5个连续权重参数,分别对应任务选择适应度函数和雾服务器选择适应度函数中的权重,从而动作维度不随服务器数量变化。研究人员采用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法进行训练,奖励函数引入能量相关非线性惩罚以平衡能耗和延迟。此外,还提出一种轻量级容错机制,为每个任务分配主用服务器(Primary Server,PS)和备用服务器(Alternate Server,AS),以应对服务器故障。

实验结果表明,在训练所覆盖的任务数(100至500)和服务器数(20至100)范围内,所提算法在系统延迟、总能耗、截止时间成功率和总违规时间方面均优于基线算法。与次优算法PSG-M相比,平均改善率分别约为25%、18%、21%和79%。统计分析表明,与基线算法的差异具有统计显著性。该研究为物联网-雾环境中的实时任务调度提供了一种可扩展且鲁棒的解决方案。

三、关键技术方法

研究人员采用的主要方法包括:(1)统计状态表示法:对涉及任务、服务器和链路的9组参数计算四个统计量,并加入归一化任务数与服务器数,形成固定38维状态输入,实现训练一次即可用于任意规模网络;(2)DDPG算法:基于Actor-Critic架构的深度强化学习算法,Actor网络输出5个连续动作权重,Critic网络评估状态-动作值,训练后仅使用Actor网络在线推理;(3)启发式调度机制:基于任务选择适应度函数和雾服务器选择适应度函数,在DRL生成权重后对任务排序并分配至最优服务器;(4)基线归一化奖励设计:采用简化适应的基线算法生成归一化延迟值,结合能量惩罚系数形成奖励,提升学习稳定性;(5)容错机制:为每个任务指定主备服务器,在主服务器故障时快速切换至备用服务器;(6)仿真评估:利用MATLAB R2025a,在两种动态场景下与六种基线算法比较,并通过10次独立运行的配对t检验验证显著性。

四、研究结果

第一场景的仿真结果:固定60个雾服务器,任务数从100递增至500。实验表明,所提算法在高负载下显著优于基线算法,系统延迟和能耗更低,截止时间成功率保持较高,违规时间更短。原因在于任务分配综合考虑多种参数,并通过适应度函数进行确定性选择,而多数基线算法依赖随机选择。

第二场景的仿真结果:固定350个任务,雾服务器数从20增至100。结果显示,所提算法在服务器资源极匮乏时仍能保持优势,截止时间成功率迅速收敛,例如服务器数为40时即超过95%。这归因于统计状态输入使智能体全面感知环境,并采用适应度函数进行精确分配。

统计分析:在60个雾服务器、任务数100至400下执行10次独立运行,计算各指标的均值和标准差,结果显示所提模型性能稳定;配对t检验的95%置信区间均不包含零,p值小于0.05,证明与基线算法的性能差异具有统计学意义。

消融分析:评估容错机制在5%、10%、15%、20%故障率下的性能,结果显示在100至300个任务时性能保持相对稳定,仅在高故障率和大任务量时略有下降;评估自适应DRL权重与固定权重(所有权重设为0.5)的对比,表明自适应权重显著降低能耗和延迟,提高截止时间成功率,展示了DRL自适应调参的重要性。

敏感性分析:针对奖励函数中能量惩罚系数£取0.25、0.375、0.5、0.625、0.75进行实验,结果表明模型对中等程度变化不敏感;随着£增大,总能耗逐步降低,但系统延迟和违规时间增加,证明£有效控制能耗与延迟之间的权衡,因此选取0.5作为平衡值。

五、讨论与结论

讨论:所提框架解决了DRL调度中维度依赖问题,通过统计特征和动作权重解耦机制实现尺寸不变性。消融和敏感性分析验证了各组件有效性。然而,该方法仍存在一些限制,如假设任务独立且不可抢占,未考虑雾服务器移动性、多核架构、通信噪声和安全问题。实际部署中需扩展状态表示和资源模型,并可能需要重新训练。

结论:研究人员提出一种新的基于统计的混合DRL-启发式模型,用于物联网-雾环境中的任务调度。该模型利用统计测量作为输入,两个适应度函数的权重作为动作空间,保持输入状态和动作空间维度固定,从而适应变化的网络规模。奖励函数采用基于基线的能量相关非线性惩罚,平衡能耗和延迟。在评估的仿真配置下,与RAPTS、EETSPSO、PSG、PSG-M、ETFC和基于模糊逻辑的算法相比,所提算法在系统延迟、总能耗、违规时间方面更低,截止时间成功率更高,且差异具有统计显著性。未来工作将针对多核/多线程雾服务器、不稳定信道、移动雾服务器(包括无人机)以及安全解决方案等方向进行扩展。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号