基于优化聚类与深度确定性策略梯度的绿色物联网节能睡眠调度机制

《Intelligent and Converged Networks》：Optimized Clustering and Deep Deterministic Policy Gradient Mechanism for Energy Efficient Sleep Scheduling in Green IoT

　　

摘要专业翻译 传统工业系统在物联网（Internet of Things, IoT）概念的推动下预计将变得更加智能和高效。绿色物联网（green IoT）作为一种新兴范式，旨在连接各种设备并降低能源消耗。允许部分传感器节点在特定时间段内保持唤醒状态，同时允许其他节点进入睡眠状态，是维持传感器节点能量的一种常用技术。利用睡眠调度算法动态安排传感器的活动/睡眠周期（即占空比）是延长无线传感器网络（Wireless Sensor Network, WSN）寿命的典型方法之一。然而，现有算法无法保证网络能量的均匀消耗。因此，在所提出的方法中，开发了一种能量高效的优化聚类与基于强化学习的睡眠调度算法。部署的传感器节点首先使用马群优化算法（Horse Herd Optimization Algorithm, HOA）和仿射传播（Affinity Propagation, AP）算法进入聚类阶段。HOA用于AP中的范例数选择。随后，在第二阶段采用深度强化学习（Deep Reinforcement Learning, DRL）算法实现占空比控制。该工作将时间段划分为多个时隙，并分配给每个传感器节点。为避免传输过程中的数据冲突，每个传感器节点拥有独立的时隙。在每个时隙中，节点基于深度确定性策略梯度算法（Deep Deterministic Policy Gradient Algorithm, DDPGA）的强化学习自适应地切换睡眠或唤醒模式。随后，基于若干参数利用模糊推理系统（Fuzzy Interference System）计算睡眠周期。所提出的方法实现了8.56%的能耗降低、1.26 ms的传输延迟和13.7%的数据包丢失率。该方法有效最小化了绿色物联网环境中传感器节点的能量消耗。

论文解读文章

一、研究背景与问题提出

随着物联网（Internet of Things, IoT）概念的快速发展，传统工业系统正朝着更加智能化和高效化的方向演进。物联网通过协议栈、收发器和微控制器将日常物品连接到互联网，广泛应用于智能家居、智慧交通、工业4.0、医疗健康、农业等领域。然而，随着物联网设备数量的急剧增加，设备间大量信息交换带来了显著的能源消耗问题。由于物联网设备通常体积小巧且依赖电池供电，高能耗需求往往超出设备自身的能力范围，导致电池快速耗尽和网络故障。

在此背景下，绿色物联网（green IoT）作为新兴范式应运而生，其核心目标是优化和最小化物联网网络内的能源消耗，同时延长网络寿命。在无线传感器网络（Wireless Sensor Network, WSN）中，大量传感器节点散布在广阔区域内以处理海量数据，但节点的处理能力、存储容量和连接带宽均受到限制。传感器节点容易发生故障且能量资源有限，这严重制约了WSN应用的推广。

睡眠调度机制是降低WSN能耗的关键技术之一，其核心能力在于在每个时间间隔内有选择地自动关闭部分节点，同时保持其他节点运行以节省能量。通过实施睡眠调度机制，每个网络节点可以选择"睡眠"而非始终"保持唤醒"，且在整个网络运行期间不影响整体连通性。然而，现有睡眠调度算法存在若干不足：节点发现过程需要广播信标数据，消耗大量能量；WSN中单次数据传输所需能量至少是单次计算指令的480倍；广播延迟在关键事件监测中成为重大问题。此外，现有算法无法保证网络能量的均匀消耗，导致部分节点过早死亡，缩短网络寿命。

已有研究中，TDMA-CSMA/CA混合MAC方案虽可实现40%-60%的节能，但能量节省效果仍不理想；基于模糊C均值的非均匀聚类方案处理时间过长；基于马尔可夫决策过程的睡眠调度方法不适用于异构网络环境；基于主导集的睡眠调度算法性能较低；内容驱动的动态自适应排序系统计算复杂度高；基于温度自适应强化学习的睡眠规划方法不适用于实时应用。针对上述问题，研究人员提出了一种能量高效的优化聚类与基于强化学习的睡眠调度算法（EEOCRSS），旨在通过混合优化算法增强收敛性和聚类质量，以更稳定和可扩展的强化学习模型提升对异构网络的适应能力。

二、研究内容与核心结论

研究人员开发了能量高效优化聚类与强化学习睡眠调度算法（EEOCRSS），该算法通过两个关键阶段实现传感器网络的能量管理。第一阶段为聚类阶段，采用基于区域的聚类方法，结合仿射传播（Affinity Propagation, AP）算法和马群优化算法（Horse Herd Optimization Algorithm, HOA），有效解决AP算法中范例选择数量不理想的问题。第二阶段为占空比控制阶段，利用深度强化学习（Deep Reinforcement Learning, DRL）算法中的深度确定性策略梯度算法（Deep Deterministic Policy Gradient Algorithm, DDPGA），使节点在每个时隙中自适应地切换睡眠或唤醒模式。随后，基于若干参数利用模糊推理系统计算睡眠周期，以进一步延长网络寿命。

研究结果表明，所提出的方法在性能上显著优于现有方法。该方法实现了8.56%的能量降低、1.26 ms的传输延迟和13.7%的数据包丢失率，有效最小化了绿色物联网环境中传感器节点的能量消耗，同时保证了网络性能。该研究的重要意义在于：通过元启发式优化与深度强化学习的结合，实现了传感器节点的有效聚类与能量管理；通过区域聚类算法降低了数据聚合过程中的能量消耗；通过自适应模式切换有效降低了个体传感器节点的能量使用；通过模糊推理系统计算睡眠间隔，进一步提升了网络寿命。

三、关键技术方法概述

研究人员采用了以下主要关键技术方法：

节点部署阶段：在M×M正方形区域内随机分布N个传感器节点，基站（Base Station, BS）节点具有无限电源供应，每个节点可配置为簇头或成员节点，所有节点具有固定电源、唯一ID和位置感知能力。

聚类阶段：采用仿射传播（Affinity Propagation, AP）算法与马群优化算法（Horse Herd Optimization Algorithm, HOA）相结合的混合方法。AP算法通过节点与基站距离差的绝对值计算相似度，并引入残馀能量和距离度量更新责任函数和可用性函数。HOA用于优化AP中的范例数选择，模拟马群的放牧、等级制度、社交性、模仿、防御机制和漫游六种行为，以最大化节点残馀能量为适应度函数。

占空比控制阶段：采用基于深度确定性策略梯度算法（Deep Deterministic Policy Gradient Algorithm, DDPGA）的深度强化学习方法，将时间段划分为多个时隙分配给每个传感器节点，节点在每个时隙中基于强化学习自适应地切换睡眠或唤醒模式。

睡眠周期计算：利用模糊推理系统（Fuzzy Interference System）基于若干参数计算睡眠周期，以进一步优化能量消耗并延长网络寿命。

四、研究结果分析

节点部署结果：通过算法1的节点部署阶段，N个传感器节点被随机部署在感知区域内，每个节点初始化能量、分配位置、设置活动状态并定义通信范围，为后续聚类和睡眠调度奠定基础。

聚类阶段结果：通过结合AP算法与HOA算法，有效解决了AP算法中范例选择数量不理想的问题。AP算法中，节点与基站距离差值的绝对值用于计算相似度，偏好值s(k,k)综合考虑了邻居节点归一化平均相似度α和归一化平均残馀能量β。残馀能量较高且与邻居平均距离较短的节点被优先选为簇头（Cluster Head, CH）。HOA通过模拟马群六种行为（放牧、等级制度、社交性、模仿、防御机制和漫游）更新优化函数，以残馀能量作为适应度函数，选择能量最高的节点作为簇头，避免网络频繁出现死亡节点。

占空比控制结果：通过深度确定性策略梯度算法（DDPGA），节点在每个时隙中根据当前状态自适应地选择睡眠或唤醒模式。每个传感器节点拥有独立的时隙，有效避免了传输过程中的数据冲突。节点通过强化学习不断优化其模式选择策略，从而在保证网络连通性的前提下最大化能量节省。

睡眠周期计算结果：利用模糊推理系统基于若干参数计算睡眠周期，进一步优化节点的睡眠调度策略，延长网络寿命。

整体性能结果：所提出的EEOCRSS方法实现了8.56%的能量降低、1.26 ms的传输延迟和13.7%的数据包丢失率，在吞吐量、残馀能量、网络寿命和延迟等性能指标上均优于现有方法。

五、讨论与结论

现有研究在物联网聚类和路由方面仍面临诸多挑战，包括异构网络环境适应性不足、性能较低、计算复杂度高以及不适用于实时应用等问题。为解决上述限制，研究人员提出的EEOCRSS方法通过混合优化算法增强了收敛性和聚类质量，以更稳定和可扩展的强化学习模型提升了系统对异构网络的适应能力。未来可进一步集成边缘计算能力以最小化延迟，实现实时处理以提高睡眠调度的精度；通过更好地实现上下文感知聚类和事件驱动的睡眠周期，使系统对动态绿色物联网环境更加响应迅速和节能。

研究结论表明，所提出的能量高效优化聚类与强化学习睡眠调度算法有效解决了现有睡眠调度算法无法保证网络能量均匀消耗的问题。通过将仿射传播聚类、马群优化算法、深度确定性策略梯度算法和模糊推理系统相结合，实现了传感器节点的有效能量管理，显著降低了绿色物联网环境中传感器节点的能量消耗，同时保持了良好的网络性能指标，为绿色物联网的可持续发展提供了有效的技术方案。