摩洛哥卡萨布兰卡哈桑二世大学（Hassan II University of Casablanca）国家电力与机械高等学院（National Higher School of Electricity and Mechanics）电气工程系（Department of Electrical Engineering）能源与电气系统实验室（Energy and Electrical Systems Laboratory）
摘要
基于人工智能（AI）的无线传感器网络（WSNs）在智能、实时的物联网（IoT）应用中代表了重大进展，它们提供了高效的数据收集与分析能力，以及在动态环境中的自适应决策功能。在此背景下，我们提出了一种名为RLCR（基于强化学习的聚类与路由，Reinforcement Learning-based Clustering and Routing）的新节能路由协议，该协议适用于异构WSNs并与IoT兼容。我们的RLCR协议在两个层面运用了强化学习（RL）：（1）根据剩余能量和到基站的跳数动态选择簇头（CH）；（2）通过基于Q学习的算法实现多跳簇间路由。RLCR通过奖励函数动态调整网络参数，该函数考虑了剩余能量、通信距离和能量平衡。此外，我们的方法还整合了定期自适应重聚和Q值更新机制，以动态适应网络拓扑变化和能量消耗情况。仿真结果表明，RLCR在延长网络寿命和降低能耗方面优于传统的Q学习和EER-RL协议。这些结果展示了AI驱动的路由技术在提升未来IoT生态系统中WSNs的可扩展性、能效和智能化方面的潜力。
引言
无线传感器网络（WSNs）被广泛应用于物联网（IoT）、环境监测和智慧城市等领域。WSNs由分布式空间传感器节点组成，这些节点能够检测物理或环境参数，就地处理收集的数据，并与其他节点或中央基站进行无线通信[1]。它们在自主运行以及复杂或难以到达的环境中的能力，使得WSNs能够应用于环境监测、智能农业、工业自动化、医疗保健和防御系统等多个领域[2][3]。
然而，WSNs受到动态网络拓扑、可扩展性挑战和有限能量资源的限制。大多数传感器节点使用不可充电电池供电，这使得能耗成为决定网络可靠性和耐用性的关键因素[4]。部分节点的能量耗尽可能导致覆盖范围缺失、连接中断，最终引发网络故障[5]。
因此，实施高效的路由协议对于延长网络寿命和保证数据传输的可靠性至关重要。为了提高能效和延长网络寿命，已经开发了多种基于聚类的方法。传统的聚类协议（如LEACH（低能耗自适应聚类层次结构，Low Energy Adaptive Clustering Hierarchy）及其变体[6][7][8]侧重于通过定期轮换簇头来平衡能耗。然而，这些协议仅基于概率选择簇头，未考虑网络动态或剩余能量平衡，导致在异构网络中的性能不佳。
近年来，越来越多地使用人工智能（AI）技术（如模糊逻辑、元启发式算法和机器学习）来优化WSNs中的基于聚类的路由。这些AI技术能够智能选择簇头、平衡能耗并适应网络动态，显著提升性能。已有大量研究系统性地评估了这些方法[9]。
强化学习（RL）被证明是WSNs中动态和自适应路由的非常有前景的AI技术。与传统路由协议不同，RL允许节点通过与环境的交互来学习最优的簇头选择和数据传输策略。通过持续适应网络条件（如节点能量水平、拓扑变化和流量模型），基于RL的路由可以延长网络寿命、平衡能耗并提高数据传输效率。多项研究证明了RL在资源受限的动态场景中的优越性[10]。
在本文中，我们提出了RLCR（基于强化学习的聚类与路由），这是一种为异构无线传感器网络设计的节能且自适应的路由协议。尽管已有几种基于Q学习的WSN路由协议被提出，但其应用范围仍然有限。例如Q-LEACH主要利用强化学习选择簇头，但依赖于静态或单跳路由策略；EER-RL虽然通过强化学习优化了聚类能效，但未充分利用学习驱动的簇间路由优化。相比之下，RLCR将Q学习集成到簇头选择和簇间通信中，以优化能耗并提高路由可靠性。通过基于剩余能量、传输距离和负载平衡的奖励函数，RLCR比现有方法更有效地解决了能量不平衡和节点过早失效问题。仿真结果表明，RLCR实现了更均衡的能量分布，延长了网络寿命，并提高了数据传输效率，优于传统的Q学习和EER-RL协议。
