基于多智能体强化学习的 submerged 光无线传感器网络能量高效路由算法

《Scientific Reports》：A Multiagent Reinforcement Learning-based Energy-Efficient Routing Algorithm for Submerged Optical Wireless Sensor Networks

　　

专业术语翻译 快速通信速率、超宽带宽和低延迟的优势使水下光无线传感器网络（Submerged Optical Wireless Sensor Networks，SOWSNs）成为热门研究课题。然而，由于受限的功率资源和由水流速度引起的高度波动拓扑，在SOWSNs中提供低能耗且可靠的路由十分困难。为解决这一问题，提出了一种基于多智能体强化学习的能量高效路由算法（Energy Efficient Routing Algorithm using Multiagent Reinforcement Learning，EERA-MRL）。为了更好地应对变化的环境并促进网络寿命的延长，该系统最初被建模为去中心化多智能体系统。在设计路由算法时确定了剩余功率和连接质量。提出了一种通过去中心化奖励系统评估整个网络输入的技术。局部（直接）奖励（Localized (direct) Reward，LR）是表达个体间关系或两个邻近节点数据的激励类型之一。通用奖励（Universal Reward，UR）被用来表示SOWSNs中的网络效率或数据传输质量。研究提出了三种能量管理策略以延长SOWSNs的寿命。第一种策略利用强化学习进行精确导航，以缩短路径并最小化能耗。第二种策略通过采用睡眠调度算法来优化节点能量使用。最后一种方法根据接收到的信息变化率限制每个节点的信息传输。仿真结果表明，所提出的策略在平均剩余能量（Prem）、跳数和吞吐量方面显著优于先前发表的方法。研究结果表明，所提出的基于EERA-MRL的SOWSNs路由协议具有低能耗和高吞吐量（98.5%）的特点。

论文解读文章

研究背景与问题提出

水下无线传感器网络（Underwater Wireless Sensor Networks，UWSNs）在海洋数据采集、生态监测、灾害预防和战略监控等领域具有广泛应用前景。然而，传统的水下声学信道特性，如多径衰落、长传输延迟和高误码率，严重制约了UWSNs的性能。由于传感器节点通常采用多跳中继方式将感知信息传输至汇聚节点，部分节点会因承担更多转发任务而过早耗尽能量，导致网络能量分布不均并缩短网络整体寿命。因此，能量消耗是UWSNs面临的核心问题。

近年来，水下光无线通信技术因其高带宽、低延迟等优势受到广泛关注，由此催生了水下光无线传感器网络（Submerged Optical Wireless Sensor Networks，SOWSNs）。与水下声学无线传感器网络（Underwater Acoustic Wireless Sensor Networks，UAWSNs）相比，SOWSNs具有显著差异：声学通信的广播半径可达数公里，所需跳数较少；而光学通信需要精确对准，链路可靠性评估至关重要。因此，UAWSNs中已有的路由方法不能直接移植到SOWSNs中，需要针对SOWSNs的独特挑战设计专用路由协议。

SOWSNs面临两大核心难题：节点功率资源受限和由水流引起的拓扑高度动态变化。传统路由协议难以应对这些挑战。强化学习（Reinforcement Learning，RL）因其能够适应动态环境而被视为有前景的解决方案。然而，单智能体Q-learning算法在动态环境中训练效果不佳，而多智能体强化学习（Multiagent Reinforcement Learning，MRL）通过智能体间的信息交互，能够从全局视角获取上下文信息，更适合SOWSNs的应用场景。

研究内容与结论

针对上述问题，研究人员提出了一种基于多智能体强化学习的能量高效路由算法（Energy Efficient Routing Algorithm using Multiagent Reinforcement Learning，EERA-MRL）。该算法将SOWSNs建模为去中心化多智能体系统，每个传感器节点被视为独立决策的智能体。在设计路由算法时综合考虑节点剩余功率和链路连接质量，并通过去中心化奖励机制评估整个网络的贡献。该算法设计了两种奖励函数：局部奖励（Localized Reward，LR）用于评估相邻节点间的直接传输质量，包含剩余能量和信道质量两个因素；通用奖励（Universal Reward，UR）则根据数据包传输方向（靠近或远离汇聚节点）提供全局反馈，鼓励节点选择逐步接近目的地的路由路径。

此外，研究提出了三种能量管理策略以延长网络寿命：基于强化学习的精确路由以减少传输路径和能耗；睡眠调度算法优化节点能量使用；根据接收信息变化率限制每个节点的信息传输量。仿真结果表明，EERA-MRL在平均剩余能量（P_rem）、跳数和吞吐量三个指标上均显著优于对比算法，在300秒仿真结束时保持82%的剩余能量和98.5%的最高吞吐量。

关键技术方法

研究人员采用的主要技术方法包括：将SOWSNs建模为去中心化多智能体系统，每个节点作为独立智能体；采用分布式成本函数（Distributed Cost Function，DCF）更新Q值，综合考虑局部奖励和通用奖励；利用拉格朗日水流模型模拟节点随水流的移动；采用睡眠调度算法将非活跃节点切换至睡眠模式；通过限制数据传输机制抑制冗余数据包转发；在簇头节点执行数据聚合操作以减少传输次数。仿真在Python 3.5环境中实现，部署20个传感器节点于100m×100m的水下监测区域，节点传输范围为50m。

研究结果

平均剩余能量对比

图4展示了各算法在不同仿真时间下的平均剩余能量（P_rem）变化。所有算法的P_rem均随仿真时间下降，但下降速率存在差异。EERA-MRL在300秒时保持82%的剩余能量，表现最佳；EMRL和MRL次之；Double Q-learning和AODV下降更为明显。这一结果归因于EERA-MRL实施的三种能量管理策略。

跳数对比

图5比较了各算法的跳数变化。基于多智能体强化学习的算法（EERA-MRL、EMRL、MRL）能够快速适应网络环境变化并调整路由决策，跳数相对稳定且较低。Double Q-learning和AODV的跳数波动较大，AODV因依赖最短路径且不涉及学习过程而表现不稳定。EERA-MRL因引入UR机制，总中继节点数少于EMRL。

吞吐量对比

图6展示了各算法吞吐量的变化趋势。所有算法的吞吐量均随仿真时间提升，但提升速率不同。EERA-MRL在整个仿真过程中保持最高吞吐量，最终达到98.5%；EMRL、MRL、Double Q-learning和AODV分别达到95%、90%、80%和70%。

讨论与结论

研究通过仿真验证了EERA-MRL算法的有效性，其在能量效率、路由稳定性和数据传输效率方面均优于现有算法。该算法通过局部奖励和通用奖励的有机结合，使每个智能体既能优化局部传输质量又能兼顾全局路由效率。三种能量管理策略从精确路由、睡眠调度和受限数据传输三个层面协同降低能耗，有效延长了网络寿命。

研究结论指出，EERA-MRL为SOWSNs提供了一种高效可靠的路由解决方案，在保持82%剩余能量的同时实现了98.5%的吞吐量。未来工作可进一步优化奖励函数设计，探索其他强化学习方法，以及改进网络的能量管理和传输机制。