基于协作多智能体强化学习的水下声学传感网络动态数据路由框架

《Scientific Reports》：A QMIX-driven routing protocol for dynamic Underwater Acoustic Sensor Networks

　　摘要：由于电池容量有限、传播延迟高、网络拓扑动态变化以及通信链路不可靠，可靠且节能的数据采集仍然是水下声学传感网络（UASN）面临的一项基础挑战。针对这些问题，我们提出了一种基于协作多智能体强化学习（CMARL）的动态水下声学传感网络数据路由框架。我们将路由问题建模为去中心化部分可观测马尔可夫决策过程（Dec-POMDP），其中每个中继节点作为自治路由智能体，利用本地可用信息进行决策。该框架采用集中式训练与分布式执行（CTDE）范式，使用QMIX算法学习协作路由策略，并通过训练好的本地Q网络执行决策。每个智能体根据剩余能量、相对于汇聚节点的前进进度、估计链路质量以及邻居节点可用性构建本地观测，其动作空间由协作下一跳选择组成。我们设计了一种面向UASN的奖励函数，通过鼓励可靠的数据包转发并抑制低效的路由决策，同时优化数据包投递可靠性、能量效率和网络寿命。大量仿真实验结果表明，所提框架在数据包投递率、端到端时延和网络寿命等关键指标上持续优于代表性路由协议，为下一代UASN提供了一种有效、可扩展且智能的路由解决方案。