GNN-DDQN：一种用于无人机网络联合路由与资源分配的去中心化框架

《Vehicular Communications》：GNN-DDQN: A decentralized framework for joint routing and resource allocation in UAV networks

　　

**摘要**

无人驾驶飞行器（UAVs）在各种应用中的重要性日益增长，推动了旨在增强其能力的显著研究。任务执行期间的高效通信需要高路由准确性、强链路质量、最优吞吐量和能效。近期研究聚焦于利用UAV网络功能在一个联合优化框架中，该框架能够适应动态拓扑和变化的干扰条件。因此，本文提出了一种新型框架，将图神经网络（GNN）和双深度Q网络（DDQN）相结合，以在去中心化的UAV网络中同时优化路由和资源分配。具体而言，GNN组件提取拓扑感知特征以提高路由准确性，而DDQN则通过强化学习自适应地调整发射功率和中继选择。为了使UAV能够基于局部观测进行自主决策，该框架采用了部分可观测马尔可夫决策过程（POMDP）。此外，我们提出了一种去中心化、可扩展的算法，使UAV能够利用局部和邻域信息进行自主的路由和功率分配决策，无需集中控制。结果表明，GNN-DDQN框架在关键性能指标上优于现有方法，包括损失收敛、连接可靠性、路径长度和吞吐量。具体而言，在均匀分布中，GNN-DDQN分别比Full MLP、Rand MLP和c2Dst高出约23.5%、75%和14.2%，并且吞吐量为mSINR的9.3倍。在聚集部署中，它分别比相同方法高出约5.4%、9.5%和23.4%，并且吞吐量为mSINR的13.3倍。

**引言**

第六代（6G）无线网络有望彻底改变通信基础设施，需要前所未有的连接方案来超越传统陆地网络的局限性。空天地一体化网络（SAGIN）作为一种关键架构范式应运而生，战略性地集成了卫星、空中和陆地网络段以确保全面全球覆盖。无人机（UAVs）由于其固有的灵活性、快速部署能力以及对动态或资源受限环境的适应性，已成为现代无线网络不可或缺的组成部分[1]。这些特性使UAV能够有效支持关键应用，如灾害管理、监视以及临时通信基础设施的部署[2]，[3]。

尽管UAV具有巨大潜力，但基于UAV的网络面临严峻的技术挑战。首先，去中心化架构和持续演变的网络拓扑使得路由协议和资源分配机制的优化尤为困难[4]。此外，大规模、多跳UAV集群的部署引入了额外的运营复杂性。UAV的高移动性、不断变化的网络拓扑以及严重的资源限制等因素削弱了集中控制方法的有效性，往往导致频繁的路由中断。因此，存在一个关键的研究空白，即开发自适应和去中心化的路由与资源分配方案不仅仅是一项优化挑战，更是确保未来6G空中网络所需自主性、可扩展性和性能的先决条件[5]。

这些挑战正通过多智能体强化学习（MARL）和其他分布式框架等方法得到解决[5]，[6]，[7]。人工智能与网络技术的结合在网络优化方面取得了显著进展。特别是，深度强化学习（DRL）与图神经网络（GNN）的结合为传统方法提供了强有力的替代方案，能够实现自适应的数据驱动决策。GNN在捕获通信网络中的拓扑关系和干扰模式方面尤为有效，从而增强了基于DRL的智能体性能[5]，[8]。然而，大多数现有方法仅孤立地处理路由或资源分配问题，忽视了两者之间固有的相互依赖性[5]，[9]，[10]，如表1所示。因此，联合跨层优化在很大程度上仍未得到探索，这为去中心化UAV网络提供了一个关键的研究机会。

尽管机器学习在UAV网络中的应用日益增长，但大多数先前的研究以碎片化的方式使用基于图的学习或强化学习，通常将路由或资源分配作为孤立任务来关注。然而，在实际的多跳UAV网络中，中继选择、发射功率、干扰和路径质量之间存在强烈的相互依赖性，因此必须联合优化而非分别优化。受此缺口的启发，本工作的新颖性不在于孤立地使用GNN或DDQN，而在于将它们协同整合到一个用于跨层优化的统-去中心化框架中。具体而言，所提出的GNN-DDQN框架利用基于GNN的拓扑感知表示学习来编码动态邻域和干扰关系，而DDQN则利用这些基于图的嵌入在部分可观测性下进行稳定的序贯决策，以联合完成中继选择和功率分配。这种统一设计使得动态UAV网络中的可扩展和自主控制成为可能，超越了仅解决问题某一组成部分或未能充分利用图表示与强化学习之间互动的现有研究。

本文提出了一种将双深度Q网络（DDQN）与GNN相结合的框架，用于在UAV网络中联合优化路由和资源分配。在我们的方法中，UAV网络被建模为一个动态时空图，其中每个UAV利用GNN从其局部环境中提取相关特征。这些提取的特征随后被纳入基于DDQN的学习模型中，该模型通过缓解高估偏差在不确定环境中提供稳定的学习。这种无缝集成使UAV能够利用对局部条件和整体网络状态的全面评估来做出自主决策。除了技术贡献之外，所提出的GNN-DDQN框架对于现实世界的UAV网络部署具有重要的实际意义。特别是，其去中心化和自适应设计使其适用于动态和基础设施受限的场景，如灾害恢复、临时通信系统、监视操作和大规模物联网数据采集。此外，该框架为下一代6G空中网络和SAGIN提供了可扩展的解决方案，在这些网络中分布式智能和实时适应至关重要。

本文的主要贡献总结如下：

- 我们提出了一种新型框架GNN-DDQN，将GNN与DDQN集成以在去中心化UAV网络中同时优化路由和资源分配。所提出的框架利用GNN有效捕获拓扑感知特征，提高路由准确性，同时利用DDQN通过强化学习自适应优化发射功率和中继选择。

- 为了使UAV能够从局部观测中自主做出路由和资源分配决策，我们在所提出的框架中采用了部分可观测马尔可夫决策过程（POMDP）。

- 我们设计了一种可扩展的决策算法，使UAV能够在在线操作过程中仅基于局部和邻域信息执行路由和功率分配决策，无需集中控制。

- 我们构建并模拟了五种不同的网络框架：Full MLP、Rand MLP、c2Dst、mSINR和GNN-DDQN。模拟结果表明，GNN-DDQN框架在均匀和聚集分布下均优于现有方法，在关键性能指标上表现出色，包括损失收敛、连接可靠性、路径长度和吞吐量。

本文的其余部分组织如下。第2节回顾了与无线和UAV网络中GNN、DDQN及基于GNN的DRL相关的研究。第3节介绍了去中心化UAV系统和信道模型，并建立了联合路由和功率分配问题。第4节提出了所提出的GNN-DDQN框架，包括POMDP建模、图表示和学习过程。第5节报告了均匀和聚集UAV部署下的模拟结果。最后，第6节总结了全文。

**相关工作**

图神经网络（GNN）已成为对通信系统中非欧几里得结构进行建模的有力工具，能够在动态无线环境中高效地表示空间、拓扑和干扰关系。早期研究展示了它们通过利用网络节点之间的基于图的依赖关系来优化无线资源管理和链路调度的能力[21]，[22]。后续工作将其应用扩展到功率控制、波束赋形和接入点……

**系统模型**

我们考虑采用多跳通信的去中心化UAV网络，如图1所示。该网络由一组UAV组成??={???,???,…,??_??}，其中M表示UAV的总数。UAVs协同合作以形成可靠的多跳传输路径，同时考虑干扰管理、信号衰减和能效。每个UAV u_i在尺寸为L?×L?×H的三维空间中运行，其中H是固定高度。这一假设在UAV网络中通常被采用……

**双深度Q网络与GNN的集成**

在所提出的框架中，去中心化主要在执行阶段实现。每个UAV独立地做出路由和功率分配决策，基于其局部观测和聚合的邻域信息，无需集中控制器或全局网络状态访问权限。为了确保在这种动态、非平稳且部分可观测的环境中实现稳定高效的学习，训练过程采用共享回放缓冲区……

**模拟结果**

本节呈现了所提出的GNN–DDQN框架在UAV网络中联合路由和资源分配的模拟结果。将其与几种传统和基于MLP的模型进行比较。实现遵循最新方法[10]，使用PyTorch[45]进行深度学习和Deep Graph Library（DGL）[46]进行基于图的操作。UAV网络在1000×1000 m2区域内模拟，包含多个UAV和动态拓扑演变。主要系统……

**结论**

本文提出了一种去中心化的GNN–DDQN框架，用于在动态拓扑和干扰下运行的多跳UAV网络中联合路由和功率分配。该框架采用图神经网络（GNN）提取拓扑感知特征，显著提高了路由准确性，并集成了双深度Q网络（DDQN）通过深度强化学习优化发射功率和中继选择。此外，提出了一种去中心化且可扩展的算法……

**作者贡献声明**

Nawaf Q. Othman：撰写——原稿、可视化、资源、方法论、数据整理、概念化。Moeen AL-Makhlafi：撰写——审阅与编辑、验证、监督、项目管理、资金获取、形式分析、概念化。You Guoqiang：撰写——审阅与编辑、监督、概念化。Malik Muhammad Arslan：可视化、形式分析、概念化。Haithm M. Al-Gunid：撰写——审阅与编辑、数据整理。Abdulrahman A.

**利益冲突声明**

作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Nawaf Q. Othman | Moeen AL-Makhlafi | You Guoqiang | Malik Muhammad Arslan | Haithm M. Al-Gunid | Abdulrahman A. ALKannad | Ahmed Al-Tbali

西安翻译学院科学与工程学院，陕西西安 710105，中国