神经信道基元辅助深度强化学习框架用于多HAP辅助LEO卫星网络资源管理

《IEEE Open Journal of the Communications Society》：NCP-DRL: Geometry-Aware Deep Reinforcement Learning for Real-Time Transmission in Multi-HAP-Assisted Satellite Networks

　　

摘要：

集成低地球轨道（LEO）卫星和高空平台（HAP）的非地面网络（NTN）预计将在超越第五代（B5G）和第六代（6G）无线系统中发挥重要作用，提供广域覆盖和弹性连接。然而，多种空中和空间平台的共存引入了高度动态的网络拓扑、时变干扰以及依赖于移动性的信道变化，这极大地增加了资源管理的复杂性。尽管深度强化学习（DRL）近来已成为自适应NTN优化的有前景的方法，但现有方法通常依赖于通用状态表示，并未显式利用NTN传播环境中与几何相关的空间结构。为了解决这一局限性，本文提出了一种神经信道基元辅助的深度强化学习（NCP-DRL）框架，用于多HAP辅助LEO卫星网络中的联合用户关联和波束成形。所提出的NCP模块受即时神经图形基元（Instant-NGP）启发，执行多分辨率空间编码，从用户和发射机位置中提取紧凑的几何感知传播特征。这些特征被纳入DRL状态表示中，以改善在动态NTN条件下的学习效率和策略适应性。联合优化问题被建模为具有混合离散-连续动作和QoS感知奖励设计的马尔可夫决策过程（MDP）。基于动态LEO卫星运动和HAP移动性的仿真结果表明，与传统软演员-评论家（SAC）、逐次凸近似匹配算法（SCA-MA）基准方案以及最先进的基于生成式人工智能的DRL框架（名为Gen-DRL）相比，所提出的框架实现了改进的收敛行为和增强的频谱效率与功耗折衷。结果表明……

显示更多