基于数字孪生的神经强盗算法用于延迟多普勒信道下的双跳无人机中继选择

《Digital Signal Processing》:Digital Twin-Enabled Neural Bandit Learning for Two-Hop UAV Relay Selection over Delay–Doppler Channels

【字体: 大 中 小 】 时间:2026年05月13日 来源:Digital Signal Processing 3

编辑推荐:

  埃哈布·马哈茂德·穆罕默德 电气工程系,沙特阿拉伯萨塔姆·本·阿卜杜勒-阿齐兹大学工程学院,瓦迪阿德瓦西尔11991 摘要 本文研究了在高度动态飞行条件下,两跳式无人机(UAV)网络中最优中继选择的基本挑战。所选的中继UAV应在确保其有限的电池预算限制下的服务持续时

  埃哈布·马哈茂德·穆罕默德
电气工程系,沙特阿拉伯萨塔姆·本·阿卜杜勒-阿齐兹大学工程学院,瓦迪阿德瓦西尔11991

摘要
本文研究了在高度动态飞行条件下,两跳式无人机(UAV)网络中最优中继选择的基本挑战。所选的中继UAV应在确保其有限的电池预算限制下的服务持续时间延长的同时,最大化从源UAV到目标UAV的总端到端数据速率。问题的复杂性源于三个相互交织的因素:(i)需要持续捕获UAV状态(包括中继UAV的剩余能量水平)的集中协调;(ii)由源UAV、中继UAV和目标UAV之间的高相对移动性引起的快速信道波动;(iii)需要自适应智能来综合考虑环境的复杂动态参数,以最大化可实现的数据速率、中继持续时间和中继UAV的能效。为了解决这些挑战,提出了一种基于数字孪生(DT)的学习框架,该框架与物理UAV舰队同步,以获取轻量级的延迟-多普勒(DD)动态信道信息,如视距(LoS)延迟扩展、最大多普勒频移和中继UAV的电池状态,从而减轻信息开销。DT利用神经上下文强盗算法(特别是神经上下文汤普森采样(NeuralTS)或神经上置信界(NeuralUCB)来推断最优中继UAV,通过建模动态上下文特征(即DD参数和中继UAV的电池预算)与预期传输数据性能之间的复杂非线性关系。数值评估表明,所提出的基于DT的神经强盗框架显著优于非神经和非上下文的基准算法。

引言
近年来,整合了卫星、无人机(UAV)以及地面实体(如移动用户、地面车辆(GVs)和移动基站的空间、空中和地面集成网络(SAGINs)已成为民用和军事通信系统的转型范式[1]。由于UAV具有在三维空间内飞行、悬停和动态机动的能力,它们为自适应网络部署、覆盖优化和连接恢复提供了卓越的灵活性,因此成为SAGINs的关键组成部分[2,3],也是FANETs的关键推动者[4]。根据任务需求,UAV可以充当空中基站、中继、接入点、数据收集器或移动边缘计算节点,动态调整其位置以优化网络性能指标(如覆盖范围、吞吐量、延迟和能效[5]。这些特性使UAV能够在灾后恢复区提供按需覆盖[6],为农村和偏远地区提供宽带接入[7],并在密集的城市热点地区增强容量[7],并维护高速地面网络的可靠通信链接[8]。此外,UAV已成为物联网(IoRT)的关键推动者,促进了在地理隔离或恶劣地形上部署的传感器网络的连接[9]。与可重构智能表面(RIS)、毫米波(mmWave)和非地面6G架构等先进技术的集成进一步增强了它们在拥挤或受阻环境中缓解覆盖空洞和提高频谱和能效的能力[10,11]。

在本文中,我们讨论了UAV舰队部署领域一个基本但尚未充分探索的挑战,即在所有UAV都在飞行中的动态两跳式UAV到UAV中继场景中的最优UAV中继选择问题。大多数现有研究通过假设源UAV、中继UAV和目标UAV保持静止或在固定位置悬停,或者中继UAV仅连接两个静态地面节点来简化问题[[12], [13], [14], [15], [16], [17], [18], [19]]。然而,本研究明确考虑了UAV移动性的高度动态性,包括相对位置、飞行速度和方向轨迹的持续变化。这种动态性引入了无线信道条件、多普勒频移和链接寿命的不可忽视的变化,从而使本研究具有独特性和实际意义。在这个动态的两跳式空中中继框架中,最优中继UAV选择的标准是在确保延长链接持续时间以减少频繁中继切换的同时,最大化从源UAV到目标UAV的端到端可实现数据速率。这一目标本质上需要考虑潜在中继UAV的剩余电池容量,因为能量耗尽的中继可能导致链接提前失败。为了有效解决这个问题,必须解决三个主要的技术挑战:
i)建立一个能够持续获取和处理来自UAV舰队的关键飞行和通信参数的集中控制器,包括它们的瞬时高度、速度、飞行方向、剩余能量预算和时变无线信道状态。基于这种全局意识,控制器在每个时间步t确定最优中继UAV并将决定传播给相应节点。
ii)减少集中控制器与UAV之间的信号和信息交换开销,以防止延迟和数据陈旧,这需要开发一种高效、抽象且紧凑的UAV状态信息表示方法。
iii)设计一种自适应的智能中继选择算法,该算法利用动态获取的上下文数据和剩余能量信息,在非静态飞行条件下准确地识别最优中继UAV。

在本文中,为了有效应对上述挑战,我们提出了一个基于数字孪生(DT)的控制框架[20],它充当集中智能层,虚拟地复制物理UAV舰队,并保持虚拟和物理UAV环境之间的持续同步。通过双向信息交换,DT环境动态复制物理UAV网络的运行状态,并支持两跳式空中通信场景中的实时决策制定。为了减少频繁的UAV状态更新所带来的通信负担,DT服务器仅收集延迟-多普勒(DD)域信道信息[21]。这种方法通过少数DD参数捕获关键的UAV移动特性,如飞行高度、相对速度和位置动态,使DT服务器能够用最少的数据交换量描述无线信道的时空演变。此外,为了捕捉UAV的动态状态(例如多普勒扩展、延迟变化和剩余电池预算)与其可实现的端到端吞吐量之间的非线性映射,DT服务器采用神经上下文多臂强盗(MAB)算法[22][23]。这些算法能够在不确定性和动态飞行条件下实现在线数据驱动的学习和自适应中继选择。因此,本研究的主要贡献可以总结如下:
• 提出了一种基于DT的空中中继框架,用于在动态飞行条件下优化两跳式UAV到UAV通信。DT服务器作为集中智能模块,持续复制物理UAV群,从源UAV、候选中继和目标UAV收集关键的操作和信道参数。它执行基于神经强盗的决策机制,在每个传输间隔识别出在尊重中继UAV剩余电池预算的前提下最大化端到端可实现数据速率的中继UAV。一旦选中了最优中继,DT就会向相关UAV广播控制指令以建立相应的中继链接。
• 该系统利用DD域信道表示,使用DD域多载波(DDMC)调制(如正交时频空间(OTFS)[21]来模拟高度动态的空中到空中的传播条件。DD表示提供了UAV到UAV信道的紧凑但信息丰富的抽象,通过少数DD参数封装了关键动态指标,如相对速度、传播延迟、多普勒频移和高度差异。通过仅传输这些DD参数(特别是视距(LoS)延迟扩展和最大多普勒频率),DT有效地抽象了关键的UAV移动状态,而无需完整的动态信息反馈。这种方法显著减少了UAV群体与DT服务器之间的通信开销,并减少了中继决策的延迟。
• 为了实现智能的在线中继UAV选择,DT采用神经MAB模型,即神经上下文汤普森采样(NeuralTS)[22]或神经上置信界(NeuralUCB)算法[23],消除了使用不可行的最优预言器方法的需求。在所提出的系统中,DT服务器(玩家)将利用包含每个候选中继UAV的DD参数和剩余能量水平的上下文向量(臂)。然后,所提出的神经MAB模型学习这些特征与预期可实现奖励(即端到端传输的数据)之间的复杂非线性关系。这消除了对先验全局知识或静态优化假设的不切实际要求,同时实现了快速收敛到最优性能。传统的上下文汤普森采样(CTS)[24]和线性上置信界(LinUCB)[25]算法适用于这些高度动态的环境。这两种方法的局限性在于它们假设上下文特征与预期奖励之间存在线性依赖关系,而未能捕捉到空中网络中固有的非线性和快速变化的上下文-奖励关系。

广泛的数值评估验证了所提出的基于DT的UAV中继选择框架在现实3D移动性和信道条件下的有效性。结果表明,与CTS和LinUCB以及简单的TS[26]和UCB[27]等基准方案相比,NeuralTS和NeuralUCB在总传输数据量、中继持续时间和中继UAV能效方面表现出更好的性能。此外,结果还表明,与基于UCB的方法相比,TS系列在性能上有所提升,这归功于其贝叶斯公式,该公式内在地建模了奖励分布的概率性以及上下文特征与奖励分布之间的依赖性,实现了更有效的探索-利用权衡。研究结果证实,将基于DT的情境意识与神经上下文强盗结合提供了下一代多UAV通信网络中智能中继管理的实用且可扩展的解决方案。

本文的其余部分组织如下:第二节提供了与本文范围相关的文献综述。第三节探讨了所提出的DT框架,包括空中到空中(A2A)DD信道建模、OTFS调制的基础原理和优化问题的表述。第四节介绍了用于UAV中继选择的NeuralTS和NeuralUCB算法。第五节进行了数值分析,第六节提出了结论性意见。

文献综述
在FANETs的背景下,无论是两跳还是多跳路由范式,UAV中继选择问题已成为一个关键的研究领域,旨在提高网络形成效率和整体系统性能[12]。在[12]中,提出了一种结合了最优UAV中继选择算法的合作式媒体访问控制(MAC)协议,以确保灾难环境中的稳健通信。这种方法使UAV能够动态建立合作关系。

提出的系统模型和优化问题表述
图1展示了在两跳式UAV通信网络中用于最优UAV中继选择的所提出的DT框架,其中部署了一组UAV中继?,1≤r≤|?|。DT服务器部署在具有与所有UAV直接通信链接的地面控制节点,作为物理UAV网络的实时同步数字副本。通过持续的双向信息交换,DT维护了网络拓扑、信道动态的更新表示。

提出的神经上下文强盗算法
在本节中,引入了神经上下文强盗算法,以有效解决(20)中定义的优化问题。在所提出的框架中,神经上下文强盗不访问精确的信道实现或确定的覆盖持续时间。相反,它仅基于DT服务器从DD参数和剩余能量状态构建的上下文向量进行操作。因此,学习过程是在DT对UAV网络的数字抽象上进行的。

数值分析
在本节中,进行了一系列全面的蒙特卡洛模拟,以验证所提出的基于神经的上下文强盗方法NeuralTS[22]和NeuralUCB[23]与其非神经对应方法CTS[24]和LinUCB[25]以及传统的强盗算法TS[26]和UCB[27]在解决UAV中继选择任务方面的性能优势。实验在一个1平方公里的区域进行,其中S、R和D UAV以随机3D速度移动。

对抗信道估计误差
在本节中,彻底研究了信道估计不准确性对上下文强盗算法NeuralTS、NeuralUCB、CTS和LinUCB性能的影响。这些估计误差影响了构建的上下文向量和DT副本的准确性,因为DT服务器依赖这些上下文参数来抽象物理环境。模拟设置考虑了一个由20架中继UAV组成的舰队,S、R和D UAV以随机3D速度飞行。

结论
在这项工作中,对空中通信网络中的最优中继UAV选择问题进行了彻底研究,例如那些部署在SAGIN或FANET架构中的网络。为应对这一挑战,引入了一个DT框架,以数字方式复制现实世界的无人机网络环境,从而实现无需完全了解物理层信息的智能决策。该框架利用DD领域表示法,以最小的资源捕捉关键的动态信道特性。

作者声明:
Ehab Mahmoud Mohamed:概念构思、方法论设计、软件开发、数据分析、论文撰写(初稿准备)、形式化分析、资金筹集、验证、审稿与编辑工作。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号