混合专家模型与李雅普诺夫学习融合用于多无人机网络中的轨迹优化与任务卸载

《Information Fusion》:Fusion of Mixture-of-Experts and Lyapunov Learning for Trajectory Optimization and Task Offloading in Multi-UAVs Networks

【字体: 大 中 小 】 时间:2026年09月20日 来源:Information Fusion 17.4

编辑推荐:

   •建立一个集成了无线电能传输(WPT)能量供给和分卸机制的全双工协同UAV-MEC优化框架。该框架考虑UAV避障安全距离、飞行边界限制以及通信-计算资源分配,从而有效解耦时空资源的复杂特征表征。 •提出一种基于混合专家(MoE)的多智能体强化学习算法,用于高效的轨迹规划与任

  

•建立一个集成了无线电能传输(WPT)能量供给和分卸机制的全双工协同UAV-MEC优化框架。该框架考虑UAV避障安全距离、飞行边界限制以及通信-计算资源分配,从而有效解耦时空资源的复杂特征表征。

•提出一种基于混合专家(MoE)的多智能体强化学习算法,用于高效的轨迹规划与任务卸载,目标是使多UAV系统的任务时延和能量消耗最小化。

•为所提出的强化学习优化模型设计一种无需凸性假设的Lyapunov稳定性保证机制。该模型采用虚拟能量队列将UAV-MEC系统中的长期硬约束转化为瞬时稳定性代价,以确保系统能量队列的有界性以及训练过程的稳定性。

•在UAV环境中验证了本算法的性能优势。与主流基线相比,所提算法在维持极低碰撞率的同时,大幅降低了加权系统总代价。此外,该算法表现出很强的鲁棒性。

引言

在高度动态且复杂的场景中——例如野外地质勘探、灾后应急救援以及现代信息化战争——由于环境破坏、地理限制或部署困难等原因,地面基站或边缘服务器等固定计算基础设施往往无法使用 [1]、[2]。在缺乏本地计算支持的情况下,仅依赖传统云卸载会导致长距离数据传输带来的显著时延开销,这极易导致对实时性要求严格的任务关键任务失败 [3]。为应对这一关键挑战,利用搭载边缘服务器的无人驾驶航空器(UAV)来建立移动边缘计算(MEC)节点,已成为一种极具前景的解决方案 [4]。如图1所示,与固定基站不同,UAV具备灵活的三维(3D)移动能力。它们可以主动调整飞行轨迹以靠近地面移动用户(MU) [5],从而建立高质量的视距(LoS)通信链路,显著缩短传输距离 [6],这不仅降低了卸载时延,还利用本地计算能力,缓解了对云资源的依赖。

尽管UAV-MEC系统具有显著优势,但目前实现高效稳定的协同运行仍面临三大严峻挑战:

(1) 多层计算下的时空耦合。在异构云-边-端架构中,UAV同时充当边缘服务器和通信中继,这意味着它们需要在多级任务流中动态分配通信和计算资源。然而,这一决策过程受到严格且强耦合的物理约束限制:一方面,在同一空域飞行的多架UAV必须严格保持最小安全距离以防止碰撞 [7];另一方面,UAV的轨迹规划直接决定了端-边和边-云的信道质量。因此,如何在飞行安全的硬约束下,协同优化高度动态的飞行轨迹与多级卸载策略,是一个高度非线性的时空联合优化问题。

(2) 多智能体非平稳性与状态空间爆炸。随着服务区域扩大,单架UAV已无法满足大规模覆盖需求,多UAV协同势在必行。然而,在多UAV协作场景中,每个智能体的策略更新会动态改变其他智能体感知到的学习环境,导致多智能体非平稳性 [8]、[9]。此外,联合状态空间的维度随UAV和用户数量呈指数级增长。传统的强化学习算法难以有效捕捉智能体间的复杂交互模式,往往导致收敛次优或训练不稳定 [10]。

(3) 非凸硬约束下的稳定优化。UAV-MEC是一个典型的非凸优化问题 [5],其中轨迹变量、信道增益和任务卸载量之间存在强非线性耦合,导致基于凸假设的传统优化算法失效。与此同时,现有的深度强化学习(DRL)方法大多采用"软约束"(即惩罚项)来近似安全边界,难以明确保证能耗上限、避障距离和飞行边界等严格物理约束。在需要极高可靠性的特殊场景中,这些缺乏理论保证的算法往往无法满足实际需求 [11]、[12]。

针对上述挑战,本文提出了一种异构UAV使能的MEC框架,在模型层面统一描述了通信、计算和空间安全约束。具体而言,我们首先构建了一个三层全双工UAV-MEC系统模型,集成了无线电能传输技术以维持能量供给。其次,我们提出了一种高效的Lyapunov优化的多智能体强化学习算法,并集成了混合专家(MoE)模型,旨在使UAV的任务时延和能量消耗最小化。该算法首先将MoE模型集成到Critic网络中,使不同的专家子网络学习到UAV-MEC网络中不同的交互特征,包括能量消耗、UAV位置和用户覆盖。随后,通过门控机制根据当前状态动态选择最合适的专家组合 [13]。第三,我们设计了一种结合Lyapunov优化理论的专用神经网络,以引导智能体满足长期能量约束,并利用虚拟能量队列 [14] 将长期需求转化为瞬时稳定性代价。

本文的主要贡献总结如下:

•我们建立了一个集成WPT能量供给和部分卸载机制的异构全双工协同UAV-MEC优化框架。该框架考虑UAV避障安全距离、飞行边界限制以及通信-计算资源分配,以有效解耦时空资源的复杂特征表征。

•我们提出了一种架构创新的基于MoE的多智能体强化学习算法,用于高效的轨迹规划和任务卸载。该架构不依赖通用网络,而是利用专家分工和动态门控机制,独特地克服了状态空间爆炸问题,并准确捕捉非平稳环境中高维异构的交互模式。

•我们为所提出的RL优化模型设计了一种无凸性假设的Lyapunov引导稳定性机制。通过采用虚拟能量队列,我们将UAV-MEC系统中的长期能量约束转化为瞬时稳定性代价,为长期能量管理提供了面向稳定性的引导,而碰撞和边界约束则通过空间屏障机制处理。

•我们全面验证了本算法在UAV环境中的性能优势。除了提升能效之外,所提算法在保持极低碰撞率并展现出强鲁棒性的同时,大幅降低了加权系统总时延,并且在任务卸载成功率方面表现优异。

章节片段

UAV-MEC中的轨迹与资源决策

对UAV辅助MEC系统的早期研究主要聚焦于涉及轨迹规划、用户调度和计算卸载的联合优化问题。这些工作大多将问题形式化为一个非凸优化任务,并使用块坐标下降(BCD)和逐次凸近似(SCA)等迭代算法来求解 [5]、[15]。例如,[5] 提出了一种迭代算法,通过优化UAV的2D……

概述

为了刻画物联网(IoT)或监控应用中的数据收集需求,我们将系统操作建模为周期性任务周期,主要符号的定义见表1。在尺寸为 L × L、包含多个障碍物的任务区域内,部署了一个云平台、N架UAV和M个用户。UAV集合记为 N={1,2,…,N}。用户集合记为 M={1,2,…,M}。用户位置是固定的,记为 qm=(xm,ym,0)。在时刻 t,UAV n 的位置为 qn(t)……

MA-MDP 形式化与基于势函数的奖励设计

问题 P1 是一个具有高维连续状态-动作空间和时变约束的复杂非凸优化问题。为解决这一问题,我们提出了 LM-MARL 框架。我们将问题形式化为一个多智能体马尔可夫决策过程,由元组 〈S,A,R,γ〉 定义。

LM-MARL 算法

为了应对高维连续动作空间的挑战,并保证复杂 UAV-MEC 环境中的系统稳定性,我们提出了 LM-MARL 算法。如图中的系统框架所示,该架构由三个协同耦合的组件构成:时空嵌入的 Actor、软 MoE 增强的集中式 Critic,以及 Lyapunov 稳定性网络。

环境设置

为评估所提出的 LM-MARL 算法的性能,我们基于 Python 3.11 和 PyTorch 2.6.0 构建了一个 UAV 边缘计算仿真环境。仿真在一个 500 × 500 米的方形任务区域内进行,代表一个局部化的低空数据采集或紧急服务场景。该区域足够大,需要进行非平凡的轨迹规划和 UAV 间协作,同时又适合由小型 UAV 集群进行覆盖。共有 30 个地面用户……

结论

在本文中,我们研究了 WPT 使能的多 UAV MEC 网络中的联合轨迹优化与计算卸载问题,重点关注环境非平稳性和严格能量约束所带来的挑战。我们的目标是在考虑飞行安全约束的同时,使加权系统时延和能量消耗最小化。为此,我们提出了一种新颖的 Lyapunov 与 MoE 辅助的多智能体强化学习算法。具体而言,我们……

未引用的引用:图2缺失引用

CRediT 作者贡献声明

Wenjing Xiao(肖文静):方法论、概念构思。Jiatai Yan(严佳台):验证、项目管理。Wenhao Song(宋文浩):项目管理、形式分析、数据整理。Miaojiang Chen(陈淼江):可视化、验证、形式分析。Zhiquan Liu(刘志全):可视化、调研、形式分析。Yin Zhang(张寅):验证、方法论、调研。H. Herbert Song(宋继华):资源、方法论、形式分析。

利益冲突声明

作者声明,他们不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

作者简介:Wenjing Xiao 博士就读于华中科技大学计算机科学与技术学院嵌入式与普适计算实验室,获本科直博学位。她目前是中国广西大学计算机与电子信息学院的副教授。她的研究方向包括边缘计算、物联网和认知计算。

Wenjing Xiao | Jiatai Yan | Wenhao Song | Miaojiang Chen | Zhiquan Liu | Yin Zhang | H. Herbert Song
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号