《Computer Communications》：Task offloading optimization in multi-UAV-enabled MEC networks with ground interference
编辑推荐：
多无人机（multi-UAV）赋能的移动边缘计算（MEC）已成为6G物联网（IoT）中提供低延迟服务的一种有前景的解决方案。然而，由于动态的地面干扰源（GIS）、高维动作空间以及无人机（UAVs）和地面终端（GTs）严格的能量约束，多无人机网络中的联合轨迹规划
多无人机（multi-UAV）赋能的移动边缘计算（MEC）已成为6G物联网（IoT）中提供低延迟服务的一种有前景的解决方案。然而，由于动态的地面干扰源（GIS）、高维动作空间以及无人机（UAVs）和地面终端（GTs）严格的能量约束，多无人机网络中的联合轨迹规划和资源分配面临重大挑战。本文提出了一种名为干扰感知K-means与多智能体软演员-评论家（IAKMSAC）的新型协同优化框架，旨在最大化系统的任务完成率同时最小化能耗。具体而言，研究人员首先建模了一个包含非正交多址接入（NOMA）和显式GIS约束的多无人机MEC系统。为解决该问题的非凸性和耦合性，设计了一种两阶段分层算法。在第一阶段，采用干扰感知K-means算法进行周期性用户关联，有效减少了簇间干扰并压缩了状态-动作空间。在第二阶段，研究人员开发了一个具有共享经验回放缓冲区的多智能体软演员-评论家框架，用于在连续动作空间中优化无人机轨迹和卸载策略。此外，设计了一个复合奖励函数来平衡系统能量与任务完成率。仿真结果表明，所提出的IAKMSAC算法实现了更快的收敛速度和更高的任务完成率，尤其是在能量受限场景下，验证了其在复杂真实世界物联网环境中的有效性。
一、研究背景与现存问题
随着物联网（IoT）的快速演进和6G网络的部署，数据流量激增，对超低延迟服务的需求日益增长，如智能交通系统中的自动驾驶、实时环境监测和灾害响应等应用都需要大量计算资源来处理时间敏感数据。传统的基于地面的移动边缘计算（MEC）基础设施面临固定部署成本高、覆盖范围有限以及在偏远地区或高密度城市中存在“盲点”等问题。为进一步释放6G空天地海一体化网络的潜力，新兴通信范式如语义通信已被研究，旨在通过语义数据优化和动态资源分配实现更高效的云-边-端协同任务处理，这促使研究人员探索无人机（UAV）赋能的MEC系统中更智能、更自适应的资源管理框架。
无人机凭借其高机动性、灵活的按需部署能力以及建立强视距（LoS）通信链路的能力，成为6G空地一体化网络的关键组成部分，广泛应用于低空经济网络场景。然而，在实际部署中仍存在许多复杂问题，包括：1）现有研究大多假设简化的通信环境或仅关注物理障碍规避，但在真实6G部署中，地面干扰源（GIS）会显著降低信号与干扰加噪声比（SINR），而很少有工作将GIS作为轨迹设计的首要约束条件；2）在能量效率与任务完成率之间存在固有的权衡难题，现有研究往往侧重单一方面，缺乏全面的奖励机制来同步动态环境中的能效与任务可靠性；3）尽管多智能体深度强化学习（MADRL）已被应用于多无人机协调，但现有框架在处理复杂拓扑结构时难以有效解耦用户关联与轨迹控制过程，导致在大规模部署中性能次优。该论文发表在《Computer Communications》。
二、主要关键技术方法
研究人员提出了一个名为干扰感知K-means与多智能体软演员-评论家（IAKMSAC）的两阶段分层优化框架。第一阶段采用干扰感知K-means算法进行周期性用户划分，有效缓解簇间干扰并降低动作空间维度。第二阶段开发了一个具有共享经验回放缓冲区的多智能体软演员-评论家（MASAC）框架，在连续动作空间中联合优化三维轨迹、卸载比例和计算资源分配。此外，设计了一个复合奖励函数来定量平衡任务完成率、无人机能耗和地面终端电池寿命。
三、研究结果
系统模型与问题公式化： 研究人员建立了基于非正交多址接入（NOMA）的多无人机MEC系统模型，包含随机分布的移动地面终端（GTs）和配备MEC服务器的无人机，并显式纳入地面干扰源（GIS）约束。通过定义信道模型、任务模型、计算模型和能耗模型，将问题形式化为一个受多种约束的非凸优化问题，目标是在满足无人机和地面终端能量约束的前提下最大化系统任务完成率并最小化总能耗。
干扰感知K-means聚类算法： 研究人员设计了干扰感知K-means算法，将地面终端划分为多个簇并分配给不同的无人机。该算法在传统K-means基础上引入干扰感知距离度量，综合考虑了地面终端到无人机的信道增益以及来自其他簇和地面干扰源的潜在干扰，从而有效减少簇间干扰并压缩后续多智能体强化学习的动作空间。
多智能体软演员-评论家（MASAC）框架： 研究人员将轨迹规划和资源分配问题建模为马尔可夫决策过程（MDP），其中每个无人机作为一个智能体。MASAC框架基于最大熵强化学习原则，结合共享经验回放缓冲区，使各智能体能够在连续动作空间中高效探索并稳定学习最优策略。每个智能体的观测包括自身位置、关联地面终端状态、剩余能量等信息，动作包括飞行方向、速度、卸载比例和计算资源分配。
复合奖励函数设计： 研究人员设计了一个综合性的奖励函数，由任务完成奖励、能耗惩罚和干扰惩罚三个部分组成。该函数鼓励无人机尽可能多地完成任务，同时最小化飞行能耗和通信能耗，并通过惩罚进入高干扰区域的行为引导无人机避开地面干扰源，从而在系统能量效率和任务可靠性之间取得平衡。
仿真实验与性能评估： 研究人员进行了大量仿真实验，将所提出的IAKMSAC算法与基线SAC算法进行对比。结果表明，IAKMSAC算法在收敛速度上明显快于基线方法，并且在不同能量约束场景下均能获得更高的任务完成率。特别是在能量严格受限的场景中，IAKMSAC展现出更强的鲁棒性和优越性，验证了该框架在复杂6G物联网环境中应对严苛能量约束和复杂干扰的有效性。
四、总结与讨论
讨论部分总结： 尽管现有研究在无人机赋能的MEC领域取得了进展，但仍存在三个关键缺口：一是大多数研究忽略了地面干扰源对轨迹设计的影响；二是缺乏能够同步平衡能效与任务可靠性的全面奖励机制；三是现有的多智能体强化学习框架在复杂拓扑中难以有效解耦用户关联与轨迹控制过程，导致大规模部署性能不佳。本研究提出的IAKMSAC框架通过两阶段分层优化有效解决了上述问题。
研究结论： 本文针对多无人机赋能的MEC网络，提出了一种新颖的IAKMSAC协同优化框架。通过将复杂的联合优化问题解耦为两个阶段——利用干扰感知聚类进行用户关联，以及利用多智能体强化学习进行连续轨迹和资源控制——该框架有效应对了动态地面干扰和高维资源管理的耦合挑战。仿真结果证实，IAKMSAC算法在收敛速度和任务完成率方面均优于基线方法，证明了其在6G物联网场景中处理严苛能量约束和复杂干扰时的鲁棒性和有效性。
