课程学习增强的马尔可夫决策算法（MARL），该算法考虑了动态环境中移动目标的多无人机（Multi-UAV）覆盖问题，并采用了注意力机制（Attention Mechanism）进行处理

《Internet of Things》：Curriculum Learning-Enhanced MARL with Attention for Multi-UAV Coverage in Dynamic Environments with Moving Targets

　　**摘要**
在动态环境中协调无人机（UAV）群以覆盖区域——例如幸存者不断迁移的灾后地区或目标移动不可预测的荒野区域——在有限的代理间通信下面临重大挑战。本文提出了CL-CMA-MAPPO，这是一种基于课程学习的强化多智能体近端策略优化方法，该方法考虑了移动目标的情况，并增强了注意力机制。该方法解决了三个实际问题：由于通信范围受限导致的部分可观测性、目标高移动性导致的训练不稳定以及在不同车队规模和场景尺度下的泛化能力差。我们设计了一种多头注意力编码器，使代理能够在固定维度的观察空间内选择性地集合来自可见邻居和未覆盖目标的信息。多目标奖励函数平衡了覆盖质量、空间分布和个体贡献，以解决合作环境中的任务分配问题。四阶段的课程学习逐渐增加场景大小（700–1000米）和目标移动概率（10–50％），从而实现从准静态到高动态条件的稳定技能获取。实验表明，在最具挑战性的配置下，CL-CMA-MAPPO的平均覆盖率达到了91.8％，显著优于QMIX（45.2％）、Voronoi划分（40.7％）、Greedy（55.6％）和IPPO（2.7％）。消融研究证实了注意力机制（+74个百分点）和课程学习（+21个百分点）的贡献。学习到的策略可以无需架构更改即可应用于4–10架UAV的配置。

**引言**
无人机（UAV）群已成为大规模区域覆盖的关键技术，应用于时间敏感的任务中，如灾后通信恢复[1]、荒野搜索与救援[2]和动态环境监测[3]。在这些场景中，感兴趣的目标（如流离失所的幸存者、失踪人员或不断变化的环境危害）具有不可预测的移动模式，这要求UAV不断调整其覆盖策略，而不能遵循预先规划的轨迹。此外，代理间的通信往往受到传输范围限制、环境障碍或基础设施损坏的影响，迫使每架UAV根据部分观测数据进行决策。与单UAV系统相比，多UAV团队提供了更高的覆盖效率和操作冗余，但要实现这些优势，需要能够同时处理动态目标分布和稀疏通信连接的协调策略。

然而，在这些动态场景中协调多架UAV以最大化覆盖范围存在根本性挑战。目标移动的不可预测性给覆盖规划过程带来了重大不确定性。在灾后环境中，幸存者可能向疏散点、医疗设施或通信热点迁移，导致覆盖需求随任务进程而变化。在荒野环境中，如迷路的徒步者或濒危动物沿未知轨迹移动，UAV需要在系统化区域扫描和针对性追踪之间进行平衡。这种动态特性将覆盖问题从静态优化问题转变为持续适应的挑战，UAV必须预测目标行为并主动调整位置以保持高覆盖质量。

加剧这一困难的是代理间通信的限制。在现实部署中，UAV只能与有限通信范围内的邻居交换信息，这使得每个代理必须根据局部观测和部分邻居信息进行决策。在大型场景中，当UAV分散在广阔区域或灾后环境中环境障碍进一步降低通信质量时，这种部分可观测性尤为严重。在这种情况下，有效协调要求代理能够选择性地关注相关邻居和未覆盖的目标，同时过滤掉无关信息——这是固定尺寸观察编码器难以实现的。传统的覆盖规划方法（如几何分解[4]和组合优化[6]）为静态区域覆盖提供了理论基础，但根本不适合动态场景。这些方法通常假设目标分布是静态的、全局信息可用且操作参数是预先定义的。当目标移动不可预测且通信限制阻止全局信息共享时，这些方法需要在每个时间步骤进行迭代重新计算，这在实时部署中是计算上的禁止性障碍。分布式优化方法[8][9]提高了可扩展性，但在动态环境中难以平衡探索-利用平衡。多智能体强化学习（MARL）通过将覆盖建模为部分可观测的马尔可夫决策过程，提供了有前景的替代方案，允许在通信限制下进行分布式决策，并通过环境交互学习适应性协调策略[10][11]。

尽管MARL具有潜力，但将其应用于动态UAV覆盖仍面临若干实际挑战。深度强化学习[12][13]能够实现从高维感官输入到连续控制输出的端到端映射，解决了大状态-动作空间的维度灾难问题。独立学习方法（如IPPO[14]）使用局部观测分别训练每个代理，虽然实现了实现的简单性，但未能捕捉到协作任务中的代理间协调。集中训练与分散执行（CTDE）方法通过在训练期间利用全局信息同时保持分散执行来克服这一限制，适用于实际部署。MADDPG[15]采用具有集中价值估计的演员-评论家架构，而MAPPO[16]将近端策略优化扩展到多智能体设置，在合作基准测试中取得了最佳结果。然而，将这些方法应用于动态覆盖场景时仍存在几个限制。首先，有限的通信范围限制了信息交换，大多数现有方法使用固定大小的输入编码器，要么丢弃远处邻居的有用数据，要么需要用虚拟值填充，从而降低了协调效率。其次，固定难度水平的训练限制了泛化能力：为特定车队规模或目标分布优化的策略往往无法迁移到具有更大覆盖范围或更快移动目标的更复杂配置中。第三，在动态目标存在的情况下，协调问题尚未得到充分研究[17]。虽然静态覆盖受到了广泛关注，但需要持续重新规划的运动目标场景为代理间协调和覆盖维护带来了额外难度，要求UAV发展出现有基于MARL的覆盖方法中很少涉及的预测能力。

基于注意力的通信[18]使代理能够选择性地关注相关邻居和目标，从而在通信限制下提高协调效率。课程学习[19][20]通过逐步增加任务难度来加速训练并增强泛化能力，尽管其在多UAV覆盖中的应用仍有限。将这些技术整合到适用于具有局部通信限制的动态UAV覆盖的统一MARL框架中仍大多未经探索。为应对这些挑战，我们提出了CL-CMA-MAPPO，这是一种基于课程学习的强化多智能体近端策略优化方法，适用于动态环境中的UAV协作覆盖。该框架围绕三个相互连接的组件构建：一个适应可见邻居和目标数量变化的观察编码器、一个将个体激励与团队目标对齐的奖励结构，以及一个逐步引入环境复杂性的分阶段训练协议。这些元素共同使得UAV能够发展出随着场景规模扩大和目标变得更加移动而仍然有效的协调策略。

**本文的主要贡献如下：**
- 我们为部分可观测情况下的多UAV协作覆盖设计了一个多组件奖励函数和局部观察空间。奖励函数通过混合的团队-个体结构共同优化覆盖质量、时间进度、空间分布和个体贡献分配，而观察空间编码了每个代理对其邻居、未覆盖目标及其在通信范围内的状态的局部视图。结合动态聚合这种变长信息的多头注意力机制，该设计使得学习到的协调策略显著优于基于价值的方法（如QMIX）和几何方法（如Voronoi划分）。
- 我们开发了一个四阶段课程学习协议，逐步增加场景大小（700米至1000米）和目标移动概率（10％至50％），以解决在高动态环境中观察到的训练不稳定问题。这种分阶段的难度调整允许策略在处理简单情况时获得基础协调行为，然后才能应对复杂动态。结果策略能够无需架构修改即可泛化到4至10架UAV的车队规模和更大场景，解决了标准MARL训练方法常见的泛化限制。
- 我们进行了全面的实验评估，将CL-CMA-MAPPO与五种基线方法进行了比较，包括反应式启发式方法（Greedy、Random）、几何控制（Voronoi）、独立学习（IPPO）和集中价值分解（QMIX）。所提出的方法在最苛刻的配置下实现了91.8％的平均覆盖率，比Greedy（55.6％）高出36个百分点，比QMIX（45.2％）高出47个百分点。消融研究表明，注意力机制比非注意力变体高出74个百分点，而课程学习在最困难配置下额外提高了21个百分点。

**本文的其余部分组织如下：**第2节介绍系统模型和问题表述。第3节描述了提出的CL-CMA-MAPPO算法。第4节提供了实验设置和结果。第5节总结了本文。

**系统模型和问题描述**
在许多实际场景中，如灾后应急响应、临时大规模事件或偏远地区操作，地面通信基础设施可能不可用、损坏或不足以满足服务需求。在这种情况下，UAV群可以迅速部署为空中基站，为移动地面用户或分布式服务目标提供临时通信覆盖。如图1所示，一组UAV在目标区域内运行。

**提出的算法**
在本节中，我们介绍了CL-CMA-MAPPO，这是一种用于复杂动态环境中多UAV协作覆盖的算法。遵循集中训练与分散执行（CTDE）范式，该算法通过感知解耦、注意力引导的特征融合和多阶段训练策略来处理地面目标高度随机运动带来的不确定性。

**实验设置**
实验使用第III-A节描述的环境进行，其中8架UAV覆盖20个动态目标。关键超参数总结在表2中。课程学习策略将训练分为四个阶段，逐步增加场景大小（700米至1000米）和目标移动概率（0.1至0.5），以便从静态条件逐步过渡到高动态条件。

**训练性能分析**
CL-CMA-MAPPO的训练曲线显示在图3中。在第1阶段（剧集0–499），

**结论**
本文提出了CL-CMA-MAPPO，这是一个基于课程学习的强化多智能体框架，用于动态环境中的UAV协作覆盖。该方法结合了基于注意力的观察编码器、多目标奖励函数和逐步课程学习策略，以解决部分可观测性和有限通信范围下的多UAV协调关键挑战。实验结果表明，该方法实现了...

**作者贡献声明**
潘恒伟：撰写 – 原稿编写、验证、软件开发、方法论。王永华：撰写 – 审阅与编辑、监督、项目管理。常乐：撰写 – 审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

**潘恒伟 | 王永华 | 常乐**
广东工业大学自动化学院，广州，510006，中国