一种基于MAPPO算法的课程学习辅助算法，用于无人机群中的动态频谱接入与抗干扰技术 袁晓泽、文家宝

《Sensors》：A Curriculum-Learning-Assisted MAPPO-Based Algorithm for Dynamic Spectrum Access and Anti-Jamming in UAV Swarms Xiaoze Yuan and Jiabao Wen

　　摘要：无人机集群在协作任务中的使用变得越来越普遍。然而，在复杂环境中建立高并发性和高可靠性的通信链接仍然是一个重大挑战。基于传统媒体访问控制（MAC）协议的现有方法难以应对高密度碰撞问题，而传统的深度强化学习（DRL）方法在非静态干扰环境中经常遇到收敛困难，导致抗干扰鲁棒性和算法效率显著受限。为了解决这个问题，本文提出了一种基于课程学习辅助的多智能体近端策略优化（CL-MAPPO）的动态访问算法。具体来说，我们采用了集中训练与分散执行（CTDE）架构来实现集群内的隐式频谱协作。值得注意的是，我们设计了一个三阶段的渐进式课程学习机制——基本碰撞避免、负载均衡和动态抗干扰——并结合了分阶段 reward 重塑策略，引导智能体逐步掌握在复杂环境中的智能跳频决策。实验结果表明，在涉及动态扫描干扰和高负载多无人机通信的模拟场景中，所提出的方法在标准化吞吐量、信道碰撞率和收敛速度方面显著优于基线模型，如载波感应多路访问（CSMA）、随机跳频和多智能体深度确定性策略梯度（MADDPG）。这项研究为在恶劣环境条件下实现大规模集群数据链接的高可靠性访问提供了理论支持和算法基础。

1. 引言
如今，由于无人机（UAV）具有高灵活性、强机动性和低成本部署的特点，它们被广泛应用于智能物流[1]、灾害救援[2]、区域检测[3]和军事侦察[4]等领域。随着执行任务的规模和复杂性的不断增加，无人机集群被认为比单无人机操作具有显著优势，能够实现更广的覆盖范围和更强的鲁棒性。在这些优势中，高效的动态频谱访问和协作分配在确保集群的即时可靠通信中起着关键作用，尤其是在日益拥挤且电磁环境复杂的现代通信环境中[6]。最近在基于簇的频谱共享和异构多智能体协调方面的进展进一步突显了在密集无人机编队中进行智能资源分配的迫切需求[7,8]。尽管取得了这些进展，但仍然缺乏一个统一的框架，该框架能够以完全分散的方式同时解决内部信道竞争和外部扫描干扰问题，并且训练效率高——这直接激发了本研究的工作动机。
作为动态频谱资源分配问题的一个变体，无人机集群的频谱协作访问被认为是 NP 难问题，这使得在极短的决策窗口内找到全局最优解变得异常困难。为了解决这个问题，传统优化算法和基于学习的方法都得到了广泛的研究和探索。传统优化算法[9,10,11]（如博弈论、凸优化等）可以在小规模或静态场景中提供理论上的最优解。然而，由于它们的计算复杂性随网络规模呈指数级增长，它们往往不适合大规模、高并发网络。相比之下，多智能体强化学习（MARL）方法——即多个智能体通过与共享环境的试错互动来学习最优行为的方法——如深度 Q 网络和多智能体深度确定性策略梯度，被认为是解决大规模动态访问问题的理想选择，因为它们可以在无模型条件下平衡解决方案质量和推理效率[12,13]。尽管如此，现有的 MARL 方法在实际部署中仍面临多个限制：首先，大多数算法直接在完整的状态-动作空间中进行端到端搜索。随着节点密度的增加，它们不可避免地会遇到维度灾难，导致环境非稳定性和收敛困难[14]。其次，现有研究通常将干扰简化为理想的高斯白噪声或静态阻塞[15,16]，缺乏对动态对手干扰（如智能频率扫描）的建模。虽然最近的研究开始关注无人机网络中的对手干扰[8,17]，但它们很少考虑在高密度集群条件下内部碰撞避免和外部抗干扰的联合优化。这迫使策略严重依赖于手动设计的辅助规则来适应真实的战场条件，限制了它们的泛化能力。此外，大多数现有方法忽视了对学习过程本身的系统优化，未能利用人类认知中固有的渐进原则来缓解复杂游戏环境中的冷启动问题。
为了解决多无人机频谱访问问题的高计算复杂性，许多最新研究集中在将原始问题分解为几个子问题，然后使用传统优化方法或分层方法来解决这些问题[18,19]。这种分解有效地降低了计算复杂性，使得这些方案在处理大规模问题时更具优势。然而，这些方法中手动设计的启发式规则可能仍然会限制最终性能，因为它们无法利用动态环境中的潜在模式来提升整体性能。另一方面，随着深度学习（DL）和强化学习（RL）的进步，深度强化学习（DRL）已在游戏[20]、机器人技术[21]和自然语言处理[22]等领域得到广泛应用。最近，DRL 也被广泛应用于组合优化问题，如通信资源分配和动态访问[16,23,24]。此外，课程学习和迁移学习策略已成为解决多无人机对抗任务中稀疏奖励和非静态性的有效手段[25,26]。与依赖手动规则的传统启发式方法相比，DRL 可以以数据驱动的方式自动学习决策策略，通过捕捉不同场景中的固有模式来优化决策。然而，随着网络规模的扩大和干扰动态的加剧，DRL 中的决策空间也会大幅扩展，这可能导致训练不稳定、收敛缓慢和泛化性能不满意[27,28]。
本文解决了以下具体研究问题：N 个分散式无人机在 M 个动态扫描干扰器存在的情况下，通过 K 个正交信道进行通信时，如何学习一种分布式信道访问策略，该策略能够同时（i）最小化集群内部的数据包碰撞，（ii）最大化总体网络吞吐量，以及（iii）在仅依赖局部、部分观测的情况下主动避开外部干扰信号？
这个问题本质上是一个具有混合协作-对抗目标的部分可观察马尔可夫决策过程（POMDP）。标准的端到端训练的 MARL 算法往往在这种高维、非静态环境中无法收敛，这需要一种更结构化的训练方法。
为了克服这些挑战，我们放弃了传统的端到端训练，而是提出了一种课程引导的多智能体学习架构，其关键创新点如下：
CL-MAPPO 协同访问架构：我们提出了一种基于集中训练与分散执行（CTDE）范式的新型课程学习辅助的多智能体近端策略优化（CL-MAPPO）算法框架[29]。该架构实现了集群成员之间的隐式频谱协作，同时缓解了隐藏终端问题。
三阶段渐进式课程机制：我们设计了一种基于难度评估的课程进展机制。它将复杂的抗干扰频谱访问任务系统地分为三个渐进学习阶段：（i）在静态背景下的碰撞避免，（ii）在高流量条件下的负载均衡，以及（iii）动态对抗性抗干扰。通过分阶段 reward 重塑，该机制引导智能体从掌握基本碰撞避免逐步发展到复杂的智能跳频策略，显著提高了算法的收敛速度和最终性能[30,31]。
仿真验证和性能评估：我们构建了一个具有动态扫描干扰源的逼真仿真环境。全面的实验结果表明，我们提出的 CL-MAPPO 算法在标准化网络吞吐量、信道碰撞率和收敛速度方面显著优于基线方法，包括 CSMA、随机跳频和 MADDPG[14]，验证了其在恶劣和对抗性电磁环境中的鲁棒性。
本文的整体研究逻辑和章节组织如下：第 2 节制定了多通道动态访问系统模型，并详细讨论了无人机集群的抗干扰问题。第 3 节详细介绍了 CL-MAPPO 算法的原则以及三阶段课程学习机制的设计和实现。第 4 节通过多组比较和消融实验分析了算法在各种干扰模式和节点密度下的性能。最后，第 5 节总结了整篇文章并概述了未来研究的潜在方向。

2. 相关工作
与任务执行中的任务调度的基本作用类似，建立稳定、低延迟的数据链接是实现集群智能的基石。然而，这面临着诸如日益复杂的电磁环境和极度稀缺的频谱资源等严格限制[32,33]。通常，传统的静态频谱分配策略不再能满足集群的动态通信需求，特别是在面对对手部署的弹幕或智能扫描干扰时，通信链路的稳定性直接决定了任务的成功或失败[34,35]。以载波感应多路访问与碰撞避免（CSMA/CA）[36]、时隙 ALOHA[37]和早期随机访问机制[38]为代表的基于竞争的协议具有分布式实施的潜力。然而，由于隐藏终端引起的指数级碰撞，它们不适合解决高密度、高度移动的临时网络的访问问题。因此，TDMA 及其变体协议（通过时间槽分块）被认为是解决无人机网络访问问题的理想替代方案。Khisa 和 Moh[39] 为无人机辅助的工业物联网系统设计了一种考虑优先级的快速 MAC 协议。该协议通过引入细粒度的数据流优先级区分机制来优化时间槽分配，有效减少了高优先级服务的传输延迟。Wu 等人[40] 提出了一种基于混合自适应 TDMA 的 MAC 协议（H-SATMAC）用于大规模无人机临时网络。其核心是根据实时节点状态和网络负载动态调整帧结构和时间槽分配策略，有效适应快速编队重配置的通信需求。同样，Sun 等人[41] 对战术场景中的无人机网络 MAC 协议切换机制进行了深入研究。通过设计一套智能切换标准，他们使网络能够自动在不同协议之间切换，显著增强了系统的适应性和通信可靠性，以应对突发动态任务。然而，这种预分配策略严重依赖稳定的全局拓扑信息和集中调度。因此，在拓扑频繁变化或外部干扰的情况下，它们的维护开销很大，实时性能可能会受到影响。
多智能体强化学习（MARL）结合了深度学习和强化学习的优点，在游戏[20]、机器人技术[21]和自然语言处理[22]等领域得到了广泛研究，因为它具有强大的学习能力[42]。近年来，由于 MARL 可以通过与环境自主互动来学习策略，而无需依赖难以获得的精确环境模型，它已被成功引入通信领域，以解决动态抗干扰、频谱访问和功率分配等核心资源管理问题[8,43]。例如，在无人机通信抗干扰中，研究将干扰避免建模为智能体之间的竞争或合作游戏，利用 MARL 框架来学习分布式抗干扰策略[44]。在异构网络资源分配中，MARL 被用于实现跨小区、跨载波的协作调度，以优化网络范围的能量效率和用户公平性[45]。为了提高 MARL 在复杂任务中的训练效率和稳定性，引入了诸如课程学习等先进的训练范式。Yan 等人[30] 为密集障碍环境中的无人机集群形成了特定任务的基于课程的 MADRL 方法。通过逐步增加环境复杂性，他们有效提高了策略的收敛速度和最终编队的鲁棒性。总体而言，这些基于 MARL 的方法在解决组合优化问题（如通信资源管理）方面表现出了性能潜力和计算效率，超越了传统的基于规则的方法。然而，当应用场景扩展到由大量可选信道、动态干扰模式和高移动节点组成的高维状态和动作空间时，MARL 智能体的训练过程常常面临严重挑战，如稳定性差、收敛缓慢或甚至无法收敛，这是由于环境非稳定性的加剧和探索难度的大幅增加[31]。
总之，由于高密度场景中的指数级碰撞风险以及对全局拓扑信息的严格依赖，传统的基于竞争和预分配的协议难以解决大规模无人机集群的高并发访问问题。MARL 能够通过环境互动自动学习决策策略，通常被视为理想的替代方案。然而，随着节点数量和干扰模式的增加，决策空间的大幅扩展也阻碍了 MARL 模型在大规模复杂游戏环境中的有效训练。为了解决这个问题，最近的工作集中在减少探索难度或分解任务上。Lowe等人[29]提出了集中训练与分散执行（CTDE）框架，通过整合全局信息来缓解多智能体环境中的非平稳性问题。Yan等人[30]构建了一个特定任务的课程系统，将复杂任务分解为多个子阶段以指导策略收敛。受到这一思想的启发，我们设计了一个渐进式训练框架，将大规模复杂对抗环境中的接入挑战分解为三个渐进式的子课程：基本碰撞避免、负载平衡和动态抗干扰。虽然课程学习最近在多无人机（multi-UAV）背景下进行了研究，但现有研究主要针对编队控制[30]或通用资源分配[25,26]，并且它们没有明确解决在完全分散的CTDE架构下内部拥塞和外部扫频干扰的联合优化问题。此外，最近关于无人机通信的马尔可夫强化学习（MARL）调查[13,46]强调了在竞争频谱环境中缓解非平稳性的系统训练范式的稀缺性。据我们所知，本文是首次将三阶段课程与GRU增强的MAPPO框架相结合，专门用于同时解决碰撞和对抗动态扫频干扰的问题。基于这一框架，我们提出了一种课程学习辅助的MAPPO算法，分阶段解决这些问题，显示出在复杂电磁环境中实现可靠的大规模无人机通信的巨大潜力。

3. 方法论和问题构建
本节详细介绍了提出的CL-MAPPO框架。我们首先在3.1节和3.2节建立了系统模型，并将分散接入挑战形式化为部分可观测马尔可夫决策过程（POMDP）。接下来，3.3节阐述了三阶段课程学习机制的设计和实现，3.4节概述了整个训练算法。

3.1. 系统模型和问题构建
3.1.1. 网络场景和信道模型
考虑一个由N架同构无人机组成的自组织网络群体，表示为集合UAV，分布在三维空域中。系统在由t索引的离散时间槽中运行，每个时间槽的持续时间为Δt。可用频谱被划分为K个正交信道，表示为集合C。由于采用分散的自组织架构，每架无人机节点必须仅根据其本地观察结果在每个时间槽t自主决定其信道接入。

通信链路质量同时受到大规模路径损耗和小尺度多径衰落的影响。遵循广泛采用的无人机对地面和机对机通信的信道建模框架[47,48]，我们采用了一种复合基带等效模型来捕获幅度衰减和相位旋转[49]。在时间槽t期间，无人机i和无人机j之间的信道k的瞬时复合信道增益被建模为：
G(z,k,t) = H(|Ap(k,t)| + λek,t|
其中H(z)是参考路径损耗，λ是路径损耗指数，Rician K因子表示视距（LoS）和散射分量之间的功率比。确定的LoS分量是一个幅值为1且相位均匀分布的复合指数，而ek,t捕获了散射多径贡献。

关于移动性的说明：虽然分析模型假设了一个块衰落结构，其中信道系数在时间槽内保持不变，但G(z,k,t)的时间演变本质上捕捉了大规模移动性效应。我们故意采用这种块衰落简化方法以保持大规模MARL模拟的计算可行性，同时注意到，如果整合时间相关的衰落（例如通过Jakes模型），只会改变环境动态，而不会改变学习架构本身。我们代理内部集成的GRU模块专门设计用于跟踪和补偿接收信号强度的此类时间变化。

为了分析的可行性，并且与之前的无人机群体通信研究[46,50]保持一致，我们假设不同无人机对和不同信道的衰落系数是统计独立且同分布的（i.i.d.）。在散射丰富的环境中，这一假设是合理的，因为无人机之间的距离超过了信道的相干距离[51]。

为了便于在多智能体背景下构建全局干扰动态，用向量/矩阵形式表示信道状态是有启发性的[52,53]。对于时间槽t的信道k，我们定义了复合信道矩阵G(k,t)，其第j个元素是gjk,t。相应的功率增益矩阵表示为P(k,t)，其元素为pj,t。设O(k,t)为二进制信道占用向量。然后可以将所有接收器经历的内部干扰功率紧凑地表示为Ijk,t，其中对角线元素被设置为零以排除自干扰。这种矩阵表示不仅捕捉了无人机之间的相互耦合，而且与集中训练过程一致，在集中训练过程中，全局状态G可能包括G或G′，以便准确估计值函数[54]。

3.1.2. 干扰模型
在竞争激烈的环境中，链路可靠性受到内部同频道干扰和外部智能干扰的严重降低。
内部同频道干扰：使用上述定义的向量表示法，接收器j在信道k上经历的内部干扰功率简单地是gjk,t的j个元素。具体来说，
Ijk,t = hj,k,t * P(k,t) * e^(j-1) * (1 - αk,t)
其中P(k,t)是每架无人机的恒定传输功率。这种向量表示法将在我们CTDE架构的集中训练阶段的全局状态聚合过程中得到利用。

外部智能干扰：我们假设有M个高功率智能干扰器。每个干扰器m位于固定坐标(xm,ym,zt)处，并执行动态频率扫描策略（例如线性啁啾或随机跳频）。为了反映真实的电磁传播，我们纳入了干扰器到无人机接收器的空间路径损耗。如果干扰器m的频谱在时间t覆盖了信道k，则无人机j经历的外部干扰功率由以下公式给出：
Ijk,t = hj,k,t * P(k,t) * e^(j-1) * (1 - αk,t) * R(k,t)
其中P(k,t)是干扰器的传输功率，d(k,t)是参考距离，αk,t是干扰器到无人机的路径损耗指数（通常设为1）。这种公式确保了距离干扰器更近的无人机会受到显著更高的干扰，从而创建了一个空间上异质的对抗环境。

3.1.3. 信道模型现实性和算法通用性的讨论
上述具有距离依赖性干扰的Rician块衰落模型与现有MARL频谱接入文献中普遍使用的传统Rayleigh和恒定功率假设相比，代表了向现实性迈出的一步[14,23]。然而，我们承认实际的无人机群体操作可能会遇到额外的信道损伤，包括由于高移动性引起的时间相关多普勒偏移、低空飞行时由地面反射引起的频率选择性衰落，以及来自无人机机身的阴影效应。

必须强调的是，CL-MAPPO算法框架对特定的衰落分布和干扰模式是不可知的。代理的观察向量是你(t)是从物理层接收到的能量测量中构建的，它代表了底层信道的标量摘要，无论它是来自Rician、Rayleigh还是Nakagami衰落。第3.3节提出的课程学习机制和第3.2.2节中基于GRU的时间推理都是为了从这些能量观测中提取决策相关的模式而专门设计的。因此，将当前的信道模型替换为更复杂的基于几何的随机模型（GBSM）[52]或基于光线追踪的数据集将改变环境动态，但不需要对学习算法进行任何架构更改。我们将这种高保真信道模拟器的集成留给未来的硬件在环验证，而当前模型是证明课程引导的多智能体协调的核心贡献所必需且充分的抽象。

3.1.4. 信噪比（SINR）和传输成功率标准
结合上述因素，如果无人机i在时间槽t通过信道k向无人机j传输，则接收器的信噪比（SINR）为：
SINR = log10(P(k,t) / (N功率谱密度 + Ijk,t)
其中N是加性白高斯噪声（AWGN）的功率谱密度。为了保证通信质量，定义了一个解调阈值θ。只有当条件SINR ≥ θ时，数据包传输才被认为是成功的；否则，它被视为失败，需要重传或导致数据包丢失。

3.2. 多智能体强化学习框架
3.2.1. POMDP构建
由于无人机无法访问全局信道状态信息或精确的干扰器参数，问题被构建为一个部分可观测马尔可夫决策过程（POMDP），由元组(S, Π, Δt)描述。为了弥合第3.1节中的连续物理模型和离散决策过程之间的差距，我们明确建立了以下映射：全局状态S对应于环境的完整快照，包括方程(1)中定义的复合信道矩阵G。相比之下，本地观察φ(t)是通过处理接收端前端的物理信号获得的——能量检测向量η(t)是通过将干扰加噪声功率从方程(4)的分母中标准化得到的，反馈历史H(t)直接记录SINR条件是否成立。这种构建反映了代理必须仅基于这种物理世界的局部降级投影来做出决策的现实约束。这个POMDP的详细定义如下：
状态空间S(t)：时间t的全局状态包括所有无人机的3D坐标、K个信道的占用状态以及干扰器的动态参数（例如扫描频率）。具体来说，S(t)包括方程(2)中定义的复合信道增益矩阵G，它捕获了所有无人机之间的相互干扰关系。需要注意的是，S(t)仅在集中训练期间使用（假设有一个提供完整环境信息的模拟预言机），而在分散执行阶段是不可观测的。
观察空间Ω(t)：每架无人机只能依赖于MAC层在本地感测到的信息。代理i在时间t的观察φ(t)包括：(1)一个载波感知向量v(t)，其中包含通过能量检测在每个信道上测量的标准化干扰功率水平，每个条目是通过将接收功率（以dBm为单位）从范围[-10, 10]中按min-max缩放得到的，根据方程(4)中的SINR计算得出；(2)一个传输反馈历史h(t)，这是一个长度为H的二进制序列，表示过去H个时间槽中的数据包成功传输情况，由GRU模块用来推断潜在的干扰模式；以及(3)一个缓冲状态b(t)，表示数据传输队列的标准化长度。正式定义如下：Ω(t) = [v(t), h(t), b(t)]。请注意，包含完整信道矩阵G和干扰器参数的全局状态S(t)仅在训练期间由集中式Critic使用，永远不会暴露给分散式的Actor。

动作空间A(t)：动作空间是离散的。在每个时间步骤t，代理i选择一个动作α(t)。具体来说，α(t)表示一个退避决策，其中无人机暂停传输并执行信道感知以缓解拥塞。相反，α(t) = k表示选择第k个信道进行数据包传输。
奖励函数R(t)：为了平衡个体吞吐量和集体抗干扰目标，我们设计了一个多目标加权奖励函数。代理i的瞬时奖励R(t)定义为：
R(i,t) = γ * Succ(t) + β * Coll(t) + δ * Jam(t) + ε
其中Succ(t)表示成功传输，Coll(t)表示群体内信道碰撞，Jam(t)表示选定的信道遭受恶意干扰，迫使代理学习频率跳频；ε是一个固定的能量惩罚，用于执行退避动作。这种惩罚不鼓励不必要的空闲，鼓励积极的信道感知，并确保仅在有利于避免碰撞时才选择退避。

3.2.2. 网络架构设计
为了解决多智能体协作中的信用分配挑战和复杂电磁环境中的部分可观测性问题，本文提出了一个结合了门控循环单元（GRUs）的CL-MAPPO网络架构。该架构遵循集中训练与分散执行（CTDE）范式，旨在通过时间记忆机制有效捕获扫频干扰的动态模式，同时利用近似策略优化（PPO）算法来确保策略更新的单调性和稳定性。
GRU增强的特征提取：为了有效建模POMDP中的干扰模式的时态动态（非马尔可夫属性），我们在Actor和Critic网络中都融入了GRU层。与仅依赖当前观察快照的传统MLP结构不同，GRU可以通过维护一个内部隐藏状态来编码历史观察序列，从而实现对时变干扰（如动态频率扫描）的连续跟踪和预测。对于Critic网络，也使用GRU层来捕获全局状态序列中的时间依赖性，使其能够更好地评估非平稳环境中的联合状态值函数。
Actor-Critic网络结构：如图1所示，对于每个代理i，Actor网络仅接收本地观察φ(t)。输入首先通过一个全连接（FC）层进行特征嵌入，然后由GRU层处理以更新隐藏状态，最后通过Softmax层输出一个动作概率分布π(t)。评论家网络仅在训练阶段被激活。它以全局状态（可能包括聚合的代理观察值和动作）作为输入，旨在准确估计联合状态价值函数，为演员策略更新提供稳定的基线并减少方差。图1展示了所提出的CL-MAPPO网络架构的示意图。PPO目标函数：为了在策略迭代过程中平衡探索和利用，我们采用了剪裁的替代目标函数。核心思想是限制新旧策略之间的比率，防止由于策略更新步长过大而导致性能崩溃。具体的损失函数定义为：(6)，其中是使用广义优势估计（GAE）计算的优势函数，是剪裁超参数（通常设置为0.2），是策略熵项，系数鼓励探索以避免过早收敛到局部最优解。

部署可行性与CTDE考虑：所提出的框架遵循CTDE范式：训练涉及具有全局状态的集中式评论家，而部署仅使用去中心化的演员。该演员由一个单层GRU（隐藏大小为64）组成，参数少于30k（约120KB）。一次前向传递大约需要0.016 MFLOPs的计算量，相当于在诸如NVIDIA Jetson Orin NX这样的代表性边缘AI平台上的10-50秒的推理延迟。这比典型的10毫秒时隙持续时间低两个数量级，确保了实时可行性。一个合理的担忧是由于评论家拥有特权训练信息而产生的仿真到现实之间的差距。然而，部署的演员严格依赖于本地观察，第4.5节中观察到的稳健的零样本扩展表明，学到的策略捕获了可泛化的本地反应模式，而不是过拟合于离线训练期间遇到的特定全局拓扑结构。完全去中心化的训练仍然是未来工作的一个有前景的方向，以进一步缩小这一差距。

3.3. 基于课程学习的训练机制
为了克服目标对抗场景中固有的探索效率低下和奖励稀疏问题，我们采用了基于课程学习的策略。如图2所示，复杂的抗干扰通信任务被分解为三个逐渐增加难度的子任务序列。每个课程阶段由一组特定的环境参数和奖励函数权重向量定义。只有当策略的平均性能指标满足预定义的阈值时，训练过程才会进入下一阶段。图2. 基于课程学习的三阶段渐进式训练框架的示意图。

3.3.1. 第一阶段：基本碰撞避免课程
这一阶段通过构建一个良性初始环境来指导代理掌握基本的载波感应多址（CSMA）机制。该环境配置没有外部干扰器（），通信负载较低，意味着无人机的数量少于可用信道的数量。在这种设置下，代理的主要任务是学习识别信道的忙碌/空闲状态以避免内部碰撞。因此，奖励函数被设计为强调对碰撞的惩罚（即增加的权重），同时暂时忽略抗干扰奖励项，以降低探索空间的复杂性。当最近100次训练集的环境平均碰撞率稳定在预设阈值（例如5%）以下时，触发升级，表明代理已经初步掌握了基本的协作能力。

3.3.2. 第二阶段：高负载平衡课程
这一阶段通过显著增加通信负载（使）来提高环境复杂性，同时保持没有外部干扰的情况。根据鸽巢原理，信道碰撞变得不可避免；因此，优化目标从仅仅避免碰撞转变为最大化总网络吞吐量。代理被迫学习更高级的频域复用策略和主动退避机制，在激烈的资源竞争中寻求最佳平衡。训练在这一阶段继续进行，直到整个网络的标准化吞吐量达到并稳定在其理论上限的倍（例如），这被认为是进步的条件。

3.3.3. 第三阶段：对抗性动态抗干扰课程
最后阶段旨在模拟最接近真实战场的复杂电磁环境。在前一阶段的高负载基础上，环境引入了M个高功率的动态扫频干扰器。此时，完整的奖励函数被激活，优化目标进一步细化为在最小化外部干扰影响的同时最大化吞吐量。在这种高度对抗性的环境中，代理必须充分利用GRU模块的时间记忆能力，通过分析ACK反馈历史来预测干扰器的扫描模式，并执行主动频率跳变策略，以确保通信链路的稳健性。

3.4. 算法训练过程
基于上述网络架构和课程学习机制，CL-MAPPO的完整训练过程在算法1中进行了概述。训练过程分为三个渐进阶段，每个阶段k对应于一组特定的环境参数和升级阈值。在每次训练迭代中，系统首先根据当前课程阶段初始化环境配置。在经验采样阶段，每个无人机代理根据其本地观察和之前的GRU隐藏状态，使用演员网络分布式执行一个动作。生成的轨迹元组存储在共享的经验回放缓冲区中。在参数优化阶段，遵循CTDE范式进行更新。集中式评论家网络使用全局状态来计算价值函数，并采用广义优势估计（GAE）算法来计算优势函数。随后，通过最大化PPO剪裁目标函数和最小化价值预测的均方误差来分别更新演员和评论家网络。最后，在课程评估阶段，系统定期评估当前策略的性能指标（例如平均碰撞率或标准化吞吐量）。一旦指标满足当前阶段的升级条件，训练自动过渡到下一个阶段，从而逐步逼近复杂抗干扰环境中的最优策略。

算法1 基于课程学习的CL-MAPPO训练算法
1: 输入：课程阶段、超参数。
2: 输出：用于去中心化执行的训练有素的演员网络参数。
3: 初始化：网络、回放缓冲区、隐藏状态、阶段。
4: 当课程阶段为时
5:
配置：为阶段k设置环境设置。
6: 对于到之间的剧集
7:
重置环境，观察初始联合观察值。
8: 对于到之间的步骤
9:
更新联合隐藏状态：
10: 采样联合动作：
11: 执行，接收奖励和下一个观察值。
12: 将转换存储在。
13: 对于结束
14: 如果缓冲区已满，则
15: 计算广义优势估计（GAE）。
16: 对于到进行
17: 通过最小化损失来更新评论家。
18: 通过最大化目标来更新演员。
19: 对于结束
20: 清空缓冲区。
21: 如果结束
22: 如果性能满足阶段k的进步标准，则
23: ; 将参数传输到下一个阶段；退出。
24: 如果结束
25: 对于结束

通信开销和部署可行性
关于多智能体学习框架的一个合理担忧是由协调所产生的潜在通信开销，这可能会侵蚀带宽受限的无人机网络中的吞吐量增益。我们强调，所提出的CL-MAPPO框架严格遵循集中训练与去中心化执行（CTDE）范式，这种范式本质上将学习的通信需求与操作需求分离开来。

在线执行阶段（部署）：在完成离线训练后，只有轻量级的演员网络被部署到每个无人机的机载计算机上。如3.2.1节所述，演员的输入仅由本地获取的信息组成：
- 来自无人机自身RF前端的最直接能量测量值。
- 来自无人机自身之前传输尝试的ACK/NACK结果记录。
- 无人机自身的本地传输缓冲区占用情况。
关键的是，这些组件都不需要任何无人机之间的协调消息、意图广播或通过无线介质交换信道状态信息。策略以纯粹的去中心化、反应式方式选择信道访问动作，基于环境感知和本地传输结果。因此，CL-MAPPO算法在任务执行过程中引入的额外通信开销严格为零。

演员使用的唯一反馈机制是标准的MAC层确认（ACK）帧。这个ACK是任何可靠链路层的固有且不可避免的组成部分，包括我们比较的基线CSMA/CA方案。其空中时间消耗已经在所有评估算法的吞吐量计算中考虑在内；因此，它不构成归因于CL-MAPPO的额外带宽负担。

为了说明这一点，一个标准的IEEE 802.11 ACK [55]帧占用14字节。假设1 MHz的信道带宽，其传输持续时间大约为112毫秒，与我们模拟中假设的ms时隙持续时间相比可以忽略不计。这证实了所需的反馈机制不会对频谱效率造成任何有意义的额外负担。

离线训练阶段：在训练期间，评论家网络需要全局状态，在模拟中包括完整的信道矩阵和干扰器参数。来自N个代理的聚合涉及每个时间槽的浮点值。假设评论家驻留在地面训练服务器上，从N个代理收集全局状态需要聚合信道矩阵。对于和的群体，这相当于每个向上行链路方向的服务器大约KB的数据量。假设一个适度的时隙持续时间为ms，所需的上传数据速率大约为每个无人机64 kbps——对于实验室训练设置中通常使用的有线以太网或专用遥测链路来说是一个微不足道的负载。假设一个适度的时隙持续时间为ms，全局状态收集的原始数据速率大约为每个无人机64 kbps——对于实验室训练设置或硬件在环模拟器中通常使用的有线以太网或专用遥测链路来说是一个微不足道的负载。最重要的是，这种数据交换完全限于离线训练阶段，从未在实时的蜂群操作期间通过竞争性无线通道发生。

这种严格的分离确保了CL-MAPPO学到的复杂协作行为被提炼成一个零开销、适合实时执行的反应式策略，适用于资源受限的无人机平台。因此，第4节报告的性能增益是在不牺牲任何操作带宽给协调信号的情况下实现的。

4. 仿真结果
在本节中，我们进行了广泛的仿真实验来评估所提出的CL-MAPPO算法在复杂电磁环境中解决多无人机动态频谱访问问题的性能。与几个代表性的基线算法进行了全面比较。此外，还进行了消融研究来分析不同训练策略下的模型收敛情况，验证了课程学习机制和时间记忆模块的有效性。此外，还在更大规模的无人机群体实例上测试了算法，以验证其在扩展场景中的泛化能力。

4.1. 实验设置
所有实验都在配备了Intel Core i9-13900K CPU、64 GB DDR5 RAM和NVIDIA GeForce RTX 4090 GPU（24 GB GDDR6X）的台式工作站上进行。软件环境包括Python 3.10、PyTorch 2.7.0（支持CUDA 12.8）和用于环境接口的Gymnasium 1.0.0。这种配置使得最多50个无人机代理的并行仿真和实时GRU推理成为可能。完整的仿真设置，包括详细的物理层信道条件、无线环境参数、无人机部署规格和训练超参数，在表1中进行了全面总结。表1. 详细的仿真环境和算法设置。在这项工作中，网络密度根据无人机与可用信道的比例以及空间分离进行分类。具体来说，我们将稀疏场景定义为，其中无人机的数量少于或等于正交信道的数量，允许潜在的无碰撞调度。密集场景（）反映中等的拥塞情况，其中碰撞频繁但可以通过智能退避来管理。超密集场景（）将系统推向在m3的受限空域内的极端竞争，即使是最优化的CSMA/CA也会因隐藏终端问题而失败。在所有密度级别中，空域尺寸保持不变，以隔离节点数量对性能的影响。为了通信性能评估的目的，每个无人机被建模为3D空间中的一个点，没有物理体积；碰撞仅指信道访问域中的数据包碰撞，而不是物理机身的接触。

遵循[14]中的约定，我们基于Python平台和PyTorch框架构建了一个三维多无人机ad hoc网络仿真环境。为了全面评估算法在不同网络密度下的可扩展性和泛化能力，我们考虑了N()架同类型无人机在三维空域中随机分布并执行动态飞行任务的场景。具体来说，我们将这些场景分为三个等级：稀疏型、密集型和超密集型。这种分级设置使我们能够系统地验证算法随着网络规模扩大的鲁棒性。物理层通信基于正交频分复用（OFDM）机制，频谱被划分为K个正交子频道。信道模型包含了对数距离路径损耗（路径损耗指数）和Rician衰落，其中K因子反映了无人机空中对空链路中的主要视距（LoS）成分。此外，为了模拟高度对抗性的环境，部署了M个高功率智能干扰器，它们执行动态线性扫描和随机跳频策略以增强环境的非平稳性。

对于CL-MAPPO的输入配置，我们对原始观测空间进行了标准化预处理。具体来说，接收信号强度和干扰功率（范围从dBm到0 dBm）通过最小-最大缩放映射到某个区间，以减轻梯度消失或爆炸问题。为了利用GRU的时间记忆能力，每个智能体的行动决策和过去时间槽的ACK反馈状态被堆叠成一个特征向量，帮助智能体在POMDP环境中推断干扰模式。关于超参数，Actor网络和Critic网络每个都有2个隐藏层，每层包含64个神经元。该模型使用Adam优化器进行训练，初始学习率为某个值，衰减率为另一个值。为了适应不同的场景规模，批量大小设置为128（对于稀疏和密集场景），以及256（对于超密集场景），这是由于GPU内存的限制。课程学习分为三个阶段，总共包含100万个训练时间步长。基本碰撞避免、负载均衡和抗干扰阶段的训练步长比例设置为2:3:5，以确保在复杂环境中足够的策略收敛。

抗干扰成功率定义为在选定的频道受到干扰时传输成功的概率，即尽管存在干扰，数据包仍能成功传递的比例。

在介绍与基线算法的比较评估（第4.3节）之前，我们首先分析了CL-MAPPO在不同网络密度下的训练动态和收敛行为。图3展示了CL-MAPPO与未使用课程学习的基线算法在平均片段奖励方面的收敛曲线对比。从图中可以清楚地看到，随着网络规模的扩大，状态空间的指数增长导致基线算法在超密集场景中持续停留在低奖励区域，无法实现有效的收敛。相比之下，CL-MAPPO在所有场景中都表现出显著的鲁棒性。其训练曲线展示了与课程设计高度一致的三步提升：在最初的步骤中，智能体快速学习了基本碰撞避免课程中的载波感知机制，从而迅速增加奖励；随后，在负载均衡课程中，曲线经历了一个短暂的平台期后再次上升，表明智能体正在学习频域复用策略来应对拥塞；最后，在具有强干扰的第三阶段，得益于GRU的时间记忆能力，算法成功克服了由环境非平稳性引起的波动，并收敛到一个稳定状态。定量分析表明，与端到端训练相比，CL-MAPPO不仅将收敛速度提高了大约40%，而且在复杂场景中实现了约15%的最终平均奖励提升，这强烈证明了分阶段训练策略在克服高维协作任务中的稀疏奖励挑战方面的有效性。

为了补充奖励收敛分析，图4展示了整个训练过程中信道碰撞率和归一化网络吞吐量的演变情况。可以观察到，在初始碰撞避免阶段，随着智能体学会感知频道占用情况，碰撞率急剧下降，而吞吐量开始稳步上升。在负载均衡阶段，由于节点密度的增加，碰撞率暂时趋于平稳，但随着智能体完善他们的频域复用和退避策略，吞吐量继续上升。最后，在对抗性抗干扰阶段，这两个指标都稳定在接近最优水平，证实了课程学习框架有效地引导策略实现了稳健和高效的频谱访问。

图5展示了三种典型场景（稀疏（N = 20）、密集（N = 40）和超密集（N = 50）下无人机网络拓扑和信道分配的全面快照矩阵，对比了CL-MAPPO与MADDPG和CSMA/CA。CL-MAPPO形成了有序的拓扑结构，即使在强干扰下也能主动避开干扰器并高效地复用频道。相比之下，MADDPG难以应对干扰器的动态变化，导致频道分配重叠。CSMA/CA由于缺乏时间记忆模块而出现严重的隐藏终端碰撞和混乱的簇状分布。观察整个比较可以发现CL-MAPPO在所有密度梯度下始终使智能体形成高度有序的蜂窝状空间分布。即使在N = 50的极端拥堵情况下，学习到的协作策略也能有效解决冲突并精确避开高功率动态干扰区。

为了进一步评估不同干扰器数量对CL-MAPPO性能的影响，我们改变了扫描干扰器的数量M从1到5，同时保持所有其他参数不变。图6报告了CL-MAPPO和最强基线MADDPG的归一化吞吐量和抗干扰成功率。随着M的增加，两种算法的性能都会下降，因为可用干净频谱减少；然而，CL-MAPPO表现出明显更好的韧性。当M从1增加到5时，CL-MAPPO的归一化吞吐量仅下降了18%（从0.91降至0.75），而MADDPG则下降了41%（从0.78降至0.46）。更重要的是，CL-MAPPO的抗干扰成功率即使在五个并发干扰器的情况下仍保持在85%以上，而MADDPG则降至51%。这种韧性源于GRU模块能够跟踪多个不协调的扫描模式以及课程训练策略的主动频道退出行为。

我们还将提出的CL-MAPPO方法与传统的非学习协议、启发式策略和主流的深度强化学习（DRL）基线进行了比较。所比较的算法简要描述如下：
- CSMA/CA：一种基于IEEE 802.11机制的标准MAC协议，采用二进制指数退避（BEB）。它作为没有学习能力的性能下限[56]。
- Random Hopping：一种启发式抗干扰策略，在检测到干扰或传输失败时随机选择下一个可用频道。它用于评估智能主动避让的水平[57]。
- MADDPG：一种基于Actor-Critic框架的主流多智能体DRL基准算法，但缺乏本文设计的特定时间记忆模块（GRU）和课程学习机制[29]。
- MAPPO（无课程学习）：在最终高干扰场景中端到端训练的标准MAPPO算法，没有逐步的课程学习机制[14]。

为了确保公平性，所有算法都在相同的环境配置下进行了500次独立的蒙特卡洛测试。我们选择了归一化网络吞吐量和信道碰撞率作为核心评估指标。

表2展示了在强干扰环境下的吞吐量性能比较。结果表明，CL-MAPPO实现了归一化吞吐量的显著提升。具体来说，与主流的MARL基线（MADDPG）相比，我们的方法提高了xx%，而与传统的CSMA/CA协议相比，性能提升了yy%，这主要归功于CTDE架构中Critic网络提供的全局状态指导，它在智能体之间建立了“隐性的合作协议”，使它们能够根据全局干扰分布主动错开传输，从而消除了由于局部感知有限而产生的资源冲突。

关于表3中呈现的碰撞率和抗干扰成功率，也可以观察到类似的优越性模式。CL-MAPPO将碰撞率保持在极低的4.2%水平，远高于CSMA/CA的28.5%。更重要的是，在抗干扰成功率方面，CL-MAPPO达到了94.8%，远远超过了Random Hopping的45.6%。这种差异深刻反映了不同的算法机制：Random Hopping本质上是一种被动防御策略，无法利用环境特征。相比之下，依靠GRU时间推理模块，CL-MAPPO能够敏锐捕捉到来自历史ACK反馈序列的干扰器周期性扫描模式。

综合两个表格的结果，显然智能体不再仅仅对即时频道能量做出反应，而是能够预测下一个干扰位置并主动切换到安全频道。尽管MADDPG具有协作能力，但由于缺乏为非平稳环境设计的时间记忆结构，在面对动态变化的干扰模式时其性能明显不如提出的方案。因此，CL-MAPPO在频谱效率（高吞吐量）和链路可靠性（低碰撞率、高抗干扰率）两方面都取得了双重突破，证明了其作为大规模无人机临时网络接入协议的重要潜力。

为了进一步评估CL-MAPPO在不断加剧的对抗性压力下的鲁棒性，我们改变了扫描干扰器的数量M，从1增加到5，同时保持所有其他参数不变。图6报告了CL-MAPPO和最强基线MADDPG的归一化吞吐量和抗干扰成功率。随着M的增加，两种算法的性能都会下降，因为可用干净频谱减少；然而，CL-MAPPO表现出明显的更强韧性。当M从1增加到5时，CL-MAPPO的归一化吞吐量仅下降了18%（从0.91降至0.75），而MADDPG则下降了41%（从0.78降至0.46）。更重要的是，即使在使用五个并发干扰器的情况下，CL-MAPPO的抗干扰成功率仍保持在85%以上，而MADDPG则降至51%。这种韧性源于GRU模块跟踪多个非协调扫描模式的能力以及课程训练策略的主动频道退出行为。我们将完整模型的性能与三种变体模型进行了比较，这些变体模型的定义如下：
- 无课程学习：移除课程学习机制，直接在最终的高干扰场景中进行端到端训练。
- 无GRU：从Actor和Critic网络中移除门控循环单元（GRU），仅使用全连接层来处理当前观测值（即退化为马尔可夫决策过程）。
- 无CTDE：移除中央化的Critic，退化为完全去中心化的PPO算法。

如图7所示，完整的CL-MAPPO架构在早期训练阶段表现出更强的收敛稳定性（例如，“CL-MAPPO”与“无课程学习”之间的比较）。移除课程学习机制会导致训练曲线出现显著波动，并使收敛时间延迟约15%。这表明，尽管端到端训练最终可以通过探索实现一些策略改进，但在没有从简单到困难的任务指导下，代理处理高维动作空间的探索效率大大降低。此外，对具体性能指标的分析揭示了不同模块的不同贡献。如图所示，与完整模型相比，无GRU变体的抗干扰成功率显著下降（具体降低了18.4%）。这种现象表明，仅依赖当前局部观测值不足以应对非马尔可夫环境；相反，引入时间记忆模块可以有效编码历史特征，从而显著提高预测动态干扰的能力。同样，无CTDE变体的信道冲突率也更高，这证实了在没有全局状态信息辅助的去中心化训练中，难以有效解决隐藏终端问题。因此，我们采用了整合了上述所有组件的CL-MAPPO架构，以平衡训练效率、抗干扰鲁棒性和多代理协作性能。

图7. CL-MAPPO架构关键模块的消融实验性能比较。条形图组展示了完整CL-MAPPO模型及其三种变体（无课程学习、无GRU、无CTDE）的标准化吞吐量、信道冲突率和抗干扰成功率。

4.5. 扩展到更大规模
为了验证我们提出的CL-MAPPO的泛化能力和可扩展性，我们直接将在某个场景下训练的模型应用于更大规模的实例。采用这种策略是因为从零开始训练大规模 swarm 通常在计算上非常耗时且难以处理，因此模型的零样本泛化能力尤为重要。值得注意的是，该模型在某个场景下训练后可以直接部署到更大规模的应用中，无需任何微调或适应，即实现零样本泛化。更大规模的环境配置（例如，干扰器的数量、信道模型）与训练设置相同，只是无人机（UAV）的数量增加了。这测试了算法在无需额外训练的情况下处理增加的内部冲突的能力。

测试结果如图8所示，横轴代表无人机群体的规模，纵轴代表平均数据包传输率（PDR）。从图中可以看出，随着网络规模的扩大，所有算法的性能都会下降。这种性能下降是由于信道竞争加剧和干扰环境复杂性增加所致。然而，与基线算法相比，CL-MAPPO的性能下降最为平缓。具体来说，在高密度场景下，CL-MAPPO的PDR仍然保持在65%以上，而CSMA/CA和随机跳转（Random Hopping）的性能已经由于指数级的冲突而降至20%以下。这表明，即使在比训练规模大三倍的场景中，我们的模型仍然能够保持稳定的通信链接。

图8. 不同网络规模下的平均数据包传输率（PDR）比较。横轴表示无人机群体中的无人机数量N，纵轴显示了独立测试剧集中的平均PDR。为了进一步研究可扩展性，表4量化了与基线相比的性能保持率。与MADDPG和CSMA/CA相比，CL-MAPPO在保持率方面表现出显著优越性。例如，当规模翻倍（从20架增加到40架）时，CL-MAPPO的吞吐量仅损失了12%（即保持率为88%），明显优于基线算法。这种强大的泛化能力主要归功于我们框架中采用的CTDE范式。虽然Critic网络在训练期间依赖于全局状态，但Actor网络仅根据局部观测值做出决策。因此，代理学习了通用访问策略（例如，根据局部干扰水平和历史反馈评估信道可用性），而不是过度拟合特定的全局拓扑结构。因此，在所有测试的大规模场景中，CL-MAPPO始终表现出最佳的整体性能，显示了其在去中心化大规模无人机群体中的部署潜力。

表4. 不同无人机数量下的连接保持率比较。

5. 结论
鉴于在密集无人机群体中内部信道竞争和外部扫频干扰这两个问题缺乏统一的解决方案，本文在部分可观察到的、非静态的POMDP框架下解决了动态频谱访问问题。我们提出了一种基于课程学习的MAPPO（CL-MAPPO）算法，采用了CTDE范式。三阶段的逐步课程学习——碰撞避免、负载平衡和对抗性抗干扰——成功分离了复杂任务，而集成的GRU模块有效地捕捉了时间干扰模式。仿真结果显示，CL-MAPPO的标准化吞吐量比MADDPG高出23.9%，并且在扫频干扰环境中保持了94.8%的抗干扰成功率。此外，零样本泛化测试证实了该模型可以扩展到更大的群体规模，且在部署过程中不会产生任何无人机之间的协调开销。未来的工作将扩展该框架以处理不完美的反馈信道，结合博弈论模型进行红蓝对抗研究，探索跨层优化与任务级规划，并研究完全去中心化的训练范式，以进一步缩小CTDE从仿真到现实的差距。