在策略不完全的情况下，多无人机对抗决策制定：一种分布式鲁棒优化方法

《Defence Technology》：Multi-UAV adversarial decision-making under incomplete strategies: A distributionally robust optimization approach

　　孙磊|王宇辉|陈茂|周同乐
南京航空航天大学自动化工程学院，南京，211106，中国

**摘要**
本文探讨了在对手策略信息不完全的多无人机系统中的对抗性决策这一关键挑战。虽然现有方法大多假设能够完全了解对手的行为，但现实世界应用中往往存在显著的不确定性，使得这种假设不切实际。为了弥合这一差距，我们提出了一个针对多无人机对抗性决策的分布式鲁棒优化（DRO）框架，该框架利用Wasserstein距离明确考虑了策略不确定性。我们的方法结合了一种新颖的对抗性博弈情境评估模型，该模型融入了角度关系，与传统方法相比显著提高了情境感知的准确性。该模型使用人工势场（APF）方法构建了一个博弈论决策框架，其中平衡状态下合力为零的特性确保了在动态环境中的稳定性和快速收敛性。为了解决策略不完全带来的不确定性，我们利用DRO框架，在分布式鲁棒性背景下针对最坏情况优化博弈决策。最终问题被重新表述为一个凸优化问题，可以通过高效的数值方法计算纳什均衡。在各种对抗性场景下进行的广泛模拟验证了所提出方法能够提供比传统方法更优越的鲁棒决策策略，即使在面对策略不确定性时也能确保红方的优势。这项工作为多无人机对抗性决策提供了一种新的方法论，扩展了博弈论模型在不确定和动态环境中的适用性。

**1. 引言**
无人机（UAV）代表了自动化技术的最前沿，它们在对抗性任务中的作用变得越来越不可或缺[1]。尽管多无人机系统具有超越单个无人机能力的潜力，但它们也为战场带来了额外的复杂性[2]。这种复杂性可能导致系统操作者缺乏精确的情境情报。因此，通过协调的多无人机操作实现自主决策对于未来对抗性场景至关重要。
为了应对竞争环境的复杂挑战，必须赋予无人机先进的决策能力。这些能力将使无人机能够在多无人机对抗性场景中做出有影响力的决策，巧妙地抓住动态和不确定环境中的机会[3]。已经探索了通过先进决策方法增强无人机智能的努力，例如专家经验[4]、混合整数线性规划[5]和粒子群优化[6]。这些研究共同证明了在对抗性背景下自主决策的可行性。然而，必须认识到这些研究的固有局限性，特别是缺乏对对手策略的全面预测分析和评估。
近年来，博弈决策引起了研究界的极大兴趣，并已在经济学[7]和交通运输[8]等多个领域得到深入探索。实际上，博弈决策比传统方法更符合无人机对抗的内在动态。它已被有效用于解决自主决策中的特定挑战，例如应用微分博弈分析追逃场景，这是机器人技术和自主系统中的一个基本问题[9]。尽管取得了这些进展，但博弈论在多无人机对抗性决策中的应用还不够全面[10]。例如，在参考文献[11]中引入了一个具有模糊收益的零和博弈模型，以确定威胁指标的权重系数并建立威胁矩阵的区间参数。另一项研究[12]将不确定区间理论整合到多无人机研究中，设计了一种改进的混沌粒子群优化算法来处理博弈模型。人工势场（APF）方法也用于解决博弈论中的纳什均衡[13]，在参考文献[14]中提出了一种基于博弈论和人工势场的规划器。入侵者会在代理APF轨迹空间中计算混合策略近似纳什均衡，以最大程度地接近目标区域同时躲避防御者的追击。
采用各种博弈方法，包括随机博弈[15]、微分博弈[16]和模糊博弈[17]，已经取得了许多有价值的结果。然而，在复杂和不确定的环境中，很难准确且及时地获取对手的所有信息。为了解决这个问题，在信息不完全的情况下，已经对非合作博弈[18]和追逃博弈[19]进行了深入研究。此外，参考文献[20]提出了一种基于微分不完全信息的博弈论，可以从单边最优成本函数中提取博弈策略。然而，现有关于不完全游戏中决策的研究主要集中在系统状态信息缺乏的问题上，而面对对手策略不完全时的决策研究相对较少[21]。这种稀缺性可以归因于涉及不完全策略的博弈问题建模和寻找有效解决方案的挑战。
此外，一个实际可部署的不完全策略博弈需要一种原则性的方法来实例化双方的有限纯策略集[22]。在多无人机对抗中，这些策略自然与目标分配和交战配对相关联。现有的分配方案通常是启发式的或纯粹的组合式的，可能会忽略物理可达性，并且容易扩大策略空间，从而削弱了可处理性和可解释性[23]。为了弥合情境评估和策略实例化之间的差距，本文开发了一种基于优势的阿波罗尼奥斯锥目标分配和策略生成机制，将基于情境的优势与阿波罗尼奥斯可达性相结合，产生物理上有意义的追逐者-目标对和一组紧凑的可行分配矩阵，用于后续的不完全策略博弈。
根据参考文献[24]中的分析，涉及不完全策略的博弈决策问题可以表述为具有不确定性的优化问题。分布式鲁棒优化（DRO）方法在解决不确定优化问题方面具有显著优势。因此，本文考虑使用它来解决对抗性场景中对手策略不完全的博弈决策问题。DRO结合了随机模型和鲁棒优化方法的优势，有效解决了存在不确定性的优化问题。与随机模型相比，它提供了更多可解且鲁棒的优化解决方案。
现有的DRO文献集中在几个关键领域，包括建模框架的开发[25]、时刻模糊集的制定[26]以及概率距离函数的使用。DRO的随机过程分布可以通过引入Prohorov度量[27]、Kullback-Leibler散度[28]和Wasserstein度量[29]来表征，这些度量适用于描述对抗性场景中不完全策略的随机性[30]。然而，由于对抗性交战的复杂性，现有的DRO方法不能直接应用于解决对抗性游戏中的决策问题。受此启发，本文提出了一种基于Wasserstein距离的分布式鲁棒优化算法。

**总结**
为了解决上述问题，本文提出了一种新的多无人机系统情境评估方法，重点关注无人机之间的角度关系。在此基础上，引入了一种基于优势的阿波罗尼奥斯锥目标分配机制，以构建物理上可达且计算上可行的纯策略集，这些策略集作为后续不完全策略博弈中的决策变量。然后通过基于APF的博弈转换对对抗性互动进行建模；吸引力和排斥力的平衡确保了稳定状态下的合力为零，从而促进了动态交战中的快速收敛。值得注意的是，不完全对手策略引起的不确定效应通过一个加性不确定项被捕获，且得到的博弈目标保留了第3节中Wasserstein-DRO重构所需的凸性结构。此外，从分布式鲁棒优化的角度引入了Wasserstein距离来衡量对抗性游戏中的不确定性。然后，应用对偶定理将DRO模型转换为可以直接解决的有限凸优化问题。这种转换使得能够为特征为不完全信息策略的决策场景推导出纳什均衡解。
本文的主要贡献如下：
● 在仅考虑高度和距离的传统情境评估模型的基础上，提出了一种包括角度关系的新情境评估模型，以更好地符合多无人机对抗性场景的实际情况。
● 开发了一种基于优势的阿波罗尼奥斯锥目标分配和策略生成机制，为不完全策略博弈生成物理上可达且计算上可行的纯策略集，提供了情境评估与博弈决策变量之间的原则性联系。
● 提出了一种基于势场方法的博弈论模型，并采用了基于Wasserstein距离的分布式鲁棒优化算法来处理由不完全对手策略引起的博弈模型的不确定参数。
● 为了解决分布式鲁棒优化算法的挑战，提出了一种将鲁棒优化模型简化为有限凸优化的方法，使得可以直接计算对抗性决策的纳什均衡解。

本文的结构如下。第2节介绍了所提出的交互评估方法，并介绍了基于优势的阿波罗尼奥斯锥目标分配和基于APF的不完全策略博弈模型。第3节讨论了使用Wasserstein距离的分布式鲁棒优化算法，并将博弈模型简化为有限凸程序。第4节在不同场景下进行的比较实验证明了所提方法的有效性。

**2. 问题陈述和初步分析**
考虑到图1所示的多无人机对抗场景，红方希望对蓝方进行目标分配和协同攻击，而蓝方也希望合作逃脱并对红方进行攻击。在本节中，首先介绍了对抗性博弈情境评估，然后基于此分析建立了一个对抗性博弈模型。

**下载：** 下载高分辨率图像（128KB）
**下载：** 下载全尺寸图像
图1. 红色无人机和蓝色无人机之间的情境指标的几何定义。

**2.1. 对抗性博弈情境评估**
对抗性博弈情境评估由包括角度优势、距离优势、高度优势和速度优势在内的综合优势函数确定。为了强调角度关系在情境评估中的重要性，本文引入了一个改进的角度函数。优势函数用于评估相对于的优势。表示和之间的相对距离为，高度差为，方位角为，攻击范围角为。假设和。情境评估考虑了攻击范围原则、方位角、速度和攻击范围角。和的位置如图1所示。
相对于的角度情境定义为：
(1)
其中，这里是和的方位角。
类似地，相对于的角度情境定义如下：
(2)
根据公式(1)和(2)，相对于的角度优势定义为：
(3)
此外，相对于的距离情境、高度情境和速度情境定义为：
(4)
(5)
(6)
其中是红方无人机的检测距离，是红方无人机的攻击距离。

**注释1**
在传统的情境优势评估方法中，攻击范围角和方位角被视为影响评估结果的主要因素。例如，参考文献[31]中提出的方法仅基于攻击范围角和方位角得出整个评估结果。显然，这与实际对抗性场景的动态不符，表明了传统方法的某些局限性。本文提出了一种具有改进角度敏感性的方法，用于多种评估。它超越了先前的限制，提供了更高的准确性和效率。该方法的鲁棒性在于它能够根据无人机角度和区分不同的场景，不受恒定高度和距离的影响，提供了对抗性场景动态的细致视图。
因此，相对于的距离优势、高度优势和速度优势分别为：
(7)
(8)
(9)
类似地，相对于的距离情境、高度情境和速度情境也可以以相同的方式获得，相应的优势项也有类似的定义。
根据情境评估，相对于的收益函数可以描述为：
(10)
其中，，，，是权重因子。
表示为：
(11)
然后我们将确定的收益部分表示为：
(12)
然后可以将其重写为：
(13)
其中是不确定收益函数，是确定收益函数。

**2.2. 阿波罗尼奥斯锥目标分配和策略生成**
公式(13)中的确定收益部分可以解释为从多因素情境评估中推断出的相对于的优势，而捕获了不确定效应。为了获得一个在物理上有意义且能够促进创新的目标分配方案，我们将这一优势与阿波罗尼奥斯锥体可达性得分相结合，然后为后续的不完全策略游戏生成一组有限的可行分配策略。在每个决策时刻，用表示和的位置，用表示它们的速度。定义速度比和阿波罗尼奥斯球（AS）参数（14）（15）。根据阿波罗尼奥斯锥体（AC）的概念，定义一个轴方向和一个由确定的锥体半角。我们使用一个连续的AC得分：（16），其中表示截断到[0,1]。我们进一步引入AS接近因子：（17）（18）。由此产生的几何权重定义为：（19）上述所有几何量都是根据在测量/估计的运动学数据计算得出的，在优化混合策略时被视为常数，从而保持了基于APF的游戏转换所需的可微分条件。我们通过以下方式定义考虑分配的红色收益：（20）该方式结合了优势和AC可达性，同时保持不确定参数的仿射性。因此，APF势能/力和游戏目标在保持凸性，这符合第3节中Wasserstein DRO重构的要求。用表示具有约束的一对一分配。利用确定的优势和AC几何形状，我们解决确定性分配问题（21），该问题可以通过匈牙利算法高效解决。为了构建不完全策略游戏所需的有限纯策略集，我们生成最优分配（例如，通过-最佳分配枚举），并用表示它们。每个在2.2小节中引出一个红色纯策略，相应的混合策略是。同样，可以提出蓝色的不确定收益函数，并建立不完全策略下的对抗场景。2.3. 不完全策略下的对抗游戏模型在这个小节中，双方的纯策略都被实例化为可行的目标分配决策。具体来说，红色纯策略集是通过2.2小节生成的，它将优势函数与阿波罗尼奥斯锥体几何形状结合起来，产生物理上可达的分配矩阵。由此产生的有限策略集使得不完全策略游戏变得易于处理，而不确定性仅通过进入，并在第3节通过Wasserstein DRO进行处理。建立红色的策略集为，其中，每个策略对应一个决策变量，表示攻击。同样，建立蓝色的策略集为，其中，每个策略对应决策，表示攻击的概率。围绕检测距离和攻击距离的不确定性导致了策略的不确定性，这使得应用传统的线性规划方法来解决纳什均衡变得困难。结合博弈论和APF，势场的吸引和排斥函数如下定义。吸引函数定义为：（22），其中是吸引势场的增益系数，然后势场的吸引力为：（23）。排斥函数定义为：（24），其中是排斥势场的增益系数，然后势场的排斥力为：（25）。然后，组合势场函数可以描述为：（26）。对抗场景游戏模型可以构建为势场的合力（27）。注意1 APF方法假设势场函数在上是连续且可微的。由于和是离散的，它们是不连续的，但不会破坏和相对于和的连续性。此外，和在上是连续的，因此和是可微的。纳什均衡的定义如下。定义1 如果策略是对于固定的实现，那么对于任何策略和任何策略，必须满足以下不等式：（28）（29）定理1 根据APF中力的特性，当的最大值为零时，即吸引力和排斥力的大小相等且方向相反时，达到纳什均衡。证明：根据定义1，对于任何策略和，我们有：（30）（31）由于，当和的大小相等且方向相反时，合力最大化。APF方法允许将寻找纳什均衡的问题转化为优化问题。根据定理1，对抗游戏模型可以构建为：（32）由于不确定项的存在，方程（32）不能直接解决，这将在下文中讨论。3. 基于分布鲁棒优化的不完全策略游戏尽管方程（32）代表了一个游戏问题，但不确定项的存在使得直接解决它变得不可行。因此，采用DRO来处理不确定的游戏问题（32）。在DRO方法中，Wasserstein距离主要用于测量离散分布和连续分布之间的距离。这里，Wasserstein距离用于表征由方程（32）中的不完全策略引起的真实不确定性和名义不确定性之间的距离。多无人机对抗场景分布鲁棒优化算法（APFDRO）的算法方案图如图2所示。下载：下载高分辨率图像（509KB）下载：下载全尺寸图像图2. 提出的APFDRO框架在对手策略不完全情况下的多无人机对抗决策制定的整体工作流程。3.1. 基于Wasserstein距离的DRO问题DRO方法的第一步是表征不确定参数的范围并确定不确定性集。不确定项由一个未知的真实概率分布决定，该分布可以用历史数据样本中的记忆名义分布来近似。然而，名义分布无法准确描述真实分布。因此，引入Wasserstein距离来表征两个分布之间的距离。引理1[32] Wasserstein距离定义在所有在上支持的概率分布的空间上，其中，是当不确定参数满足分布时的期望值，表示在上的勒贝格积分。因此，可以推断真实分布与名义分布之间的距离在一定范围内。引理2[33]（Kantorovich-Rubinstein）对于任何在上的分布，和的Wasserstein距离定义为：（33）其中是和的联合分布，分别是的估计值。根据引理2，我们定义的真实分布位于一个以为中心、半径为的Wasserstein球内：（34）其中是最大Wasserstein距离，是所有在上支持的概率分布的集合。注2是在以为中心的半径为的Wasserstein球。在对未知数据生成分布的共同轻尾假设下，不确定性集为最优解的收敛提供了有吸引力的性能保证[34]。如上所述，原始问题方程（32）可以重写为：（35）为了方便表示，在本节中我们省略了对决策变量的依赖。因此，检查一个通用的最坏情况期望问题：（36）3.2. DRO问题的解决方案根据鲁棒优化的定义，方程（32）中的内部最坏情况期望问题可以重构为一个有限的凸程序。因此，方程（36）需要进一步重构。根据引理2和对偶理论，DRO问题方程（36）可以重构为：（37）任何和的联合概率分布都可以从的边际分布和给定的条件分布构建，即，其中是在处集中单位质量的狄拉克分布。根据总概率定律，方程（37）可以重写为：（38）使用标准的对偶论证，我们得到：（39）交换“sup”和“inf”运算符（40）由于包含所有在上支持的狄拉克分布，我们得到：（41）假设2[32]（凸性）。不确定性集是凸的且封闭的，负组成函数对于所有都是适当的、凸的且下半连续的。此外，对于所有，不是在上的恒等。引入辅助变量，其中，方程（41）可以重构为：（42）基于对偶范数的定义和的可分解性，它产生：（43）其中表示的对偶范数，是由对偶定理引入的参数，是和的内积。将最大化与负号交换（从而将最大化转换为最小化），我们得到：（44）然后得到的上界可以表示为：（45）根据共轭的定义，（46）扩展算术的约定，扩展到，将替换为，我们得到：（47）其中表示共轭运算符，如果，则通过定义，如果则表示的特征函数。方程（47）的拉格朗日对偶由下式给出：（48）其中和是由拉格朗日对偶引入的参数。注3 假设1进一步意味着函数是适当的、凸的且下半连续的，并且它作为方程（48）中的一个约束出现，其中右侧涉及一个自由决策变量。通过明确地对和进行最小化，可以证明上述对偶问题（48）等价于：（49）使用对偶范数的定义，方程（49）可以重新表示为：（50）消除后，由于向量内积和共轭运算符的存在，方程（51）仍然不能直接解决以获得不确定游戏问题方程（32）的纳什均衡解。需要定理2来直接获得纳什均衡解。定理2定义对于某个适当的、凸的且下半连续的函数和参考点，我们用表示非负数，用表示扩展实数。那么，与映射的透视函数一致，即（52）证明：通过构造，我们有。为了便于理解，设，和，我们得到：（53）根据方程（46），，然后：（54）由于对于任何适当的、凸的且下半连续的函数，因此结论成立。使用定理2，我们可以将方程（51）重构为：（55）实际上，对于，问题方程（55）目标函数中的pq-th项根据扩展算术的约定简化为：（56）另一方面，对于，方程（55）中的ij-th目标项简化为。此外，当无论如何，方程（56）中的第一项消失，如果（因为和），并且如果（因为和），则方程（56）中的第二项评估为0。因此，当时，方程（56）也简化为。这证明了方程（55）中的pq-th目标项与方程（56）一致。将方程（55）代入方程（51）并用显式硬约束重新表示，我们得到：（57）不管如何。让是一系列目标值收敛到方程（57）上确界的可行决策。然后根据方程（35）和方程（36），可以直接使用YALMIP工具箱解决方程（51），得到红色的纳什均衡策略集。总之，我们研究了在不完全策略下的基于APF的对抗场景游戏模型。给出了一个基于分布鲁棒优化的算法来解决游戏问题，同时获得了多无人机在对抗场景下的游戏决策。该算法的伪代码如下：算法1基于分布鲁棒优化的多无人机对抗游戏决策算法。输入：红色方的数量、蓝色方的数量、所有无人机的初始状态以及最大时间槽。输出：红色的策略集。1. 初始化。2. 当满足条件时执行3. 4. 计算的角度情况、距离情况、高度情况和速度情况。5. 根据预定义的权重规则配置进行分配。6. 构建基于APF方法的不完全策略下的对抗场景游戏模型。7. 引入Wasserstein距离来解决游戏模型中的不确定性问题。8. 使用对偶定理和定理2等，将DRO问题转换为有限的凸程序。9. 使用YALMIP工具箱直接计算游戏模型的纳什均衡策略。10. 结束当4. 数值模拟在本节中，通过三个方面验证了基于分布鲁棒优化的多无人机对抗游戏决策算法的有效性：参数敏感性和可重复性、在不完全对手策略下的比较决策质量以及在线计算效率。除非另有说明，所有空间坐标均以米为单位表示，所有速度均以米每秒为单位表示。红色方攻击距离设置为10公里，检测距离设置为25公里。这些值的选择是为了代表一种中距离的多无人机交战，在这种交战中，目标分配、轨迹调整和基于博弈论的重新规划在同一决策范围内保持活跃。在方程（10）的情况评估模型中，权重系数分别设置为、、、和，其中。这种选择稍微更重视高度和速度因素，因为这两个因素在交战前和交战接近阶段都具有重要信息价值，而角度和距离项则更依赖于几何形状。为了减少对单一手动调整配置的依赖，在这个标称设置周围进行了额外的扰动测试，比较方法的相对排名保持不变。为了提供更全面的比较，提出的APFDRO框架与四个基线进行了评估：一个传统的零和博弈方法、一个具有固定不确定性界限的鲁棒博弈基线、一个对对手策略有名义先验的贝叶斯博弈基线，以及一个以PPO风格实现的代表性基于学习的策略基线。零和方法作为传统的对抗性基准，鲁棒和贝叶斯基线用于隔离不同的不确定性建模假设，而基于PPO的策略包括在内，以反映主流的智能决策范式。报告的性能指标包括平均红色方情况价值、在不同蓝色方能力水平下的最终决策质量、每次重新规划步骤的在线决策时间，以及重复蒙特卡洛试验中的运行时间变异性。为了公平起见，在在线运行时间比较中只包括了基于PPO的基线的部署时间在线推理成本，而其离线训练负担在文中单独讨论，而不是一起绘制，以便不会视觉上压缩基于优化方法的比例。

4.2. 情况评估的比较模拟
为了量化所提出的情况评估模型的实际效益，我们构建了红色无人机和蓝色无人机之间的代表性两无人机交战，并使用（i）所提出的评估方法和（ii）参考文献[31]中常用的传统基线来评估随时间变化的情况得分。图3显示了结果轨迹和相应的情况评估。空间轴以米为单位表示，其中、、。

下载：下载高分辨率图像（381KB）
下载：下载全尺寸图像
图3. 两无人机交战示意图：（a）无人机轨迹（和的三维交战轨迹）；（b）的情况得分随时间演变。

如图3(b)所示，所提出的评估方法对交战过程中的几何变化反应更为灵敏，从而比基线提供了更详细的情况得分演变。为了揭示背后的原因，我们将评估分解为其关键组成部分——角度情况、距离情况和高度情况——并将每个组成部分与基线进行比较，如图4所示。

下载：下载高分辨率图像（485KB）
下载：下载全尺寸图像
图4. 对比的情况组成指标：（a）角度情况指数；（b）距离情况指数；（c）高度情况指数。
首先，图4(a)表明，所提出的公式对远距离的角度变化非常敏感，这有助于在近距离接近之前区分不同的交战几何形状。当和变得接近且的攻击几何形状不利时，所提出的角度项表现得更为保守，避免了由小扰动引起的过度乐观波动。其次，图4(b)显示，传统的距离项主要在进入的攻击范围时才反应，然后趋于饱和，而未能考虑的攻击距离。相比之下，所提出的距离项在进入的攻击范围时也会对情况进行惩罚，从而反映了相互杀伤性，而不仅仅是一方的距离优势。第三，图4(c)表明，当高于时，基线的高度项可能会降至最低，而在缺乏可行的反击角度的情况下，所提出的高度项仍然具有区分能力。总体而言，这些组件级别的行为解释了图3(b)中整体情况演变质量的提高。

注2：改进方法中的速度情况评估与传统方法相同，因此没有进行比较。

图5进一步报告了通过比较改进方法及其AC增强变体在构建基于顶部分配的纯策略集时的分配策略生成消融研究。如图5(a)所示，引入AC项显著提高了生成策略的可行性：平均可行的配对比率从0.275上升到0.739。这表明候选分配主要由运动学上可达的追逐者-目标配对主导，从而防止了不可行的分配膨胀有限的策略集，并增强了不完整策略游戏的物理可解释性。同时，图5(b)显示策略生成时间几乎没有变化，这意味着在计算开销可以忽略不计的情况下实现了可行性的提高，这对于在线重新规划是有利的。

最后，速度情况的计算方式与传统方法相同；因此，省略了单独的比较。总体而言，所提出的评估方法提供了对交战演变的更真实和更具区分性的描述，并支持构建物理上有意义且计算上可行的策略集。

4.3. APF的比较模拟
为了验证APF能否有效减少DRO的计算时间，分别进行了基于APFDRO和实时DRO的对抗性博弈决策制定的模拟实验，结果如图6所示。

然后进行了50次模拟实验。基于APFDRO的50次模拟实验的平均时间为36.0260秒，基于DRO的50次模拟实验的平均时间为48.0029秒。从图6可以看出，APF的应用显著减少了DRO问题的计算时间，从而证明了APF算法在构建博弈模型方面的有效性。

4.4. DRO的比较模拟
假设和。基于相关文献和我们之前的工作积累，我们进行了模拟。
情景1：红色方的初始速度为x轴正方向的190米/秒，蓝色方的初始速度为x轴正方向的180米/秒。根据对抗性情景的情况评估，计算每架红色方无人机的目标解决方案。红色方无人机根据目标位置执行简单机动，其中更容易攻击蓝色方无人机。对抗性博弈模拟时间为100秒。所有无人机的轨迹显示在图7(a)中，空间轴以米为单位表示，其中、、，红色方的情况评估显示在图7(b)中，红色方与蓝色方的平均情况评估差异显示在图8中。

根据图7和图8，在情景1开始时，由于双方之间的距离较长，红色方的相对优势较低。随着对抗性情景的进展，红色方无人机加速追逐蓝色方无人机并根据目标位置提高高度。100秒后，所有红色方无人机都可以处于有利位置，确保红色方能够赢得最终的对抗性情景。

为了验证APFDRO算法在不完整策略下的有效性，本文应用APFDRO和零和博弈方法来模拟蓝色方无人机性能变化的情景，其中红色方无人机的平均情况如图9所示。

图9(a)表明，当蓝色方无人机的性能较差时，APFDRO算法采取了更为保守的方法，导致红色方无人机的最终情况略不如零和博弈算法[21]有利。相反，从图9(b)可以看出，当蓝色方无人机的性能较好时，APFDRO算法有效地管理了战略不确定性，使得空中战斗能够更快获胜。

模拟了另一个对抗性情景，即情景2，其中双方无人机位于相同位置并朝相反方向飞行。红色方的初始速度为x轴正方向的190米/秒，蓝色方的初始速度为x轴正方向的-180米/秒。所有无人机的轨迹显示在图10(a)中，空间轴以米为单位表示，其中、、，红色方的情况评估显示在图10(b)中，红色方与蓝色方的总体情况差异显示在图11中，当蓝色方无人机的性能变化时红色方无人机的平均情况显示在图12中。

根据图10到图12，当双方无人机朝相反方向飞行时，红色方无人机将以更快的速度向上飞行。尽管红色方与蓝色方之间的平均情况评估差异较低，但红色方无人机相对于其目标的情况足够高，可以保证在对抗性情景中获胜。同时，APFDRO算法在处理不完整策略的情景时表现出色，从而促进了对抗性情景的更快解决。

4.5. 在线计算效率和运行时间稳定性
为了进一步评估所比较方法的部署时间计算特性，从两个互补的角度检查了在线决策时间。图13展示了50次蒙特卡洛试验中的在线运行时间分布，而图14报告了每种方法相应的平均在线决策时间。

图13中的箱形图显示，基于PPO的策略产生了最小的在线推理时间，这是预期的，因为其部署阶段主要包含对训练有素的策略网络的前向评估。在基于优化的方法中，APFDRO展示了最有利的运行时间特性，具有相对较低的在线决策成本和相对紧凑的分布范围。这表明，APF辅助的重新公式化不仅减少了原始不完整策略游戏的数值负担，还提高了重复试验中的运行时间稳定性。相比之下，零和、鲁棒博弈和贝叶斯博弈基线都涉及更重的在线优化或均衡搜索程序，导致平均计算时间更长，变化也更明显。

图14进一步确认，APFDRO的目标不是在原始在线速度上超越策略推理；相反，它的优势在于在保持基于优化的决策框架的结构和稳健性的同时，实现了具有竞争力的在线计算成本。为了公平起见，此图中仅包括了基于PPO的基线的部署时间在线推理成本，而其离线训练负担在文中单独讨论。因此，图13和图14的结果表明，APFDRO在实际可行性、决策稳定性和在不完整对手策略下的基于模型的稳健性之间提供了具有吸引力的折中。

4.6.在情景2中对不确定性的鲁棒性和比较性能为了进一步从不确定性的敏感性和对抗适应性的角度评估所提出的方法，报告了三个额外的实验。图15显示了在不同标准化不确定性水平下的平均红色方情况，而图16和图17分别报告了在蓝色方能力下降和增强情况下情景2中平均红色方情况的时间演变。下载：下载高分辨率图像（210KB）下载：下载全尺寸图像图15. 平均红色方情况与标准化不确定性水平的关系。下载：下载高分辨率图像（180KB）下载：下载全尺寸图像图16. 情景2：蓝色方能力下降时的平均红色方情况。下载：下载高分辨率图像（183KB）下载：下载全尺寸图像图17. 情景2：蓝色方能力增强时的平均红色方情况。图15直接测试了方法对不确定性强度的鲁棒性。随着标准化不确定性水平从增加到，所有比较方法的平均红色方情况都有所下降，这是预期的，因为较大的不确定性会削弱对手建模的准确性并增加可靠决策的难度。然而，下降速率明显不同。APFDRO在整个不确定性范围内始终高于所有基线，并且表现出的性能下降最慢，表明Wasserstein模糊建模有效地抑制了对不完整和受干扰的对手策略的敏感性。鲁棒博弈和贝叶斯博弈基线也保持了相对稳定的行为，但随着不确定性的累积，它们的表现都比APFDRO更快地恶化。相比之下，零和方法和基于PPO的策略在高不确定性区域经历了更明显的下降，这表明当对手行为变得越来越模糊时，纯粹的名义对抗推理或依赖训练分布的策略更加脆弱。图16中的时间演变结果对应于蓝色方能力下降的情景2。在这种相对有利的设置中，所有方法随着交战的进行而单调地改善了红色方的情况。零和方法获得了最高的终端价值，其次是贝叶斯博弈和鲁棒博弈基线，而APFDRO在整个时间范围内保持较低。这种行为表明，当对手能力减弱且对抗接近有利的名义情况时，更具侵略性的名义策略可以更有效地利用短期机会。在这种情况下，APFDRO的分布鲁棒机制引入了一定程度的保守性，这略微限制了其终端收益。这一观察结果很有用，因为它表明所提出的方法并不是在每种设置中都人为地占优势；相反，其主要好处预计会在处理不确定性变得更加关键时显现出来。图17显示了蓝色方能力增强情况下情景2的相应结果。一旦对手变得更强，相对排名发生了显著变化。APFDRO几乎在整个时间范围内成为表现最好的方法，并达到了最高的终端平均红色方情况。鲁棒博弈和贝叶斯博弈基线仍然具有竞争力，但始终低于APFDRO，而零和方法则收敛到最低的终端水平。基于PPO的策略在中期表现出明显的波动，表明尽管它可以利用局部机会，但其性能对遇到的对手行为与隐含训练分布之间的不匹配更为敏感。因此，图16和图17之间的比较揭示了所提出框架的一个重要特性：当对抗条件有利时，APFDRO可能相对保守，但随着蓝色方能力的增强和对手不确定性的增加，其优势变得越来越明显。这一结果与该方法的设计目标一致，即在对手策略不完整和分布模糊的情况下提供更可靠和鲁棒的决策质量，而不是最大化名义情况下的侵略性。5. 结论在对抗性场景中准确预测对手无人机策略的挑战可能会严重阻碍战术决策的精确性，从而显著影响空中交战的结果。为了解决这一挑战，我们引入了一种基于分布鲁棒优化原则的多无人机对抗博弈决策算法。该算法首先通过对敌对博弈情况的细致评估来量化无人机对之间的优势。根据评估的优势，进一步采用优势引导的阿波罗尼奥斯锥目标分配和策略生成机制来产生物理上可达的追捕者-目标配对和一组可行的纯策略。随后，它通过人工势场方法构建对抗博弈模型，并将均衡计算转化为优化形式。然后将得到的不确定博弈嵌入到基于Wasserstein距离的DRO框架中，并将其简化为一个有限的凸程序，可以使用计算工具直接求解。数值模拟证明了所提算法的有效性，展示了其在对手策略不完整的情况下仍能提供鲁棒对抗决策的能力，同时保持了良好的计算效率。这使得红色方无人机能够在模拟的对抗场景中获得决定性优势并确保胜利，验证了所提出的框架作为在战略不确定性下进行多无人机对抗决策的实用和鲁棒工具的有效性。CRediT作者贡献声明王玉辉：撰写——审阅与编辑、形式分析、概念化。陈茂：撰写——审阅与编辑。周同乐：撰写——审阅与编辑。孙雷：撰写——原始草稿、方法论、形式分析、数据管理。