一种基于合作关键点的稀疏缓存技术及改进的PPO框架，用于快速实现3D无人机路径规划 王永刚、 王根伟、 陈泽华、 王江、 黄普

《Drones》：A Cooperative Keypoint–Sparse Cache and Improved PPO Framework for Rapid 3D UAV Path Planning Yonggang Wang, Genwei Wang, Zehua Chen, Jiang Wang and Pu Huang

　　**亮点**

**主要发现是什么？**
提出了一种新颖的“关键点-稀疏缓存”（Keypoint–Sparse Cache, KSC）策略，通过稀疏关键点提取和路径缓存重用显著降低了3D路径规划的搜索复杂性。进一步开发了一个分层KSC-PPO框架，该框架将基于PPO的局部动态障碍物避让与全局KSC路径规划相结合。这种方法在高质量的全局路径规划和快速局部障碍物避让的灵活性之间取得了良好的平衡，适用于三维复杂地形环境。

**主要发现的意义是什么？**
在静态环境基准测试中，KSC在保持竞争性路径质量的同时，计算时间明显低于RRT*和Informed RRT*，并且在复杂性逐渐增加的各种地形上也优于四种生物启发式优化算法。KSC-PPO架构缓解了当前动态障碍物避让方法的低效率问题，这些方法通常在检测到障碍物后需要重新优化整个路径。通过在达到安全阈值时才激活基于PPO的局部避让，并在威胁清除后重新规划剩余路径，该框架将避让计算限制在局部区域内，同时保持高质量的全局路径生成。这为山区和动态变化环境中的无人机路径规划提供了一种高效且稳健的解决方案。

**摘要**
在复杂的三维地形中，无人机（UAV）路径规划面临着计算效率和可靠障碍物避让的双重挑战。为了解决这些问题，本文提出了一种关键点-稀疏缓存（KSC）策略和一种分层KSC-PPO（Proximal Policy Optimization）框架，适用于具有静态地形和动态障碍物的山区环境。KSC策略通过基于正交切片的稀疏关键点提取和路径缓存重用来降低搜索复杂性，从而提高了全局路径规划的效率。在此基础上，仅在超出安全阈值时激活基于PPO的局部障碍物避让，并在威胁清除后全局重新规划剩余路径，将避让计算限制在局部范围内，同时保持全局路径质量。在静态山区环境中的实验表明，KSC所需的计算时间明显少于RRT*和Informed RRT*，同时保持了竞争性的路径效率，并且在复杂性逐渐增加的各种地形上也优于四种生物启发式优化算法。混合导航验证实验进一步表明，KSC-PPO在动态山区环境中实现了高任务成功率、低碰撞率和低避让开销。实验表明，KSC-PPO将指数级的全局搜索空间分解为可控的线性子问题，显著提高了效率，同时确保了路径质量，为复杂地形中的无人机导航提供了有效的解决方案。

**1. 引言**
近年来，由于无人机（UAV）具有高机动性、低成本和强适应性，已被广泛应用于紧急救援[1]、地理研究[2]、物流配送[3]和森林火灾预防[4]等领域。然而，在复杂的三维环境中，非视距（NLOS）飞行条件下的高效自主导航仍然是一个重大挑战，使得路径规划尤为重要。路径规划是指从起点到目的地的可行且高效的飞行轨迹设计。这不仅需要满足与无人机性能和地形及障碍物避让相关的约束，还需要平衡任务执行的效率，如图1所示。例如，在紧急救援场景中，优先考虑的是最小化到达时间；而在地理探索任务中，主要目标是获得全覆盖的飞行路径。因此，为复杂环境开发合适的路径规划方法对于提高无人机在超出视觉视线范围内的飞行可靠性具有重要意义。

**2. KSC全局规划方法**
2.1. 关键点-稀疏提取策略
传统的路径规划算法直接在连续的三维空间中进行搜索，由于状态空间的维度灾难而面临计算瓶颈[22]，而生物启发式算法容易陷入局部最优解，通常会导致全局路径质量不稳定。为了解决这些问题，本节提出了一种基于稀疏关键点提取和缓存重用的全局路径规划方法。通过几何分析，该方法识别出在复杂地形中分布的重要飞行路径的航点。该方法将连续高维搜索问题简化为在离散关键点集上的图搜索问题，提供了一个稀疏但高质量的离散搜索空间，显著降低了计算复杂性，同时确保了全局路径的质量。

定义起点和终点。生成沿线段的一系列参数点：
(1) 这里，和分别表示进入和离开山地地形的参数值。这些值是通过沿线段的密集采样以及检测机身高度变化和地面高度符号变化来确定的，然后以步长递增。

对于每个参数，在以为中心的垂直于的平面上构建一个轮廓切片。用表示该平面上的局部坐标，地形高度场为。采样点由表示，其高度由第三分量给出，地面高度为。定义高度差函数：
(2) 在平面上均匀采样，计算的符号分布。如果存在零水平集，则表示轮廓切片与地形之间的交线，该交线被提取出来：
(3) 如果的最小值和最大值符号相同，则切片没有交线；否则，返回一系列曲线段以获得交线所在的点集。

对于提取的交线段，确定每个点相对于切片中心的左侧/右侧属性。使用局部u轴作为左右区分的参考轴，计算每个交点到中心的垂直距离。选择与每侧点集距离最小的点作为该侧的关键词点：
(4) 所述过程如图2所示为关键点提取机制。为了防止从相邻轮廓提取的关键点出现突然跳跃，可能干扰首选关键点的识别，引入了连续性约束：使用前一个切片的关键点位置和作为当前轮廓选择的参考，定义一个综合得分：
(5)

**2.2. 改进启发式搜索策略**
关键点集是由KSC算法提取的，其中和分别表示起点和终点。对于具有多个山地障碍物的复杂地形，关键点集可以如下扩展：(8) 其中 表示障碍山的数量， 和 分别代表第 i 座山的左右绕行点。在关键点集上构建一个有向图。边集是根据以下规则形成的：如果从节点 到节点 的直线路径段不与地形碰撞，则建立一条有向边。为了确定有向边是否可行，采用基于均匀采样的地形碰撞检测。对于连接两个节点的候选直线段，沿该段均匀生成采样点。设 为第 k 个采样点，设 为相应水平坐标处的地形高度。地形 clearance 定义为 (9) 如果 对于任何采样点都成立，则认为该段因地形碰撞而不可行；否则，它被视为有效边。除非另有说明，本文中的所有地形碰撞检测都遵循这一标准。在构建的稀疏图上，将采用启发式搜索策略来找到从起点 到终点 的最短路径。稀疏图的节点集由上述描述的首选关键点组成。基于这个关键点集，对于每个要扩展的节点，定义了一个综合评估函数：(10) 其中 是从起点 沿当前路径到节点 的累积实际成本：(11) 是使用欧几里得距离作为下限估计的从节点 到终点的启发式估计成本：(12) 由于山地环境中可能存在多层嵌套的障碍结构，算法需要穿过遇到的多个连续障碍物。当当前节点 扩展到目标节点 时，之前描述的关键点稀疏方法将被递归调用以提取新的关键点，并在路径段穿过新的障碍山时继续搜索。为了提高效率，维护一个动态更新的最短路径已知上限。在节点扩展过程中，如果总成本 或其累积成本 被认为不可能超过上限，则立即剪枝该节点及其所有后续分支以加速搜索。最终算法生成一系列关键点的候选路径。在所有候选路径中，选择总长度最小的路径作为最终解决方案，并使用 B 样条曲线进行路径平滑处理，以消除尖角并满足无人机的曲率约束。2.3. 关键点缓存策略在算法执行过程中，对相同或相似的线段重复进行碰撞检测，导致大量冗余开销。为了解决这个问题，本节提出了一种两级缓存策略，用于缓存从关键点到目的地的最短后缀成本和线段碰撞检测的结果，从而消除冗余计算并提高路径规划效率。(1)缓存系统设计如图 3 所示，当算法在探索过程中反复进入特定空间区域时，已经验证了阈值范围内的几个候选点可以从目标点到达。实际上，这些候选点可以被视为一个点。因此，可以维护一个路径后缀成本字典，该字典使用点坐标作为键来存储“从这个点到目标点的已知最短距离”以及与该距离对应的后续节点集。在扩展到点 n 时，如果在字典中找到匹配条目，则可以直接获得完整的总成本，并且可以提前终止相应的分支而无需进一步探索。图 3. 关键点缓存机制的示意图。(a) 路径搜索场景，显示通过关键点 P1–P5 绕过地形障碍物从起点到终点的计划路线。(b) 缓存字典结构，存储关键点坐标、到目标的累积距离和后续节点指针。(c) 缓存查询过程：当查询点落在缓存点的聚类阈值内时发生缓存命中，从而实现距离检索；否则，缓存未命中会触发继续探索。对于任何关键点，字典条目为 (13) 其中 表示从点 到目标点的已知最短路径距离； 表示沿此距离的后续节点集。为了避免由于轻微坐标差异引起的缓存错误，字典搜索采用基于距离阈值的近似匹配策略。设距离阈值为 。对于任何候选点，字典查找过程如下进行：这里， 是用于路径缓存重用期间的空间聚类的一个小正阈值。在这个阈值内的附近关键点被视为可共享的后缀路径信息代表，从而减少冗余搜索。如果 与任何存储点 之间的距离小于 ，则 和 被视为同一个点，表示查询成功。当前路径的总成本可以直接计算为 (14) 其中 是从起点 s 到当前节点 v 的实际路径成本； 是字典中存储的后缀成本。设当前最佳解决方案的成本为 。如果满足以下条件 (15) 则该分支无法产生更好的解决方案。算法会提前终止此分支，跳过后续的碰撞检测和节点扩展。(2)碰撞检测结果缓存算法执行过程中的重复碰撞检测操作增加了计算复杂性。为了解决这个问题，构建了一个碰撞检测缓存字典（碰撞缓存），该字典使用线段端点和相应的碰撞检测结果对。在处理端点坐标时，采用之前提出的基于距离阈值的近似匹配策略。通过使用欧几里得距离作为阈值，将新条目与路径后缀成本字典精确匹配来构建新字典。如果查询的端点坐标满足现有字典条目的距离阈值限制，则返回相应的坐标；如果查询失败，则将当前端点坐标添加到字典中。定义 3D 点的字典顺序关系：(16) 对于量化的端点，对它们进行词汇分类和排序以获得标准化的端点对：(17) 字典顺序确保无论查询顺序如何，任何两个点都会产生唯一的标准化序列，消除了方向依赖性。量化和解构后，将标准化的端点对转换为六维向量：(18) k 的每个分量都格式化为固定小数位以生成稳定的字符串键。最后，使用哈希表将键 映射到碰撞检测结果和切片数据。两级缓存在搜索过程中协同工作，如图 S2 所示：在路径可行性测试期间，重用搜索碰撞检测字典进行几何计算；在候选点扩展期间，优先使用路径后缀字典进行搜索以实现激进剪枝。实验表明，通过直接重用几何计算结果并应用激进剪枝，可以避免错误合并，保持高命中率，并显著减少不必要的开销。最后，为了系统地解释和验证 KSC 算法，其相应的伪代码在图 S3 中给出。3. KSC-PPO 框架设计 3.1. 系统概述前面的章节系统地描述了基于启发式搜索策略的关键点-稀疏缓存搜索算法和 PPO 优化算法。本节描述了所提出的 KSC-PPO 框架的实现。这些模块之间的功能角色和协作关系在图 4 中进行了说明。图 4. 所提出的 KSC-PPO 框架的流程图。深度强化学习（DRL）结合了深度神经网络的表示能力和强化学习的序列决策框架。这使得代理能够直接从高维感知输入中学习策略，在机器人控制和自主导航等领域展示出强大的端到端决策能力[23]。DRL 的主要目标是学习策略函数，使代理在与环境交互时能够最大化累积折扣奖励：(19) 其中 表示折扣因子， 表示即时奖励， 表示剧集终止时间。近端策略优化（PPO）是一种基于 Actor-Critic 架构的策略梯度方法[24]。它引入了剪辑概率比约束，实现了采样效率和实现简单性之间的良好平衡。与传统策略梯度方法相比，PPO 具有三个主要优势：(1) 通过剪辑机制限制策略更新的范围，防止由于单步更新过大而导致策略崩溃；(2) 支持多轮小批量更新，显著提高数据利用率；(3) 对超参数选择的鲁棒性和工程实现的便捷性证明了它们的有效性。这些特性使 PPO 成为当今连续控制任务中最广泛使用的 DRL 算法之一。PPO 算法的核心在于剪辑替换目标函数的设计。策略比率定义为 ，表示在新策略下选择动作 的概率与旧策略下的概率之比。PPO 的优化目标是 (20) 其中 是估计的优势函数， 是剪辑系数。目标函数通过最小化操作来构建策略更新的下限：当 和 时，目标函数被剪辑以防止策略过度偏向该动作；类似地，当 和 时。优势函数 通常使用广义优势估计（GAE）来计算：(21) 其中 是 GAE 系数，用于平衡偏差和方差。通过最小化时间差误差来训练 Critic 网络：(22) 为了鼓励策略探索，通常在目标函数中引入熵正则化项：(23) 为了鼓励策略探索，通常在目标函数中引入熵正则化项：(23) 如图 S1 所示，完整的 PPO 训练过程包括 (1) 收集使用当前策略的一组轨迹数据；(2) 计算每个时间步的 GAE 优势估计；(3) 在收集的数据上执行多轮小批量梯度更新，同时优化 Actor 和 Critic 网络；(4) 更新旧策略参数 并重复上述过程。3.2. 改进的 PPO 算法当无人机沿全局路径飞行时，如果有动态障碍物进入预定义的警告区域，将触发 PPO 的局部障碍物避免模块。此时，障碍物避免问题可以建模为马尔可夫决策过程[25]：代理根据当前环境状态选择加速度控制命令，以尽可能快地完成任务同时避开动态障碍物。在上一节描述的 PPO 算法框架的基础上，本节详细介绍了状态空间、动作空间和奖励函数的具体设计。状态空间应定义为 ，动作空间定义为 。代理的优化目标仍然是最大化累积折扣奖励，如前一节所述。为了使代理能够全面感知其运动状态、任务目标和周围威胁，本研究设计了一个包含三种类型信息的 33 维连续状态空间：(1)无人机状态 (24) 其中 表示无人机的三维位置， 表示三轴速度分量， 和 分别是位置和速度的归一化因子。(2)目标信息 (25) 其中 是目标点位置， 是相对位移， 是距离归一化因子。(3)动态障碍物信息系统持续检测指定警告距离内的三个最近动态障碍物。每个障碍物被编码为一个七维特征向量：(26) 表示净距离， 表示障碍物相对于无人机的位置偏移， 表示障碍物的移动速度。障碍物按净距离升序排序，以确保最具威胁性的障碍物始终占据固定的状态维度。这有助于策略网络学习稳定的特征映射关系。对于动作空间 A，采用三维连续动作空间来输出无人机对惯性坐标系的加速度命令：。这里， 表示最大加速度限制。动作执行采用指数移动平均平滑：(27) 这种平滑机制有效地抑制了控制命令中的高频抖动，提高了飞行轨迹的平滑度。此外，无人机的速度受到限制 的物理约束。当速度超过此限制时，它会按比例缩放到最大速度边界。奖励函数作为指导代理行为的中心信号。奖励函数的实现细节如下：

(1) 进度奖励
核心的正向信号是距离目标的减少：
(28)
其中取值为15，表示当前时间步长到目标的欧几里得距离。这种奖励直接鼓励智能体不断接近目标。

(2) 终止条件和奖励/惩罚机制
在训练过程中，建立剧集终止条件直接影响智能体的行为边界和学习效率。根据无人机动态避障任务的特点，本研究定义了四种类型的终止条件及其相应的奖励/惩罚信号，如表1所示。
表1. 剧集终止条件和奖励/惩罚设置。
其中表示任务完成阈值；表示无人机与最近障碍物之间的净距离，负值表示无人机侵入障碍物；定义合法飞行区域为地图边界内的3D空间加上安全边际；是每个剧集的最大模拟步数。

(3) 轻量级引导信号
为了加速收敛，为核心奖励添加了一些辅助信号：
方向对齐奖励：当速度方向与目标方向之间的角度余弦值满足条件时，给予奖励；反之则施加-4.0的惩罚。
安全距离惩罚：当与最近障碍物的净距离超过时，施加惩罚；当小于时，施加惩罚，其中表示碰撞半径。

(4) 时间惩罚
在每一步中逐渐增加轻微的时间惩罚，以鼓励智能体高效完成任务：
(29)
基于上述奖励函数，训练过程分为五个难度级别，目标距离在训练过程中逐渐增加，如表2所示。
表2. 不同难度级别的课程学习距离配置。
为了防止灾难性遗忘，每个难度级别的剧集都以20%的概率随机选择，确保智能体持续巩固在简单场景中的早期学习经验。

3.3. 全局-局部协调策略
(1) 自适应避障触发策略
假设使用固定距离阈值触发策略来确定是否进入避障模式，这种方法在开阔区域表现良好，但在接近目标点时经常产生次优行为。视觉观察发现，当无人机接近目标点时，保持较大的触发距离会导致算法倾向于绕行以保持与障碍物的“安全距离”，而不是直接穿过间隙到达目标。这种现象严重影响了任务效率。
为了解决这些问题，引入了基于目标距离的自适应触发机制。设当前时间无人机与目标点之间的欧几里得距离为。距离衰减因子定义为
(30)
基于此衰减因子，有效触发距离和安全距离调整如下：
(31)
(32)
其中=100米是基本触发距离，=120米是基本安全距离，=25米是碰撞检测半径。

(2) 虚拟目标映射
目标训练的目标距离范围由课程学习策略确定，该范围明显短于实际任务中全局路径的总长度。因此，状态向量中与目标相关的维度值远远超出训练分布的范围，导致策略网络输出的质量显著下降。因此，提出了虚拟目标映射机制。定义训练分布的有效覆盖范围的上限为。虚拟目标位置计算如下：
(33)
当实际目标超出有效范围时，在目标方向上提取一个距离为=150米的虚拟目标点；否则，直接使用实际目标。

(3) 路径重新规划
在无人机成功避开动态障碍物并退出威胁区域后，需要重新规划剩余路径以恢复全局路径质量。设无人机逃离威胁的位置为逃逸点，目标为目的地。然后，重新规划问题可以如下表述：以逃逸点作为新的起点，调用之前提出的KSC算法生成从逃逸点到目的地的高质量剩余路径。
逃逸条件定义为动态障碍物与无人机之间的最小距离超过安全阈值：
(34)
其中表示无人机的当前逃逸点，是动态障碍物的集合，是安全距离阈值。
为了防止对同一障碍物重复触发避障模式，引入了冷却机制：每次退出避障模式后启动一个冷却计数器。在冷却期间，即使满足触发条件，无人机也不会重新进入避障模式。只有当计数器逐渐减少到零后，才会恢复正常的触发判断。
这种策略使得从无人机的当前位置到目的地的高质量剩余路径能够高效再生。

4. 实验
所有实验均在配备Intel Core i5-14600KF处理器（14核，20线程，5.3 GHz基本频率）和32 GB内存的工作站上使用MATLAB R2023b进行。

4.1. 环境模型
为了验证所提出的框架，本文采用数字高程模型（DEM）来表示3D地形环境。DEM是一种以规则网格格式组织的高程数据类型，能够准确描述地表地形[26]。基准环境在规则网格上离散化，相应的工作空间大小和起始-目标采样范围总结在表3中。
表3. 基准环境的一般工作空间和采样设置。
为了评估不同地形复杂性下的规划性能，使用参数化的峰值分布生成了四种基准地形场景，如表4所示。表4. 基准地形的代表性可视化图示。
图5. 实验场景的可视化图示。绿色点表示起点，红色三角形表示目标点。除了静态地形基准外，还在混合导航实验中引入了动态障碍物场。相应的障碍物数量、大小范围、速度范围、高度范围、运动模式和时间相关设置总结在表5中。
表5. 实验中使用的动态障碍物设置。

4.2. 约束模型
基于上述环境模型，进一步引入了约束模型，以确保无人机轨迹在训练和执行过程中同时满足物理可行性和任务安全性要求。具体来说，所提出的框架考虑了与运动相关的约束，包括速度和加速度限制，以及与任务相关的约束。这些约束定义了无人机的可行操作区域，并为安全轨迹生成和局部避障决策提供了基础。相应的无人机物理参数和飞行相关约束设置总结在表6中。
表6. 无人机物理参数和飞行相关约束。

4.3. 静态环境实验
由于静态环境中没有动态威胁源，因此本节的实验相当于对KSC全局规划模块（即KSC算法）的独立性能测试。在展示可视化和基准结果之前，首先总结了RRT*和Informed RRT*的参数设置。
表7. RRT*和Informed RRT*的参数设置。
需要注意的是，本研究中考虑的搜索空间为2000 × 2000米。如果直接将原始采样步长设置为1，则生成的树结构会过于密集，计算时间会增加到不切实际的水平。因此，在当前实验中，RRT*和Informed RRT*的采样步长均设置为30米，以在路径质量和计算成本之间取得合理的平衡。基于这些设置，图6展示了在四种不同复杂度的静态山区环境中KSC、RRT*和Informed RRT*的代表性3D路径可视化图示。图7进一步提供了三种算法在计算时间和路径效率方面的定量比较。
表7. 静态环境基准实验中RRT*和Informed RRT*的参数设置。
图6. 在四种不同复杂度的静态山区环境中，包括单峰、简单、中等和困难情况，KSC、RRT*和Informed RRT*的代表性3D路径可视化图示。
图7. 基于每种方法100次独立试验，比较了KSC、RRT*和Informed RRT*在四种地形复杂性下的计算时间和路径效率。
图7显示，KSC在计算时间上始终具有竞争力，同时所需的计算时间远少于两种基于采样的基线算法，特别是在中等和困难地形中。值得注意的是，即使将基于RRT*的方法的采样步长扩大以减少2000 × 2000米搜索空间中的计算负担，它们的计算效率仍低于KSC。这一结果表明，所提出的KSC机制可以在不产生与迭代采样和重连程序相关的大计算开销的情况下保持高质量的全局路径生成。因此，基准比较表明KSC在静态山区场景中既实现了高路径生成质量，又具有高计算效率。

在对比了代表性的基于采样的规划器之后，KSC还与四种受生物启发的优化算法进行了比较，即Harris Hawk Optimization (HHO) [27]、Sparrow Search Algorithm (SSA) [28]、Artificial Lemming Algorithm (ALA) [29] 和 Red-billed Blue Magpie Optimizer (RBMO) [30]，这些算法在没有动态障碍物的静态山区环境中进行测试。为了统计可靠性，在相同的硬件和软件条件下，每种基准环境中进行了100次独立试验。表8总结了四种受生物启发算法的参数设置。
表8. 受生物启发算法的参数。
图8和表9展示了五种算法在四种地形复杂性下的路径效率和计算时间的比较结果。每个数据点基于100次独立试验的统计平均值。
图8. 不同地形复杂性下多种算法的基准计算时间和路径效率对比图。(a) 不同地形复杂性下各种算法的计算时间，(b) 不同地形复杂性下各种算法的路径效率。
表9. 在四种地形复杂性下，提出的KSC算法与四种基准方法的性能比较。粗体表示每种指标的最佳结果。路径效率是指起点和终点之间的直线距离与算法计算路径长度的比率。如图8a所示，KSC在所有地形复杂性下的计算时间都远低于四种受生物启发算法，尽管随着地形复杂性的增加，其计算时间略有增加。如图8b所示，KSC在所有比较方法中保持了最高和最稳定的路径效率。从简单到困难环境，其路径效率仅下降了7.79个百分点，并且在所有情况下都保持在0.88以上。这些结果证实了KSC在静态山区路径规划任务中的效率、适应性和稳定性。

为了全面评估每种算法在不同应用要求下的性能，本研究提出了基于加权性能的多场景评估框架。加权性能指数定义为
(35)
其中是单个算法的路径效率，是所有算法的平均路径效率；是单个算法的计算时间，是所有算法的平均计算时间；和分别是路径质量权重和时间效率权重，满足条件。该公式通过归一化消除了不同索引尺度的影响，使得在统一框架内可以定量比较路径质量和计算效率。根据不同的无人机应用需求，考虑了三种代表性场景：(1)以路径为导向的场景（=0.7，=0.3），强调路径质量，适用于对能量敏感的任务，如长时续航任务和物流运输；(2)平衡场景（=0.5，=0.5），在通用任务（如检查和绘图）中同时考虑路径质量和计算效率；(3)以时间为导向的场景（=0.3，=0.7），强调计算效率，适用于时间敏感的任务，如紧急救援。图9显示了每种算法在三种应用场景下的比较结果，计算方法是不同复杂度下加权性能指标的平均值。总体而言，KSC算法在所有评估场景中都表现出良好的加权性能，表明其能够适应不同的应用优先级。图9. 各场景下算法效率的比较。

4.4 动态环境实验
本小节描述了基于上述理论框架实现的PPO算法。为了避免重复，这里不再赘述状态空间、动作空间、奖励函数和训练策略的定义。该算法采用了Actor-Critic架构，并共享一个特征提取模块。具体来说，网络接收一个33维的状态向量作为输入，并通过三个大小分别为512、512和256的全连接层进行特征提取和压缩。每个全连接层之后都跟着层归一化和ReLU激活函数，以提高小批量条件下的训练稳定性。详细的网络架构如图S4所示。Actor网络采用双分支输出结构来构建高斯策略：均值分支将256维特征映射到一个3维的动作均值，然后使用tanh激活函数将其缩放到[-5, 5]区间。最终，通过从相应的高斯分布中采样生成连续的动作指令。Critic网络的输出层由一个全连接层组成，它直接将256维特征映射到一个一维标量——当前状态的价值估计V，用于计算优势函数并更新策略。用于训练算法的超参数配置详见表10。

在这个实验中，代理学习了如何在随机生成的山地环境中避开动态障碍物并朝向目标点导航，共进行了5000个剧集。图10展示了训练奖励曲线，并展示了Critic网络估计的价值函数的相应演变过程。(a) 奖励曲线显示了三个阶段的训练过程：随机探索、快速策略提升和稳定收敛，阴影区域代表奖励的变异性（四分位数范围P25-P75）；(b) Critic网络初始状态价值估计Q0的演变，与奖励曲线动态一致，阴影区域代表平滑价值估计的标准差带。图10a中的奖励曲线展示了明显的三阶段训练进程：代理从随机探索（0-1000剧集，中位奖励700-800）过渡到快速策略优化（1000-2000剧集，奖励激增至1200以上），最后收敛到1100-1400的稳定范围（2000-5000剧集）。同时，图10b中Critic的初始状态价值估计Q0的演变也紧密反映了这一趋势：Q0在前500剧集中迅速上升至200，在2000剧集时稳定增加到800，之后收敛到750-950，表明在当前训练设置下价值函数和导航策略是一致演变的。需要注意的是，PPO设计的多种子统计分析和消融分析留待未来的工作。

为了验证PPO代理的自主避障能力，该实验在训练环境中对每种配置组进行了10,000次独立验证测试，统计结果分别显示在表11和表12中。表11报告了包括成功率、碰撞率、超时率和最小安全距离在内的结果指标，而表12报告了奖励、步数和平均速度。测试场景采用了课程学习的最终难度级别（目标距离为80-200米），起点和终点的空间位置以及山地地形都是随机生成的。这种方法旨在评估代理在多种模拟条件下的表现。

4.5 KSC-PPO算法的验证
为了全面评估KSC-PPO算法在不同环境条件下的性能，进行了广泛的模拟，涵盖了三种地形复杂度级别（多峰—简单、中等和困难），以及动态障碍物密度分别为5、10和15的情况。为了确保统计有效性，每次模拟运行时都会随机重新生成地形配置和障碍物轨迹，简单地形下进行了1000次测试运行，中等和困难地形下进行了5000次测试运行。定量结果总结在表13中，而图11展示了完成时间与总飞行距离之间的关系。结果基于简单地形下1000次独立运行和中等及困难地形下5000次独立运行，每次运行中地形和障碍物配置都是随机生成的。图11显示了不同环境配置下KSC-PPO算法的完成时间与总飞行距离的关系。结果表明，该算法在不同地形复杂度和动态障碍物密度下表现出性能稳定性。为了进行基准比较，还构建了两种变体：一种是用基于APF的策略替换基于PPO的局部避障模块（KSC-APF），另一种是完全移除局部动态避障模块（KSC-NoPPO）。表14总结了在5、10和15个动态障碍物条件下，KSC-NoPPO、KSC-APF和KSC-PPO在困难地形中的整体任务级性能和安全性特征，每种方法基于1000次独立试验。在所有比较的方法中，KSC-PPO始终保持着最高的成功率和最低的碰撞率。即使在最具挑战性的15个障碍物设置中，KSC-PPO的成功率也保持在99.4%，而KSC-NoPPO和KSC-APF分别降至78.7%和86.5%。同时，KSC-PPO在所有情况下都保持了较低的碰撞率，远低于其他两个基线。表14还显示了KSC-NoPPO、KSC-APF和KSC-PPO在不同障碍物密度下的整体安全性和任务完成性能。

表11和表12表明，改进后的KSC-PPO局部避障模块在不同地形复杂度和障碍物密度下保持了高成功率以及稳定的奖励、步数和速度统计指标，支持了所提出的PPO训练框架在仿真中的有效性。

4.5 KSC-PPO算法的验证
为了全面评估KSC-PPO算法在不同环境条件下的性能，进行了广泛的模拟，涵盖了三种地形复杂度级别（多峰—简单、中等和困难），以及动态障碍物密度分别为5、10和15的情况。为了确保统计有效性，每次模拟运行时都会随机重新生成地形配置和障碍物轨迹，简单地形下进行了1000次测试运行，中等和困难地形下分别进行了5000次测试运行。定量结果总结在表13中，而图11展示了完成时间与总飞行距离之间的关系。结果表明，该算法在不同地形复杂度和动态障碍物密度下表现出性能稳定性。为了进行基准比较，还构建了两种额外的变体：一种是用基于APF的策略替换基于PPO的局部避障模块（KSC-APF），另一种是完全移除局部动态避障模块（KSC-NoPPO）。表14总结了在5、10和15个动态障碍物条件下，KSC-NoPPO、KSC-APF和KSC-PPO在困难地形中的整体任务级性能和安全性特征，每种方法基于1000次独立试验。在所有比较的方法中，KSC-PPO始终保持着最高的成功率和最低的碰撞率。即使在最具挑战性的15个障碍物设置中，KSC-PPO的成功率也保持在99.4%，而KSC-NoPPO和KSC-APF分别降至78.7%和86.5%。同时，KSC-PPO在所有情况下都保持了较低的碰撞率，远低于其他两个基线。表14还展示了KSC-APF和KSC-PPO在不同障碍物密度下的避障开销。由于KSC-NoPPO不采用主动的局部避障机制，其重新规划次数和避障时间按设计为零，因此未包括在此比较中。与KSC-APF相比，KSC-PPO在所有障碍物密度下始终需要更少的重新规划触发和更少的避障时间。

表15进一步报告了KSC-APF和KSC-PPO的避障开销。综合表14和表15的结果表明，所提出的KSC-PPO框架在安全性和避障开销之间提供了更好的平衡。相比之下，KSC-PPO不仅实现了更高的安全边际，还降低了避障开销，这证实了将基于KSC的全局引导与基于PPO的局部决策相结合的有效性。

5. 讨论
所提出的KSC-PPO框架结合了基于KSC的全局路径规划和基于PPO的局部动态障碍物避障，通过分层的全局-局部协作机制实现了这一目标。这种设计使算法能够在复杂地形和动态障碍物共存的场景中平衡路径质量、计算效率和飞行安全性，这也是实验结果所反映的核心特征。从静态环境比较结果来看，KSC在不同地形复杂度下始终表现出更低的计算时间和更稳定的路径效率，表明基于稀疏关键点提取和路径缓存重用的搜索机制可以有效减少复杂山地环境中的冗余搜索。与RRT*和Informed RRT*（图7）相比，KSC不依赖于大规模随机采样、树扩展或重连。相反，它将搜索集中在更具代表性的障碍物绕行关键位置，从而显著降低了计算成本，同时保持了路径质量。与HHO、SSA、ALA和RBMO（图8）等生物启发式优化算法相比，KSC还表现出更小的结果波动，表明在复杂地形中具有更强的稳定性。值得注意的是，一些生物启发式优化算法在高度复杂的地形中虽然计算时间减少，但路径效率却下降了。这种趋势与在复杂搜索空间中探索不足或过早收敛有关。从动态障碍物条件下的混合导航结果（表13）来看，KSC-PPO实现了更高的任务成功率、更低的碰撞率和更低的避障开销，表明所提出的混合框架形成了有效的功能互补性。具体来说，KSC生成的全局路径为无人机提供了稳定的远程引导，确保了整个任务过程中的清晰飞行方向。相比之下，基于PPO的局部避障策略仅在动态障碍物接近并触发安全阈值时才进行干预，允许无人机通过局部动作校正快速完成避障，并在威胁清除后返回到全局规划轨迹。在不同地形复杂度和障碍物密度下的进一步统计结果表明，KSC-PPO在完成时间、平均速度和成功率方面保持了良好的稳定性。算法性能的变化更多地反映了任务路径规模和环境复杂度的变化，而没有出现由控制策略不稳定性引起的明显异常波动。这表明KSC-PPO能够在环境复杂性增加的情况下保持相对一致的行为模式和稳定的任务执行能力。然而，应当强调的是，当前的实验结果主要反映了算法在仿真环境和基于工作站的平台上的性能特征。其在机载嵌入式平台上的实际部署性能仍需结合特定硬件条件进行进一步评估。此外，当前的评估主要集中在验证KSC-PPO框架在具有动态障碍物的复杂山地环境中的基本有效性上。为了突出所提出方法在静态搜索效率、路径质量和动态障碍物避障能力方面的关键性能，实验优先与代表性的基于采样的规划器、生物启发式优化方法和局部避障基线进行了比较。然而，与更广泛的混合路径规划算法进行更广泛的横向比较尚未系统地进行，这仍然是未来工作的一部分。同时，尽管当前的结果展示了强大的任务成功率和碰撞避免性能，但仍需要进一步分析以确定KSC-PPO框架在局部障碍物避免过程中对原始全局路径质量的保持程度，特别是在路径偏差、相对于静态全局路径的绕行比率、控制平滑度以及与能量相关的成本方面。因此，未来的工作将集中在两个方面：首先，系统地评估这些与路径质量相关的指标；其次，包括无人机跟踪行为在内的更具挑战性的动态障碍物设置，以及多种子训练稳定性统计、种子间方差分析和系统参数敏感性分析，以进一步改进KSC-PPO框架的评估。

6. 结论与未来工作

本文解决了在复杂山区地形中无人机3D路径规划中计算效率有限和动态障碍物避免不可靠的双重挑战，并提出了一种称为KSC-PPO的框架。该框架采用全局-局部分层混合架构：全局层通过基于正交切片的关键点稀疏提取来减少搜索空间维度，并集成双层缓存机制来修剪和重用之前探索的高质量路径段，从而显著提高计算效率；局部层采用结合了课程学习的PPO算法，仅在障碍物触发预设的安全阈值时才进行干预，并在无人机离开威胁区域后对剩余路径进行全局重新规划，从而实现及时避障同时保持高质量路径。

为了评估KSC-PPO框架的有效性和性能，本研究设计了系统的比较实验。对于静态路径规划实验，构建了四个复杂程度逐渐增加的山区场景，每个场景独立运行100次以确保统计显著性。比较算法包括RRT*、Informed RRT*、Harris Hawk Optimization（HHO）、Sparrow Search Algorithm（SSA）和Red-billed Blue Magpie Optimization（RBMO），所有算法的参数配置均保持一致。对于动态障碍物避免实验，在具有不同数量动态障碍物的场景中进行了广泛的独立验证测试。对于协作性能验证实验，分别在随机生成的地形和障碍物配置下部署了5个、10个和15个动态障碍物，以评估所提算法的全面性能，同时引入KSC-NoPPO和KSC-APF作为混合导航的基准方法进行比较。

实验结果表明，在静态路径规划测试中，KSC算法在四个场景中的综合性能均优于所有比较算法，这验证了关键点稀疏提取和缓存重用策略对于高质量全局路径规划的有效性；在动态障碍物避免测试中，PPO代理的平均成功率为96.9%，且Critic网络的Q值稳定并收敛，证实了价值函数估计的有效性；在包含动态障碍物的完整3D山区环境中的混合导航验证实验中，KSC-PPO框架的成功率超过99%。此外，与KSC-NoPPO和KSC-APF相比，KSC-PPO实现了更高的任务成功率、更低的碰撞率和更低的避免开销，证明了结合基于KSC的全局引导和基于PPO的局部障碍物避免的有效性。总之，KSC-PPO框架有机地将全局规划的高效率与局部障碍物避免的稳定性能结合起来，为无人机在复杂山区环境中的导航提供了有效的解决方案，并在仿真中展示了良好的性能。

未来的工作将在几个方向上进一步扩展本研究。仍需要通过硬件在环仿真和机载实验进行额外的验证，以评估实际嵌入式条件下的实时性能、计算成本和部署可行性。结合真实地形数据还将使在自然地形条件下的验证更加现实。此外，未来的工作还将考虑在局部障碍物避免过程中全局路径质量保持的系统评估，以及更具挑战性的动态障碍物设置和训练稳定性分析。

补充材料

以下支持信息可在以下链接下载：https://www.mdpi.com/article/10.3390/drones10050330/s1
- 图S1：PPO算法的完整训练过程
- 图S2：双层缓存流程图
- 图S3：KSC算法流程的伪代码
- 图S4：基于PPO的局部障碍物避免的Actor-Critic网络架构