DELGT：一种基于局部目标生成与局部轨迹规划的动态环境无人机轨迹规划双层框架

《Expert Systems with Applications》：DELGT: A Dual-Level Framework for UAV Trajectory Planning in Dynamic Environments Using Local Goal Generation and Local Trajectory Planning

　　

•DELGT 结合了深度强化学习（DRL）局部目标与深度学习（DL）局部轨迹规划。
•EMFF 融合深度图像与点云特征以实现空间感知。
•马氏动态风险栅格图提供动态障碍物特征。
•LGG-DRL 生成自适应局部目标以实现动态避障。
•仿真与真实世界测试验证了性能与可部署性。

引言
近年来，无人机（UAV）平台与传感器技术的进步使其在检查监控、应急响应和货物运输等关键任务应用中得到了广泛部署。然而，与静态环境相比，复杂的动态场景仍是实现无人机安全自主飞行的主要瓶颈。为解决此问题，现有的路径规划方法（van den Berg, Overmars, 2005, Chen, Lu, Xiao, 2019, Huang, Wu, Tao, Kumar, 2025, Liang, Wang, Liu, Zhao, Ye, Zheng, Jiang, 2026, Wang, Ji, Wang, Xu, Gao, 2021, Wu, Chen, Shi, Alonso-Mora, 2024）主要依赖于基于时空建模的预测与反应式规划框架。此类框架通常包含动态障碍物检测、状态估计（Di et al., 2026）、路径生成和轨迹优化模块。Liang 等人（2026）使用恒定转弯率和速度（CTRV）模型预测短期障碍物状态，并构建危险区域用于轨迹优化。Quan, Shen, Liu, Lyu, & Chen（2025）进一步利用状态时空信息构建动态障碍物危险区域，以扩展可行区域。除时空障碍物建模外，Yin, Hu, & Xiang（2025）提出了 IMTCMO，集成多任务协同进化、动态约束松弛和混合差分进化，用于约束多目标路径规划。现有的基于优化的动态环境轨迹规划方法在很大程度上仍遵循为静态环境开发的规划范式。它们通常通过引入动态障碍物的时空占用信息来扩展优化模型，以满足避障约束。对于约束多目标优化，Yin & Xiang（2026）提出了 DR-CMODE，采用自适应双重排序来平衡杂乱环境中的 Pareto 主导性和约束满足。因此，在复杂的动态环境中，这些方法往往计算效率低下，并且由于策略灵活性有限，可能无法确保安全的避障。

与传统基于优化的方法相比，基于强化学习的方法（Karthikeyan, Rani, 2025, Khial, Allahham, Mhaisen, Ismail, Mabrok, Mohamed, 2026, Luo, Li, Zeng, Wu, Wang, 2026, Shi, Zhou, Man, Li, Guo, 2026）因其计算效率、鲁棒性和端到端建模的优势而备受关注。作为一种混合强化学习与进化优化的方法，Yin & Xiang（2025）提出了 HEA-PPO，利用 PPO 自适应选择进化算子，用于能量约束路径规划。然而，大多数现有的基于强化学习的方法（Karthikeyan, Rani, 2025, Khial, Allahham, Mhaisen, Ismail, Mabrok, Mohamed, 2026, Kim, Kim, Jung, Oh, 2022, Luo, Li, Zeng, Wu, Wang, 2026, Xiao, Chen, Zhang, Chen, 2024, Xu, Han, Shen, Jin, Shimada, 2025c, Xue, Zhang, Lu, Yan, Zheng, 2024）直接输出无人机的位置或速度指令来控制智能体与环境的交互。这种策略往往导致轨迹平滑度差且控制量波动大。因此，研究人员开始将强化学习的输出定义为期望轨迹点或局部目标，然后传递给下层基于优化的规划器进行轨迹优化。Xue & Chen（2024）使用强化学习生成中间目标点用于下层轨迹规划，并采用 Ego Planner 进行局部轨迹规划。Shi 等人（2026）将强化学习的输出输入到 MPC 求解器中进行控制。然而，此类分层架构面临一个关键挑战。强化学习网络生成的中间输出可能位于局部规划器不可行的区域，包括障碍物膨胀区域、动态不可达区域和约束违反区域。因此，下层优化问题可能无可行解，这使得强化学习智能体难以获得有效的环境反馈。这增加了策略梯度估计的方差，可能导致训练失败或训练效率低下。

相比之下，基于深度学习的局部路径规划算法（Lu, Zhang, Shen, Xu, Tian, 2024, Shin, Kang, Kim, 2020）可以避免分层强化学习方法遇到的不可行目标问题，因为每次网络推理直接生成可执行的规划指令。因此，将基于深度学习的局部规划器集成到强化学习框架中是一种合理的策略。然而，现有的基于深度学习的局部轨迹规划方法在环境特征提取方面仍存在明显局限性。一方面，一些方法（Lin, Zhang, Munir, 2026, Lu, Zhang, Shen, Xu, Tian, 2024）使用二维卷积神经网络从深度图像中提取特征。然而，二维卷积核的局部感受野难以有效编码三维空间的几何结构和深度连续性。由于无人机轨迹规划依赖于对三维环境的准确感知和空间推理，这些方法在复杂三维场景中的表示能力有限。另一方面，基于激光雷达点云的方法提供了显式的三维结构信息，但从原始点云直接提取特征通常计算成本高昂（Xu, Wu, Wang, Wang, & Gao, 2025b），难以满足无人机平台的实时性要求。为了降低计算负担，一些方法（Ali, Xiong, Haider, Tamir, Dong, Shen, 2023, Fan, Lu, Xu, Lu, 2025, Xu, Yan, Member, Fan, Luo, Lin, Chen, Chen, Qiao, Lu, 2025a）在特征提取前将三维点云投影或体素化为二维表示。然而，这种降维不可避免地造成几何信息损失，可能影响轨迹规划的安全性和准确性。

此外，现有的强化学习方法在动态障碍物特征表示方面仍存在明显局限性。动态环境的强化学习网络通常使用移动物体的显式物理特征（如位置、速度和形状），要么作为特征学习网络的直接输入（Jiang, Cai, Xu, Wang, 2024, Khial, Allahham, Mhaisen, Ismail, Mabrok, Mohamed, 2026, Xu, Han, Shen, Jin, Shimada, 2025c），要么作为优化约束（Shi et al., 2026）。这种显式表示强烈依赖于训练数据的分布。当部署环境包含新颖且未见的障碍物分布时，网络的泛化性能显著下降。Tordesillas & How（2023）将估计的运动轨迹作为强化学习网络的输入以提高时间推理能力，但该方法仍从根本上依赖于显式运动参数。

为了解决上述问题，我们提出了 DELGT，一种基于双层学习的规划框架，其中上层 LGG-DRL 生成自适应局部目标，下层 YOPO-EMFF 产生可执行轨迹。与采用基于优化的下层求解器的分层强化学习规划器不同，DELGT 通过神经网络推理进行下层规划，避免了因优化问题不可行而导致的失败，并为上层策略训练提供了更稳定的反馈。原始 YOPO（Lu et al., 2024）为 YOPO-EMFF 提供了基础，保留了其运动基元、轨迹参数化、轨迹生成过程、评分机制和损失设计。在此基础上，YOPO-EMFF 引入了带有 REQS 的 EMFF 作为原始改进，以对齐并融合二维深度特征与轨迹相关的三维点特征。对于动态障碍物表示，我们采用了马氏距离的既定数学公式。我们利用其协方差感知和各向异性特性，将速度不确定性传播到空间风险协方差中，并构建了一个三通道动态风险栅格图，表示风险强度和风险加权运动趋势。基于此表示，我们进一步设计了 LGG-DRL，以集成静态环境特征、动态风险信息、无人机状态和全局目标，并生成风险感知的局部目标，从而将上层决策与下层轨迹规划连接起来。PPO 仅用作 LGG-DRL 的训练算法。因此，分层规划、原始 YOPO 机制、马氏距离和 PPO 构成了所采用的基础，而 YOPO-EMFF、动态风险栅格图、LGG-DRL 以及它们在 DELGT 中的协同集成构成了原创贡献。

本文的主要贡献如下：
•设计了一个椭球匹配特征融合（EMFF）模块，沿候选轨迹自适应融合二维深度图特征和三维点云特征。该模块增强了网络表示空间结构信息的能力，同时保持计算效率。
•提出了一种基于马氏风险距离的局部动态风险栅格图，用于表示低空无人机导航中的地面动态障碍物特征。这种表示解决了深度强化学习（DRL）网络中动态特征提取的难题，并提高了学习效率。
•开发了一个基于深度强化学习的局部目标生成网络，并将其与 YOPO-EMFF 局部路径规划器集成。该网络通过自适应生成的局部目标引导规划器转向低风险区域，从而实现有效的动态避障。
•在仿真和真实世界动态环境中进行了综合实验。结果表明，在复杂动态环境中，DELGT 实现了更大的平均安全距离和更高的任务成功率，同时保持了较低的平均控制力。

第 2 节提供了与本研究相关的前期工作回顾。第 3 节描述了问题 formulation 和提出的 DELGT 方法。第 4 节报告了实验结果和消融研究。第 5 节展示了真实世界实验。第 6 节提供了对提出框架的进一步讨论。最后，第 7 节总结了本文。

章节摘要
动态环境中的传统轨迹规划
动态环境的传统轨迹优化方法通常遵循为静态环境开发的工作流程（Sun, Han, Ding, Yan, Li, Zhou, 2025, Zhou, Wang, Ye, Xu, Gao, 2020）（Sun et al., 2025）。它们通常采用由搜索和优化组成的两阶段框架。在第一阶段，使用 RRT（LaValle, 1998）、A* 和 Dijkstra 等搜索算法生成初始轨迹。在第二阶段，采用后端优化技术，如微分...

方法
无人机的当前位置表示为 puav∈R3。在其感知范围 Rp 内，无人机观察到一组动态障碍物 Od={Oid}i=1m 和一组静态障碍物 Os={Ois}i=1n，其中动态障碍物假设在地面平面上移动。因此，动态风险栅格图建模了低空无人机导航中来自地面动态障碍物的主要水平风险，而完全三维动态威胁超出了当前范围。所提出的方法以全局目标 pgg∈R3...

实验设置
仿真和物理环境：仿真实验在 Gazebo 和 Isaac Sim 平台上进行，使用配备 Intel Core i5 14600KF 处理器和 NVIDIA GeForce RTX 4080 Super 显卡的主机。训练或评估期间未向模拟深度图像、激光雷达点云或里程计添加人工噪声。对于 EMFF 模块，椭球最大和最小半长轴分别设为 amax=10 m 和 amin=0.5 m，并且椭球...

真实世界实验
为了验证所提出方法在真实世界应用中的有效性，实验在两个真实场景中进行，包括有移动行人的室内停车场和有静止箱形障碍物及移动行人的室外场景。实验使用轮距为 400 毫米的四旋翼无人机平台，如图 21 所示。飞行控制系统基于 PX4，感知传感器包括 Intel RealSense D435i 深度相机和...

状态估计误差对风险图生成的影响
动态风险栅格图依赖于动态障碍物的估计状态，因此状态估计误差可能会影响基于马氏距离的风险表示的准确性。位置误差主要移动风险区域中心，导致高风险区域偏离实际障碍物位置。由于位置协方差未直接用于风险协方差矩阵，它不决定马氏风险区域的形状或尺度。速度估计误差可能...

结论
在本文中，我们提出了 DELGT，一种用于复杂动态环境的分层无人机轨迹规划框架。所提出的框架结合了基于深度强化学习的局部目标生成模块和基于深度学习的局部轨迹规划器。上层 LGG-DRL 通过共同考虑全局目标、无人机状态、静态环境特征和动态障碍物风险来自适应生成局部目标。下层 YOPO-EMFF 随后生成平滑且安全的局部...

CRediT 作者贡献声明
刁宇杰：方法论，软件，验证，撰写 - 初稿。王志盛：资源，资金获取。范佳宇：方法论。丁心宇：调查。欧强：资源，资金获取，监督。冯卓：可视化。顾昊：验证。孙嘉豪：验证。李一诚：验证。

李楠楠：撰写 – 审阅与编辑

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争财务利益或个人关系。

Yujie Diao | Zhisheng Wang | Jiayu Fan | Xinyu Di | Quan Ouyang | Zhuo Feng | Hao Gu | Jiahao Sun | Yicheng Li | Nannan Li