基于深度强化学习的三维城市边界层无人机导航

《Sustainable Cities and Society》：Deep reinforcement learning-based UAV navigation in 3D urban boundary layers

　　

•将LES与DRL耦合用于三维城市边界层中的无人机导航 •LARA-SAC融合了GTrXL记忆、潜空间探索以及基于RND的学习 •历史观测在部分感知和不稳定风场条件下降低歧义 •LARA-SAC使三维轨迹适应建筑物、目标及局部风场变化 •LARA-SAC在扩展域中提升导航安全性与能效 引言近年来，无人机（UAV）在城市低空场景中日益广泛的应用，如物流配送、基础设施巡检、公共安全及灾害响应（Li et al., 2022）。其绕过道路拥堵并进入密集或危险城区的能力使其成为未来城市空中出行与智慧城市系统的重要组成部分（AlMahamid and Grolinger, 2022, Mdaopa et al., 2023）。然而，大规模城市无人机部署也引发安全与环境方面的担忧，包括碰撞、坠毁风险、第三方风险及旋翼噪声影响（Ren and Cheng, 2020, Torija et al., 2020）。因此，城市无人机导航不仅应寻找可行路径，还需确保在复杂低空环境中安全、稳定、节能且自主地飞行。在城市低空环境中，无人机导航不仅受建筑物遮挡影响，还受城市几何结构重塑的复杂风场影响（Watkins et al., 2020, Yan et al., 2026）。在中性城市边界层（UBL）中，建筑物作为大气边界层（ABL）内的粗糙度要素，导致城市冠层内出现流动分离、尾流相互作用、再循环及三维（3D）速度波动（Zhou et al., 2023）。这些流动结构可能使无人机在相同控制输入下经历不同的地速和位移方向。顺风可能缩短行程时间，而尾流、横向扰动和垂直速度波动则可能将无人机推向建筑物、域边界或低效航路（Ren et al., 2024, Xu et al., 2022）。因此，三维城市风场中的无人机导航应被视为一个与建筑约束、湍流扰动及飞行器控制耦合的连续决策问题，而非静态障碍图中的最短路径搜索（Gaitani et al., 2017, Jones et al., 2023）。为表征这些效应，本研究采用高保真LES生成的中性UBL流场作为导航环境（Duan & Ngan, 2019）。传统无人机路径规划通常依赖确定性搜索、启发式规划或基于地图的重规划框架。代表性方法包括图搜索算法如Dijkstra（Javaid, 2013）和A*（Duchoň et al., 2014），以及基于采样的方法如概率路线图（PRM）（Kavraki et al., 1998）和快速扩展随机树（RRT/RRT*）（Rodriguez et al., 2006）。然而，这些方法通常依赖预构建地图、固定代价函数和相对稳定的环境假设（Karaman and Frazzoli, 2011, LaValle, 1998）。在城市低空环境中，建筑遮挡、狭窄通道和有限感知约束了导航，而不稳定风场则持续改变局部飞行条件（Liu et al., 2021）。尽管同步定位与建图（SLAM）以及基于视觉或激光雷达的建图方法改善了未知环境中的几何感知（Cadena et al., 2016），它们在大规模三维城市区域仍面临高计算成本和有限适应性。更重要的是，几何地图无法直接描述建筑物诱导的局部流动效应，而这些效应对本研究涉及的城市风场中无人机运动至关重要（Hu et al., 2026）。基于深度学习的感知与导航方法也被广泛用于无人机避障与路径规划（Wang et al., 2020）。通过处理相机、深度、激光雷达或多传感器观测，这些方法可以识别障碍物、可通行区域和局部碰撞风险（Fraga-Lamas et al., 2019, Wang et al., 2020）。然而，监督式深度学习方法通常依赖大规模标注数据集，在未见过的城市几何结构、传感器噪声和变化环境条件下可能泛化能力较差（Dai et al., 2020, Yang et al., 2025）。在复杂城市风场中，无人机导航不仅需要障碍物感知，还需根据控制输入与未来轨迹的相互作用进行连续动作调整。因此，通过环境交互学习观测到动作策略的深度强化学习（DRL），为部分可观测性、动态扰动和耦合连续控制下的导航提供了更合适的框架（Hu et al., 2022, Yang et al., 2026）。用于高维决策与连续控制的代表性DRL方法包括深度确定性策略梯度（DDPG）（Yu et al., 2021）、孪生延迟DDPG（TD3）（Luo et al., 2024）、近端策略优化（PPO）（Guan et al., 2023）和软演员-评论家（SAC）（Yan, Wang et al., 2025, Zhou et al., 2024）。基于这些方法，Bouhamed et al.（2020）将DDPG应用于类城市三维环境中的无人机路径规划，而Ou, Guo, Lou et al.（2021）和Ou, Guo, Zhu et al.（2021）使用循环Q学习提升部分观测和有限视觉感知条件下的四旋翼导航。对于基于图像的导航，Fei et al.（2024）将视觉障碍感知与改进的经验回放相结合，以支持未知环境中的避撞。对于连续控制任务，Zhang et al.（2022）使用改进的TD3算法进行随机障碍物间的无人机导航，Lee and Moon（2023）将SAC与回顾经验回放集成以提升稀疏奖励路径规划中的学习效率。这些研究表明，DRL可以减少对显式全局规划的依赖，并从机载观测中生成自适应飞行动作。近期研究开始关注涉及部分可观测性、动态扰动及流动影响运动的更具挑战性的无人机导航场景。对于部分可观测导航，基于注意力的循环深度Q学习（DQN）和特权信息训练被用于在部署时仅有有限视觉观测的情况下改善避障和策略鲁棒性（AlMahamid and Grolinger, 2025, Wang et al., 2023）。风感知导航也受到越来越多的关注。Wu et al.（2024）将城市风区中的无人机导航建模为多目标强化学习问题，而关于湍流和涡流中导航的研究（Biferale et al., 2019, Gunnarson et al., 2021, Yan, Cai et al., 2025）表明智能体可利用局部流动信息提升路径效率。与城市无人机导航更为密切相关的，Tonti et al.（2025）将PPO与长短期记忆（LSTM）记忆结合于简化城市流场中，Tonti and Vinuesa（2025）进一步将该方向扩展至三维城市流场，使用基于Gated Transformer eXtra Large（GTrXL）架构的流感知PPO。尽管基于DRL的无人机导航取得了显著进展，现有研究仍存在一个或多个以下不足：1.风扰动通常由预设风矢量、简化解析模型、低维流动信息或相对理想化的流环境表征。尽管这些处理方式便于算法开发与评估，但无法完整复现城市边界层内建筑物诱导的流动分离、尾流相互作用、再循环和三维速度波动的综合效应（Javaid et al., 2025）。因此，DRL导航策略在高保真三维城市湍流下的行为和可靠性尚缺乏充分理解。2.即使纳入了局部风信息或机载感知，导航决策通常仍基于瞬时且空间有限的观测。然而在实际城市飞行中，无人机无法获取完整的瞬时流场，相似的局部观测可能来自不同的先前风扰动和运动历史。这种歧义使得时序信息对于识别潜在导航状态并在不稳定流动条件下维持可靠决策尤为重要。3.连续控制DRL中的探索通常通过随机动作采样实现，这增加了局部动作多样性，但不一定产生与先前访问轨迹之间时序一致的偏离。该问题在三维城市导航中更为突出，因为发现不同可行路线通常需要一系列协调决策而非孤立的动作扰动。4.许多DRL导航方法的性能主要在固定或相关环境配置、有限目标设置和理想化传感与驱动假设下展示。流动条件变化以及传感器误差和执行器延迟等实际不确定性可能显著改变闭环导航过程。因此，需要在此类变化上进行更系统的评估，以确定学习策略在超出算法开发条件时是否仍保持可靠。上述部分可观测性和探索挑战表明，高保真三维城市湍流中的导航既需要时序状态推断，也需要更结构化的探索。在此类部分可观测性下，导航问题可自然地建模为部分可观测马尔可夫决策过程（POMDP）（Ragi & Chong, 2013）。历史观测可通过保留先前扰动和运动趋势信息来减少由此产生的状态歧义。循环网络提供了一种整合此类信息的手段（Hausknecht & Stone, 2015），而GTrXL进一步使用门控注意力捕捉更长时间跨度的时序依赖（Parisotto et al., 2020）；类似的时序信息也被证明有利于流感知决策（Huang et al., 2025, Liu et al., 2022）。然而，仅改进时序表示并不能保证有效的轨迹探索。参数空间和特征空间扰动研究表明，时序结构化变化比孤立的动作扰动能促进更一致的探索（Plappert et al., 2017），而循环连续控制策略中的探索仍然具有挑战性（Yang & Nguyen, 2021）。同时，基于新异性的方法提供了一种互补机制，将策略导向较少探索的区域（Burda et al., 2018, Pathak et al., 2017）。这些观察结果表明，有效的城市无人机导航应联合利用历史信息、时序一致的探索以及对连续控制决策敏感的新异性反馈。针对上述挑战，本研究提出了潜空间演员与RND增强的软演员-评论家框架（LARA-SAC），用于三维城市湍流中的无人机导航。LARA-SAC将历史观测队列和GTrXL编码器整合到SAC中以降低局部感知下的状态混叠。它进一步在演员中引入时序相关的潜空间探索以鼓励轨迹级探索，并在评论家中引入RND以提供针对较少访问状态-动作区域的新异性反馈。这些组件共同旨在改善高保真中性UBL环境中的任务完成度、探索效率和轨迹稳定性。本文其余部分安排如下：第2节描述UBL模拟设置。第3节介绍流场处理、无人机动力学和感知模型。第4节阐述所提出的LARA-SAC框架。第5节报告对比、泛化和消融实验结果。第6节总结本研究。第2节摘要：LES表述与数值方法 本文的LES求解理想化城市建筑阵列上方等温不可压缩ABL流的解析尺度运动。滤波量以φˉ表示。由于计算域相对较小（Lx=Ly=6.4 km），科里奥利力被忽略。流动由纵向背景压力梯度ΔPx驱动，该梯度在盖逆温层（z

刘俊豪：撰写——审阅与编辑、监督、软件、资源、项目管理、资金获取、正式分析。利益冲突声明：作者声明不存在任何已知的竞争性经济利益或个人关系，这些情况可能对本研究报告中的工作产生影响。致谢：本研究部分获得香港研究资助局（RGC）一般研究基金（GRF）17211322的资助。严蕾 | 刘俊豪