《Engineering Applications of Artificial Intelligence》:Vision-based risk-aware emergency landing for aerial vehicles in complex urban environments
编辑推荐:
风险感知语义分割方法提升无人机在城市复杂环境中的紧急安全着陆能力,通过实时语义分割生成像素级风险图,结合持久风险记忆机制跟踪动态障碍物,并基于安全参数优化控制策略实现稳定着陆区选择。实验验证在动态密集城市环境中着陆成功率高达99%。
朱利奥·德·拉·托雷-瓦内加斯(Julio De La Torre-Vanegas)| 米格尔·索里亚诺-加西亚(Miguel Soriano-García)| 以色列·贝塞拉(Israel Becerra)| 迭戈·梅尔卡多-拉维尔(Diego Mercado-Ravell)
墨西哥萨卡特卡斯数学研究中心(CIMAT AC),地址:萨卡特卡斯市加利略·伽利莱大道(Calle Lasec y Andador Galileo Galilei)3号街区7号地块,量子知识城(Quantum Ciudad del Conocimiento),邮编98160
摘要
在拥挤的城市环境中安全着陆对于无人驾驶飞行器(UAV)来说仍然是一项至关重要但具有挑战性的任务,尤其是在紧急情况下。在这项研究中,我们提出了一种基于视觉的风险感知方法,该方法利用语义分割技术持续评估无人机视野范围内的潜在危险。通过使用语义分割网络为每个像素分配风险等级,并采用一个能够记录短暂危险的全局风险地图,我们的方法能够适应性地识别出稳定的安全着陆区域(SLZ),即使存在车辆、行人等移动障碍物以及其他视觉挑战。随后,控制策略会引导无人机前往这个低风险区域,同时利用高度相关的安全参数和时间上的着陆点一致性来确保合适的下降轨迹。在多种真实城市场景中对整个着陆策略进行的实验验证证明了该方法的有效性。使用视觉验证安全着陆框架(VIVA-Safeland)对不同的着陆策略进行了比较研究——该框架可以模拟无人机在预先录制的真实世界视频中的导航情况——结果显示,我们提出的解决方案在具有挑战性的动态真实世界场景中实现了高达99%的着陆成功率,在多个风险指标上表现优异,优于基线策略。我们的研究结果表明,以风险为导向的视觉方法,特别是那些结合了风险记忆的方法,能够在紧急着陆情况下有效降低事故风险,尤其是在复杂、无结构且充满移动危险障碍物的城市环境中,从而充分发挥无人机的真正能力。
引言
无人驾驶飞行器(UAV)在民用领域发挥着越来越重要的作用,涵盖了从基础设施检查、包裹配送到精准农业以及搜救操作等各种任务(Shakhatreh等人,2019年;Katkuri等人,2024年)。然而,一个主要挑战依然存在:如何在无结构的城市环境中实现安全可靠的着陆(Shah Alam和Oluoch,2021年)。当系统出现故障或突然发生紧急情况(如电池耗尽、通信中断或机械或电子损坏)时,传统策略往往无法应对。如果起飞后的目的地变得危险,返回基地的协议可能会失效;而基于标记的着陆方法(Pieczyński等人,2024年;Demirhan和Premachandra,2020年;Lv等人,2024年)在标记被遮挡、损坏或因不可预见的情况而无法使用时也会失效(Morando等人,2024年;Xu等人,2023年)。此外,仅依赖几何特征(如平面性)的方法可能会产生危险误导,它们可能将暂时空旷的道路段误认为是安全着陆区域,而忽略了与车辆交通相关的潜在风险。处理这种短暂性、语义性危险是本工作的核心重点。
包括欧盟航空安全局(EASA)的特定操作风险评估(SORA)(联合无人系统规则制定机构JARUS,2024年)在内的监管框架,通过要求为城市无人机操作提供可靠的保障措施,反映了这些关切。因此,最近的研究强调了在设计基于视觉的稳健着陆策略时考虑上下文意识的重要性,其中语义分割网络成为一种有趣的方法(Loera-Ponce等人,2025年;Abdollahzadeh等人,2022年;Benjwal等人,2023年)。通过使用深度神经网络(DNN)将环境分类为不同的语义类别(如道路、人行道、建筑物或植被),无人机可以实时推断出场景中每个区域的潜在风险。例如,在拥挤的人行道上或靠近快速移动的车辆附近着陆对人员和无人机都构成更高威胁,而开阔的公园或空旷的道路段可能更为合适。此外,采用考虑上下文的策略可以使得自主着陆的决策过程更加复杂,这在复杂城市环境中的紧急着陆情况下尤为重要,我们在这里将“复杂”定义为存在高风险移动障碍物(如人或车辆)的无结构城市场景。在这种情况下,风险感知的紧急着陆方法有望提升无人机在城市操作中的适用性。
为了解决上述挑战,本文介绍了一个全面的、仅依赖视觉的紧急着陆系统,该系统由多个相互连接的组件组成,如图1所示。首先,语义分割模型评估当前帧的风险等级;然后,从整个任务过程中积累的风险数据生成全局风险地图;接着应用一些图像处理技术来改进风险地图;最后提出决策策略以选择距离最近的安全着陆点。所提出的策略在真实复杂的城市环境中已被证明是有效的,能够有效应对高风险移动障碍物。本工作的主要贡献如下:
- 1. 一种完整的、端到端的、仅依赖视觉的自主着陆解决方案,使用朝下的单目相机。该系统将语义分割网络提供的像素级上下文信息转换为风险地图,并直接集成到连续的控制循环中。该解决方案适用于未知城市环境中的紧急情况,无需依赖标记或预先存在的地图,通过解决最小化问题来选择最安全的着陆点。
- 2. 引入了持久性的“风险记忆”机制,用于创建全局危险地图。该地图随时间累积了任何观察区域的最高感知风险,为短暂障碍物(如移动的车辆或行人)提供了可靠的记忆,提高了决策的鲁棒性,减少了分割噪声的影响。
- 3. 使用ViVa-SAFELAND基准进行了全面的定量评估和比较分析(Soriano-García和Mercado-Ravell,2025年)。据我们所知,这是首次将该框架应用于建立可复制的紧急着陆系统基准,为未来的比较研究设定了明确的基准。
本文的结构如下:第2节回顾了无结构环境中自主着陆的相关文献;第3节介绍了问题定义和提出的方法;第4节在不同真实城市场景下评估了这些算法,并展示了它们的良好性能;第5节讨论了结论和未来的工作方向。
相关工作
确保无人驾驶飞行器(UAV)的安全自主着陆仍然是一个关键挑战,尤其是在系统故障或GPS信号缺失的城市环境中,这些情况下事故可能带来严重后果(Shah Alam和Oluoch,2021年)。最近的综合评论广泛探讨了这一领域的技术发展,从基于标记的系统到先进的AI驱动方法(Semerikov等人,2025年)。基于视觉的系统提供了一个有前景的解决方案。
风险感知着陆策略
所提出的风险感知着陆策略由多个相互连接的组件组成,形成了一个用于安全自主着陆的完整在线流程。如引言中所述,我们的框架通过四个主要阶段处理视觉信息:风险地图生成、风险记忆、安全着陆区域选择,以及最终指导无人机下降的控制和导航策略。
实验验证
为了评估我们提出的风险感知着陆方法的有效性,我们使用了ViVa-SAFELAND框架(Soriano-García和Mercado-Ravell,2025年)在各种真实城市环境中进行了测试,该框架利用真实空中视频模拟了无人机的着陆任务。这使我们能够随机进行多次试验并捕获不同的定量指标。此外,该工具还使得测试场景的可重复性得以保证,从而实现公平的比较。
结论与未来工作
本文提出了一种基于视觉的风险感知控制方法,用于复杂城市环境中的安全着陆。通过利用语义分割创建像素级风险地图,并应用保守的高度相关风险传播技术,系统能够可靠地避开危险区域。全局风险地图方法保持了检测到的危险的持久“记忆”,而候选着陆点的时间平均处理则稳定了检测结果,减少了短暂风险的影响。
CRediT作者贡献声明
朱利奥·德·拉·托雷-瓦内加斯(Julio De La Torre-Vanegas):撰写 – 审稿与编辑、原始草稿撰写、可视化、验证、软件开发、方法论研究、概念化。
米格尔·索里亚诺-加西亚(Miguel Soriano-García):撰写 – 审稿与编辑、验证、软件开发、数据管理、项目协调、方法论研究、概念化。
以色列·贝塞拉(Israel Becerra):撰写 – 审稿与编辑、原始草稿撰写、可视化、监督、项目管理、方法论研究、数据管理、概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益和个人关系:迭戈·梅尔卡多-拉维尔(Diego Mercado-Ravell)表示获得了海军研究全球办公室(Office of Naval Research Global)的财务支持;以色列·贝塞拉(Israel Becerra)表示获得了科学、人文、技术与创新秘书处(Secretariat of Science Humanities Technology and Innovation)的财务支持;米格尔·索里亚诺-加西亚(Miguel Soriano-García)也表示获得了海军研究全球办公室的财务支持。如果还有其他作者,他们也声明了各自的财务支持来源。
致谢
本工作得到了海军研究全球办公室(Office of Naval Research Global ONRG)的支持,奖项编号为N62909-24-1-2001。