AeroVerse-SkyNav：面向开放城市环境无人机具身导航的神经科学启发式统一视觉-语言-动作模型

《Pattern Recognition》：AeroVerse-SkyNav: Neuroscience-inspired unified vision-language-action model for UAV embodied navigation in open urban environments

　　

•SkyNav是一种面向无人机城市导航的统一视觉-语言-动作模型。•AeroSAM通过受神经科学启发的特征解析方法解决了边界模糊问题。•分层解析机制将指令分解以实现细粒度的跨模态对齐。•SkyNav在CityNav上取得了SOTA性能，将导航误差降低了28.3%。•生物学原理增强了空间推理和环境感知能力。

引言

具身人工智能（Embodied AI）的快速发展重新激活了无人机（UAV）的自主运行能力，使其从简单的执行器转变为具备感知、推理和交互能力的智能体[1]，[2]，[3]。作为具身智能领域的一项关键技术，视觉-语言导航（VLN）通过将视觉感知与自然语言理解深度融合，为复杂环境中的高层自主导航建立了新的范式[4]，[5]，[6]，[7]，[8]。特别是从高空俯视角度出发，无人机凭借其广阔的作业范围和优异的机动性，在智慧城市巡检和灾害救援等大规模场景中展现出不可替代的应用价值[9]，[10]，[11]。然而，与地面或低空导航相比，高空视角的环境感知从局部、具体的物体交互转变为大规模、宏观的拓扑理解。这一转变对智能体在复杂环境中的空间跨度认知和远距离导航决策提出了严峻挑战。

近年来，大语言模型（LLM）在常识推理和多模态理解方面的卓越能力为解决复杂场景下具身智能的挑战提供了新的机遇[12]，[13]，[14]，[15]，[16]，[17]，[18]。受这些进展的启发，我们旨在利用大语言模型增强智能体在大规模高空环境中的语义理解和空间对齐能力，实现无人机智能体在复杂城市环境中对自主指令理解和路径规划。在此过程中，主要存在两个核心难题：

高空成像的尺度效应导致环境表示边界模糊。一方面，尽管无人机的广角视野覆盖了大范围区域，但固有的分辨率限制和大气干扰会导致建筑物边缘和道路轮廓等高频信息的衰减。在600米的飞行高度下，地面采样距离达到0.5米/像素，导致严重的边界模糊问题[19]。另一方面，现有视觉模型在语义理解过程中倾向于关注低频全局信息，而过度平滑了关键的高频细节。这导致生成的语义地图精确度不足，无法准确解析环境的几何属性和空间拓扑关系，使得模型的环境理解不够充分。

多模态信息之间的语义鸿沟阻碍了跨模态对齐。一方面，俯视视角下的大规模环境感知不仅需要从稀疏像素中提取地标位置和道路方向等关键语义，还依赖于颜色和纹理等原始图像细节来增强环境理解。然而，高空观测固有的分辨率瓶颈导致的像素稀疏性使模型难以同时平衡语义提取和细节保留。另一方面，语言指令往往包含具有复合逻辑的多步操作，要求模型同时解析空间方向、动作序列和目标优先级。传统方法缺乏分层分解指令结构的能力，难以将视觉特征与语言指令中的抽象描述直接关联。

近期的神经科学研究表明，人类和动物的大脑利用专门的神经回路进行边界检测和空间推理。视觉皮层中的神经元对不同空间频率表现出选择性响应，某些生物导航系统利用复杂的多尺度处理机制[20]，[21]。这些生物学原理启发了我们使用频率感知方法来解决航拍图像中的边界模糊问题，并使用分层机制来处理复杂的语言指令[22]。在这些生物学洞察的基础上，本文提出了SkyNav——一个面向开放城市环境中无人机具身任务的统一视觉-语言-动作模型。如图1所示，该模型旨在通过生成高保真语义地图来精细化环境表示，并通过分层指令解析弥合视觉与语言之间的语义鸿沟，从而应对两个核心挑战：高空成像中的边界模糊和跨模态粒度对齐。

针对第一个问题，受视觉皮层神经机制的启发，我们构建了一个"高保真语义地图生成器"，通过增强对图像高频信息的敏感性来生成语义清晰的地图。具体来说，我们将SAM[23]的通用分割能力迁移到无人机领域，设计了AeroSAM模块。该模块通过显式注入高频特征，显著提高了道路、建筑物和植被等元素边界的分割精度。经过该生成器处理的无人机俯视图包含精确的目标位置和清晰的环境语义信息，我们将其命名为高保真语义地图（HFM）。此外，我们设计了一个地图编码器，使用不同核大小的并行卷积层处理HFM，以同时提取不同尺度的空间环境特征。

针对第二个问题，受海马体-内嗅皮层系统的启发，我们开发了一个"分层跨模态对齐器"，通过融合视觉特征与地图信息并分层分解文本指令来实现模态对齐。具体而言，我们首先使用地图编码器处理包含目标位置和运行语义的俯视图，获得语义增强的HFM特征。然后，为了补偿HFM中缺失的细节信息（例如颜色和纹理），将原始俯视RGB图像输入视觉语言模型（VLM）的图像编码器以获取图像特征。语义增强的HFM特征和图像特征通过可学习门控注意力机制进行拼接。该机制实现了环境语义信息与详细视觉特征之间的有效互补，增强了模型对复杂场景的多层次理解。此外，我们设计了一个多尺度指令解析模块，将复合语言指令分解为用于识别目的地的"目标层级"、用于提取关键地标的"路标层级"和用于解析辅助定位细节的"参考层级"，逐层缩小跨模态映射粒度。最后，采用大型视觉语言模型作为决策模块，基于导航语言指令文本做出决策。

本文的主要贡献总结如下：

1. 受人脑专门化神经机制的启发，我们提出了SkyNav，一个面向开放城市环境中无人机具身任务的统一视觉-语言-动作模型。
2. 我们设计了AeroSAM，通过高频特征注入解决航拍俯视图中边界模糊问题，其mIoU比SAM高出10.6%。
3. 我们设计了一个多尺度指令解析模块，将高层语言指令分解为子目标序列，从而建立细粒度的跨模态关联。
4. 我们设计了一个语义地图编码器，通过多尺度卷积核的并行处理捕获不同粒度的环境特征。
5. SkyNav在CityNav数据集上的所有导航指标上显著优于现有基线模型，与基线模型相比，在Test Unseen场景中将导航误差降低了28.3%。

研究片段

视觉-语言导航

视觉-语言导航（VLN）要求智能体根据自然语言指令在环境中规划路径。早期的VLN研究主要集中在由静态全景图像表示的室内场景，例如经典的R2R数据集[5]。这些工作通常采用编码器-解码器架构，融合视觉观察和文本指令来预测下一个动作[24]，[25]。随着研究的推进，导航环境的多样性和复杂性不断增加，

任务描述

高空无人机视觉-语言导航任务可以形式化为一个部分可观测马尔可夫决策过程。智能体在时间t接收到四元组观测Ot=(It,Pt,L,Ht)，其中It∈RH×W×3是当前俯视RGB图像，Pt∈R6是无人机的6自由度位姿（位置和欧拉角），L是自然语言导航指令，Ht是历史动作序列。任务目标是生成一个连续动作at=(Δx,Δy,Δz,Δθ)∈R4，使无人机到达

数据集介绍

第一阶段训练使用的数据集是LoveDA数据集[45]，这是一个大规模的土地覆盖语义分割公共数据集，包含城市和乡村场景中的不同传感器的航拍图像。它涵盖了建筑物、道路、水体和森林等7个类别，与我们的城市场景高度相关。

第二阶段训练使用的数据集是CityNav数据集[46]。该数据集基于高分辨率卫星图像构建，并

结论

受人脑生物学原理的启发，我们提出并实现了一个名为SkyNav的具身智能导航框架，以解决高空无人机VLN中的两个核心挑战。我们的主要贡献有三方面：(1)我们提出了第一个面向开放城市环境中无人机具身任务的统一视觉-语言-动作模型；(2)我们设计了创新的AeroSAM模块，通过注入高频特征有效克服了高空视角下的边界分割难题，

CRediT作者贡献声明

刘友志：撰写——审阅与编辑，撰写——原稿，可视化，验证，软件，资源，方法论，概念化。
姚方龙：撰写——审阅与编辑，概念化。
张文怡：概念化。
岳远昌：概念化。
胡鹏：概念化。
翟迎晨：资源。
徐广峦：资源。
孙娴：资源。
傅坤：资源。

生成式AI及AI辅助技术在手稿准备过程中的使用声明

作者声明在准备本文的过程中未使用任何生成式AI或AI辅助技术。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：姚方龙报告获得了中国国家自然科学基金的资助。孙娴报告获得了中国国家自然科学基金的资助。姚方龙报告获得了北京市自然科学基金的资助。翟迎晨报告获得了天津市重点

刘友志|姚方龙|张文怡|岳远昌|胡鹏|翟迎晨|徐广峦|孙娴|傅坤