一种面向城市环境中人与无人机交互的无传感器风感知多模态反馈框架

《ADVANCED ENGINEERING INFORMATICS》：A sensorless wind-aware multimodal feedback framework for human-drone interaction in urban environments

　　

摘要

无人机（UAV）正越来越多地应用于城市配送、基础设施检测和应急响应领域，然而在密集建成环境中作业仍然困难，因为建筑物引起的湍流会引入不可见的气动扰动，从而损害控制性能、增加认知负荷并削弱对自主系统的信任。本研究提出了一种面向城市环境中无人机人机交互的无传感器风感知多模态反馈框架。该框架融合了基于Unity的城市仿真环境、无传感器风速估计与风场重建方法、沉浸式视觉界面、躯干穿戴触觉反馈以及自适应听觉警告通道。该方法不依赖专用风速传感器，而是从无人机的动态响应中推导出具有仿真依据的局部风况估计，并利用这一推断的风况表征来驱动多模态反馈以实现环境感知。一项包含30名参与者的对照实验评估了四种反馈条件：对照、视觉、视觉+触觉以及视觉+触觉+听觉。结果表明，视觉+触觉反馈在导航效率、安全性、工作负荷和信任度之间取得了最有效的平衡，而三模态条件虽然进一步提高了任务效率，但代价是认知需求更高。这些结果表明，将无传感器环境估计与多模态界面设计相结合，是改善复杂城市环境中以人为中心的无人机作业的一个有前景的方向。

引言

无人机（UAV）或称无人机，正迅速改变城市配送、基础设施检测和应急响应等领域的应用，提供无与伦比的机动性、可达性和成本效益 [15]、[28]、[29]、[46]、[47]。在末端物流中，无人机能够在拥堵的城市区域实现快速无接触配送，减少运输时间和燃料消耗。在基础设施检测中，它们将人为风险降至最低，并为结构评估提供高分辨率数据。在应急响应中，无人机支持灾害制图、搜索和物资投递。在建筑、工程和施工（AEC）领域，无人机如今已常规性地用于进度监控、竣工测量、幕墙检查和安全管理 [20]、[51]。然而，在密集城市环境中部署无人机面临着重大空气动力学挑战。"城市峡谷"效应：高楼之间的狭窄通道会产生湍流和突发性阵风，其强度可能超过无人机的稳定阈值 [26]、[38]。这些扰动并非仅停留在理论层面；实地研究表明，高层建筑拐角附近的阵风强度可达到远超环境风水平的量级，为轻型无人机造成局部危险 [13]。此类状况尤为棘手，因为多旋翼飞行器依赖快速推力调整来维持稳定性，而当阵风速度接近或超过飞行器的最大飞行速度时，通常无法恢复。热梯度和多样的建筑几何形状进一步复杂化了风场模式，形成湍流区、下沉气流或回流涡旋区域 [2]。大涡模拟表明，即使单个建筑物也能产生相干涡旋脱落，流场不稳定性可向下游延伸数百米，直接影响无人机预计航行的空中走廊 [18]。计算流体力学（CFD）研究表明，微尺度环境因素，如表面材料、建筑热负荷和与其他结构的邻近程度，可能不可预测地影响气流，使手动驾驶变得更加复杂。例如，更光滑的立面可能高效地将空气引导通过狭窄通道，而复杂的屋顶几何形状则产生间歇性下沉气流，使悬停无人机失稳 [5]。在实际操作中，无人机操作员缺乏关于这些不可见力的直接感官线索，必须依赖界面反馈或无人机运动的间接信息。这种感知断层增加了情境不确定性，并提高了导航过程中的认知需求。现实世界的失败案例已经说明了这一风险：多旋翼无人机在高层建筑附近运行的实地实验表明，建筑物引起的湍流产生的突发阵风导致稳定性迅速丧失和多次坠毁，凸显了飞行员情境意识的局限性以及风况反馈不足的后果 [24]。针对小型无人航空系统抬头显示器（HUD）的研究同样表明，界面设计强烈影响操作员的情境意识和表现 [33]，这强调了为人机飞行员配备直观且及时的反馈以使风况变得可感知的必要性。设计将环境危险映射为直观多模态线索的界面变得至关重要，以弥合这一差距并确保安全的城市运行 [1]、[39]。除气动扰动外，城市无人机作业还受到有限的飞行走廊、不断演进的空中交通管理要求以及严格要求操作员时刻保持警觉的严格安全法规的进一步制约。这些条件提高了导航的复杂性，因为人类飞行员必须同时监控环境湍流、避免与静态和动态障碍物碰撞并遵守法规边界。在这种约束下平衡安全性、效率和任务目标的必要性可能加剧压力并降低决策质量。仿真和实地试验的证据表明，在高工作负荷条件下的操作员容易出现响应延迟、轨迹跟踪质量下降以及碰撞事件增加 [45]。若缺乏有效的多模态支持，这些叠加的压力风险可能压垮操作员，这凸显了设计能够维持情境意识和校准信任的界面的重要性。

为应对这些挑战，本研究探讨了多模态反馈如何影响人类操作员并帮助他们更好地驾驶无人机应对极端城市风况。我们开发了一个基于Unity的仿真系统来模拟城市配送任务，其中湍流阵风频繁导致飞行失稳。三十名参与者佩戴VR头显（HTC Vive Pro）进行沉浸式视觉显示、穿着躯干穿戴触觉服获取触觉风向线索，并通过空间化音频接收环境警报，完成了导航试验。测试了四种反馈条件：对照（无增强）、仅视觉增强、视觉+触觉以及视觉+触觉+听觉线索。数据收集结合了客观指标，包括碰撞率和飞行时间，以及通过标准化问卷收集的信任和主观工作负荷评估。结果显示，视觉+触觉反馈获得了最高的信任评分和最低的认知工作负荷，表明双通道感官增强可提高用户信心并减轻精神压力。相反，三模态视觉+触觉+听觉条件产生了最低的碰撞率和最短的飞行时间，表明可以实现性能提升但需以更高的注意力需求为代价。这些发现提供了三个关键贡献：(1) 多模态反馈显著改善操作员在极端环境中效能的实证证据，(2) 视觉-触觉集成对于平衡信任和工作负荷最为优化的证明，以及(3) 识别三模态系统所引入的权衡——它们提高了客观性能但存在感觉过载风险。总的来说，本研究通过展示精心校准的多模态反馈对于城市配送场景中安全、高效且可信赖的无人机作业至关重要，推动了无人机人机交互界面的设计，为未来系统开发和更广泛的类人机交互应用提供了洞见。

章节摘要

背景与相关工作

本节概述了与本项研究最相关的文献，包括无人机人机交互中的人因、多模态反馈设计，以及无人机和遥操作在建筑、工程和施工领域的应用。

概述

图1展示了所提出系统的总体架构，该系统集成了城市仿真环境、多模态传感器增强、用户界面和人类操作员。该框架模拟了无人机如何感知动态条件以及操作员如何与该信息交互。系统侧重于通过感官对齐实现透明度、情境意识和信任，而非专注于强化学习控制。风况和障碍物等环境条件

概述

本实验旨在研究不同反馈模态如何影响人类在无人机控制任务中的表现、工作负荷、信任和注意力。参与者被要求通过复杂的城市环境操控无人机，同时适应动态风扰动。测试了四种反馈条件：无增强（对照）、仅视觉增强、视觉+触觉，以及视觉结合触觉和听觉线索。

结果

所有因变量均采用被试内设计进行分析，以反馈条件（对照、视觉、视觉+触觉、视觉+触觉+听觉）作为重复因素。由于样本量有限且多项测量指标（如碰撞次数、TLX评分、眼部指标、信任评分）违反了正态性假设，我们采用非参数检验。对于每一项结果，我们首先使用Kruskal-Wallis检验考察反馈条件之间的整体差异，然后进行了

多模态反馈对无人机操作的影响

本研究探讨了不同多模态反馈配置如何影响湍流城市风况下无人机导航中的人类操作员。结果表明，反馈设计不仅显著影响任务表现，还影响认知工作负荷、信任和视觉注意力。在所评估的条件中，视觉+触觉配置在操作性能、工作负荷降低和信任增强之间取得了最佳的整体平衡。

该

结论

本研究提出了一种无传感器风感知多模态反馈框架，以改善湍流城市环境中无人机人机交互。通过将风速估计与视觉、触觉和听觉反馈相结合，所提出的框架使操作员能够感知可见的环境信息和不可见的气动扰动。

一项人类受试者实验表明，不同反馈配置对无人机性能、认知产生了不同的影响

伦理审批与知情同意

本研究遵循《赫尔辛基宣言》的原则进行。研究方案经佛罗里达大学机构审查委员会审核批准（IRB202500782）。所有参与者均在参与前签署了书面知情同意书。

CRediT作者贡献声明

吴佳豪： 撰写 – 原稿、可视化、方法论、调查、形式分析。孙博文： 撰写 – 审阅与编辑、调查。周天雨： 撰写 – 审阅与编辑、验证、数据管理。徐方： 撰写 – 审阅与编辑、验证。杜静： 撰写 – 审阅与编辑、监督、资源、项目管理、方法论、获取资助、概念构思。

资金支持

本研究由美国空军科学研究办公室（AFOSR）资助，项目编号FA9550-22-1-0492。本文所表达的任何观点、发现、结论或建议均为作者本人，不代表AFOSR的观点。

利益冲突声明

作者声明不存在任何可能影响本文所述工作的已知竞争性经济利益或个人关系。

吴佳豪 | 孙博文 | 周天雨 | 徐方 | 杜静