《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：Augmenting First-Person Drone Swarm Teleoperation With Multisensory Feedback
编辑推荐：
本文评估了多感官反馈如何提升人类对空中无人机集群的遥操作性能。有效的集群任务监管要求用户界面能够同时传达集群内部状态及环境信息。虽然自上而下的视角（Top-Down View, TDV）能够自然地提供这些信息，但在真实应用场景中并不具备现实可行性。相比之下，第
本文评估了多感官反馈如何提升人类对空中无人机集群的遥操作性能。有效的集群任务监管要求用户界面能够同时传达集群内部状态及环境信息。虽然自上而下的视角（Top-Down View, TDV）能够自然地提供这些信息，但在真实应用场景中并不具备现实可行性。相比之下，第一人称视角（First-Person View, FPV）与集群的分布式特性高度契合，却限制了操作员对集群全局状态的感知能力。为弥补这一不足，研究人员设计了一种多感官界面，通过触觉与听觉反馈对FPV界面进行增强。具体而言，研究人员提出了一种新型映射策略，将复杂的集群状态压缩为直观可感的提示信息，利用振动触觉夹克（vibrotactile jacket）与空间音频（spatial audio）传递关键状态指标。通过一项用户研究，研究人员发现：尽管TDV视角在绝对性能上表现最佳，但多感官反馈为FPV视角带来了显著的性能提升。上述结果表明，多感官反馈能够有效缓解FPV视角固有的信息局限，在改善操作性能的同时，使人类-集群（human-swarm）遥操作变得更加可靠。
近年来，随着自主操作技术的持续进步，无人机集群在搜救行动、环境监测及基础设施巡检等领域展现出变革性的应用潜力。然而，在涉及人身安全的敏感任务中，人类监督仍是不可或缺的核心环节。此类监督要求人机交互界面能够同时向操作员呈现集群的内部状态与周边环境信息。自上而下的视角（Top-Down View, TDV，即从集群上方俯瞰的全局视角）虽能天然地满足这一需求，并提供优异的环境感知能力，但在真实场景中的部署面临显著瓶颈：若由集群中的某一成员承担全局视角任务，将引入单点故障风险，削弱集群的鲁棒性；而依赖实时重建技术获取全局视野，又难以保证足够的保真度。与之相对，第一人称视角（First-Person View, FPV，即机载摄像头捕获的第一人称画面）充分依托了空中集群的分布式与鲁棒特性，且已有研究表明其能够带来更高程度的沉浸感与操作绩效。但FPV视角存在一个关键缺陷：操作员仅能观测到机载摄像头所覆盖的局部画面，无法及时感知脱离视野范围的无人机动态，从而导致对集群整体状态的态势感知（Situation Awareness, SA，即对周围及自身状态的感知、理解与预测）严重下降。因此，如何在保留FPV固有优势的前提下，有效补偿其信息缺失，成为提升集群遥操作可靠性亟待解决的关键问题。
为填补FPV视角下的信息鸿沟，研究人员开展了一项系统性研究，探索通过听觉与触觉反馈增强FPV界面以实现对集群状态的高效传达。该研究的核心难点在于：人类单一的视觉视角与集群在整个环境中分散分布的物理形态之间存在本质性不匹配，且现有方法尚未建立将多智能体状态非视觉化地传达给单一操作员的成熟范式。针对上述挑战，研究人员基于Olfati-Saber集群算法（Olfati-Saber flocking algorithm，一种基于势场的分布式协调算法），提取了一套可解释的集群状态指标，并通过新型映射策略将其转化为操作员可直观理解的触觉与听觉线索。研究结论表明，尽管TDV在遥操作任务中取得了最优的绝对性能，但多感官反馈的引入显著提升了FPV视角下的操作表现，具体表现为任务完成时间缩短、坠机次数减少、无人机孤立时长下降以及认知负荷的明显降低。这一发现对于推动FPV在复杂集群任务中的实际应用具有重要价值，即在无法部署TDV的现实约束下，多感官反馈能够作为有效的技术途径，显著提升人-集群协同遥操作的可靠性与安全性。
研究人员开展了一项被试间设计（between-subjects，即不同参与者接受不同实验条件的实验设计）的用户研究，共招募40名参与者（平均年龄28.2±8.8岁），通过Unity仿真平台与Xbox控制器操控20架模拟无人机完成障碍赛道任务。集群协调基于Olfati-Saber算法，通过势场（potential fields，即通过虚拟力场实现避障与聚集的物理模型）调节机间距离并实现避障；邻域判定定义为1.3倍期望分离半径内且无遮挡。研究设置FPV与TDV两种视角：FPV条件下参与者操控集群领队无人机，TDV条件下以集群为整体单位设置参考速度。触觉系统基于VibraForge工具包构建，包含32个振动触觉执行器（vibrotactile actuators，即产生振动以传递触觉信息的执行器），由10个线性谐振执行器（Linear Resonant Actuators, LRA，一种通过线性运动产生振动的执行器）沿手臂、12个音圈执行器（Voice Coil Actuators, VCA，一种通过音圈驱动产生振动的执行器）分布于腰躯干，配合空间音频传递离散事件。界面实时呈现集群离散度（Spreadness）、连接度（Connection）、轨迹预测、坠毁与孤立计数及障碍物作用力，关键状态映射为特定身体部位的振动与声音线索，系统经Unity集成后实现20毫秒端到端延迟。参与者随机分配至多感官反馈组或纯视觉组，完成八次试验，采用Mann-Whitney U检验评估组间差异，并通过NASA任务负荷指数（NASA Task Load Index, NASA-TLX，一种衡量主观工作负荷的多维量表）测量工作负荷。
Haptics Versus Non-Haptics：触觉反馈在FPV条件下的收集任务（Collectible）中效果最为显著，通过对比有无触觉的组间数据发现，坠机次数、孤立时长与任务完成时间三项指标均获显著改善。在TDV条件的障碍任务中，触觉反馈缩短了完成时间，但其他指标未出现显著提升，这主要归因于TDV本身已具备较优的空间感知能力。
TDV Versus FPV：无论障碍任务还是收集任务，TDV视角均展现出优于FPV的综合性能，具体表现为任务完成时间更短、单位航次坠机次数更少、无人机孤立时间更短。上述趋势在两类任务中保持一致。
NASA-TLX Workload：触觉反馈显著降低了多数条件下的心理负荷。在FPV收集任务中，无触觉条件下工作负荷评分为10.83±3.76，引入触觉后降至8.04±3.76（p<.01）；TDV条件下亦呈现类似显著降低。障碍任务中，FPV条件下工作负荷由8.60±2.71降至6.86±3.79（p<.05），而TDV条件下差异未达显著水平（p>.05）。此外，参与者对收集任务在心理需求、挫折感及感知绩效上的评分均高于障碍任务，表明收集任务被普遍认为具有更高的认知复杂度。
Haptic-Audio Feedback Enhances Performance Under Cognitive Load：研究讨论指出，多感官反馈在认知负荷最高的FPV收集任务中实现了最优干预效果。触觉与听觉线索通过外周感觉通道传递关键状态信息，使操作员得以将视觉注意力重新分配至导航与收集等高层目标，从而实现认知卸载。然而，在TDV条件下，由于全局视野已充分呈现集群动态，额外感官线索的增益相对有限，甚至因与视觉信息冗余而导致部分参与者忽略触觉提示，这提示未来设计中触觉阈值应根据视角类型进行差异化标定。
Control Burden in FPV：关于FPV的控制困境，讨论认为领队无人机因被豁免于集群内聚力与障碍物作用力，其运动优势使操作员陷入对集群的微观管理，不得不持续进行人工干预。这种机制可能是FPV条件下碰撞与孤立频发的重要原因，未来研究可考虑引入信息素轨迹或动态跟随机制以赋予集群自组织能力。
Study Limitations and Future Work：在局限性方面，参与者反馈触觉系统的空间分辨率与强度辨别能力有限，导致部分方向性线索存在歧义。听觉与触觉线索的联合引入设计混淆了各自的独立贡献，有待后续实验解耦。此外，态势感知系通过绩效与负荷间接推断，未来可采用SAGAT或SART等工具直接测量。研究采用的障碍赛道因缺乏遮挡与狭窄空间，客观上更利于TDV，而隧道检测等真实场景可能更契合FPV。实时控制对通信延迟与定位精度的严苛要求，亦对实际部署构成挑战。
Conclusion：本研究表明，多感官反馈在FPV集群遥操作中引起了操作绩效与工作负荷的显著积极变化。尽管TDV始终维持更高的绝对操作水平，但在最具挑战性的FPV收集任务中，触觉与听觉反馈显著削减了任务完成时间、坠机次数及无人机孤立时长，并降低了两种FPV任务中的主观工作负荷。多感官反馈在FPV视角环境感知受限的场景下最为有效，能够显著弥补FPV固有的信息缺陷，使FPV集群遥操作性能接近TDV界面水平，为复杂系统中第一人称视角的多感官增强设计提供了重要的实证依据。
