《International Journal of Human-Computer Studies》：Resilient MR-Based Human-Swarm Interaction for UAV Search and Rescue in Risk-Conflict Scenarios
编辑推荐：
无人机集群搜索救援中基于混合现实的人机交互系统设计及效能验证，通过分析风险冲突场景与构建抗脆弱交互框架，有效提升操作员态势感知与心理韧性。
方友 | 江宇青 | 潘思琪 | 王宇辰 | 傅倩文
同济大学，艺术与传媒学院，上海 201804，中国
摘要
随着无人机（UAV）在搜索与救援（SAR）任务中使用的日益增加，提高无人机群操作的效率和安全性变得越来越重要。在执行SAR任务时，操作人员经常面临复杂且非结构化的风险冲突情况，这些情况对他们的情境感知和心理韧性提出了挑战。本研究提出了一种具有韧性的混合现实（MR）人机群交互（HSI）系统，旨在高风险环境中提供更直观和沉浸式的交互体验，从而增强操作人员的情境感知和心理韧性。该研究基于团队情境感知模型，并结合了韧性设计原则。首先，分析了野外SAR场景中的风险和冲突来源，并识别了人机群团队的认知特征。基于韧性交互模型，开发了一种MR HSI系统，以提供增强的感知反馈，弥补操作人员的认知局限，并提高其心理韧性和系统级的风险承受能力。最后，在具有代表性的风险冲突场景中使用了原型MR HSI系统进行了实验。结果表明，所提出的方法显著提高了操作人员的情境感知能力，并有效支持了他们在高风险SAR任务中的心理韧性。
引言
自主和远程操控的机器人在民用应用中发挥着越来越重要的作用。特别是在野外搜索与救援（SAR）任务中，人机团队（HRT）的整合带来了显著的好处。机器人队友使响应者能够进入不确定和危险的环境，同时扩展了人类的操作能力。与单机器人系统相比，多机器人团队可以从多个视角提供情境感知（Sato等人，2004年），能够部署分布式传感器并降低载荷要求（Parker，2007年），并提高任务的容错能力（Liu和Nejat，2016年）。
由于无人机（UAV）具有高机动性、快速部署和操作灵活性（Pajares，2015年），它们已成为SAR任务中的关键空中资源。它们的使用显著减少了响应时间并增加了任务覆盖范围。为了充分利用无人机群的优势，需要有效的人机群交互（HSI）。作为人机交互（HCI）的一个子领域，HSI关注人类如何引导、协调和监督机器人群，同时保持群体的自主性以实现共同的任务目标（BENABBOU等人；Kolling等人，2015年）。
尽管无人机群在SAR任务中具有优势，但在野外环境中操作它们仍然极具挑战性。这些环境往往混乱、非结构化且危险，经常引发风险冲突情况，其中环境不确定性与系统内部不一致性相互作用（Clerigues等人，2024年；Granadeno和Cleland-Huang，2025年）。然而，现有研究很少对这些场景进行系统分析，也没有探讨它们如何影响操作人员的感知、认知负荷和适应性决策。因此，对风险冲突元素及其对SAR操作中人机群交互影响的全面理解仍然有限。
在高风险和时间紧迫的任务中，操作人员的情境感知（SA）——即感知、理解和预测环境及相关实体状态的能力（Endsley，1988年；Endsley，1995年）——在任务规划和决策中起着核心作用。然而，环境的复杂性、冲突信息以及大量多源数据会降低SA并增加认知负荷。与SA密切相关的是人机群系统的韧性，包括系统级韧性，即通过鲁棒性、适应性和恢复能力在干扰下保持可接受性能的能力（Hollnagel等人，2006年），以及操作员级别的心理韧性，定义为在压力下保持稳定和适应的能力（Feder等人，2009年）（Feder等人，2009年）。在人机协作中，这两种形式的韧性是相互依存的：改进的SA和适应性自动化可以减少认知负荷和压力，从而支持操作员的韧性（Fletcher和Sarkar，2013年），而具有韧性的操作员更能管理系统能力，增强人机群系统的整体韧性。
尽管韧性工程已在智能系统中得到探索，但其应用于基于无人机群的SAR任务中的HSI仍然有限。现有研究主要集中在提高各个子系统的韧性上，如通信网络、编队控制和任务分配，而人机群协作系统的韧性研究相对较少。此外，群体韧性高度依赖于具体情境，当前的HSI框架强调协调和信息共享，但在风险冲突条件下对稳定协作提供的支持有限。
同时，随着SAR环境变得越来越动态和信息丰富，传统的远程操作界面和二维图形用户界面在感知和决策方面提供的支持有限。虚拟现实、增强现实和混合现实技术的最新进展为通过将空间信息整合到沉浸式环境中来增强人机群交互提供了新的机会（Coovert等人，2014年；Nagi等人，2014年；Bruce等人，2017年；Walker等人，2018年；Macchini等人，2019年；Rosen等人，2020年；Zheng等人，2023年；Catellani等人，2024年；Morando等人，2025年）。在SAR场景中，混合现实界面可以帮助操作员更好地感知操作环境并理解群体行为（Catellani等人，2024年；Morando等人，2025年）。然而，关于基于MR的韧性交互设计在无人机群SAR中的影响的研究仍然有限，特别是在风险冲突条件下对情境感知、认知负荷和心理韧性的影响方面。
为了解决这些差距，本研究引入了MR技术，以创建更沉浸式的无人机群SAR操作环境。目标是通过以韧性为导向的交互设计来增强操作人员的情境感知、减少认知负荷并加强心理韧性。基于这一研究背景，提出了以下研究问题：
RQ1
在基于无人机群的SAR任务中会出现哪些类型的风险冲突场景，这些场景如何影响操作人员的认知和感知能力？
RQ2
针对基于无人机群的SAR任务，HSI的界面设计策略是什么
RQ3
MR HSI系统中的韧性设计能否在风险冲突场景中增强操作人员的情境感知和心理韧性？
为了解决RQ1，本研究确定了基于无人机的野外SAR操作中的风险冲突因素，并分析了人机群交互中的联合感知和认知特征。基于情境感知理论，提出了一个人机群协作的韧性交互框架。对于RQ2，通过问卷调查和专家访谈得出了典型的风险冲突场景。分析了无人机操作人员的操作需求，从而开发了基于MR的HSI界面设计框架。通过可用性测试迭代改进了界面原型。对于RQ3，基于所提出的框架开发了一个人机群救援模拟器。实验评估表明，具有韧性的MR HSI系统在风险冲突SAR场景中减少了操作人员的认知负荷，同时提高了他们的情境感知和心理韧性。
章节摘录
无人机的人机群交互
人机群交互（HSI）是人机交互（HRI）的扩展，关注人类操作员与大量自主代理（如无人机或地面机器人）之间的通信和协调（Kolling等人，2015年）。与通常涉及一对一或小规模交互的传统HRI不同，HSI要求操作员监督分布式自主性并解释多个代理的集体行为。由于
SAR中的风险冲突分析
在野外SAR操作的HSI背景下，救援团队面临来自环境、技术和人类因素的挑战和风险。智能系统在面对各种挑战、压力、故障或意外情况时保持关键功能、性能和用户体验的能力至关重要。因此，基于救援场景，开发了一个HSI框架，如图2所示。通过分析风险冲突
目标和假设
实验场景设定在一个山区野外，山洪暴发将登山者困在山谷中。大雨导致道路无法通行，地面救援团队无法到达现场。因此，部署了一支无人机群进行搜索操作，并提供关键情境信息以支持救援团队。
基于这一场景，本研究探讨了以韧性为导向的人机群交互（HSI）设计如何影响操作人员的情境感知
讨论
本节全面总结了研究内容，并基于实验数据分析讨论了研究结果，以验证提出的研究假设。利用构建的设计框架和原型，开发了一个用于搜索与救援操作的群体人机协作模拟器。本研究旨在检验韧性交互界面是否能够有效减少操作人员的认知负荷并提高他们的情境感知和心理
结论
本研究调查了野外SAR任务中的风险冲突场景，重点关注操作人员在与人机群协作中的情境感知（SA）和心理韧性。它系统地识别了风险冲突的来源，构建了HSI的认知模型，并提出了基于SA理论的韧性设计框架，以指导界面开发。该框架旨在增强操作人员在复杂环境中的沉浸式和可解释的交互支持
数据可用性声明
本研究中生成和/或分析的数据集可根据合理请求向相应作者索取。
未引用的参考文献
Zhu等人，2019年；Divband Soorati和Clark，2021年；Fernandez Rojas和Debie，2019年；Benabbou和Khaldi
CRediT作者贡献声明
方友：撰写——原始草稿，监督。江宇青：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，方法论，调查，数据整理。潘思琪：验证。王宇辰：软件。傅倩文：撰写——审阅与编辑。
