《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Designing Backup-Supporting Information Displays for Multi-Human Multi-Agent Teams in Drone Swarm Supervision
编辑推荐:
搜救(search-and-rescue, SAR)无人机集群日益需要多操作员监督;在此类监督中,备份行为(backup behaviors)通过重新分配认知负荷来改善绩效,但在态势感知(situational awareness, SA)和任务投入(task
搜救(search-and-rescue, SAR)无人机集群日益需要多操作员监督;在此类监督中,备份行为(backup behaviors)通过重新分配认知负荷来改善绩效,但在态势感知(situational awareness, SA)和任务投入(task engagement)方面引入权衡。现有人-自主系统团队协作(human-autonomy teaming)界面在所有角色间呈现对称显示,忽视了备份提供者与接收者的非对称信息需求(asymmetric information needs)。研究人员开发了一个双人、八无人机Unity SAR试验台(testbed),通过事件分配操纵(event-allocation manipulation)实现三种团队结构(独立、Operator A-busy、Operator B-busy),并采用由SPAM(Situation Present Assessment Method)衍生的任务中SA探测(in-task SA probe)。三轮迭代焦点小组(focus groups)由八名以人为中心设计(human-centered design)研究者和专业人员参与,形成四种显示条件:无显示基线(no-display baseline)、努力显示(effort display)、紧迫性显示(urgency display)和组合显示(combined display)。对三名SAR从业者的半结构化访谈(semi-structured interviews)确认了整体试验台的高真实性评分以及动态备份(dynamic backup)的可行性。一项可行性试点研究(feasibility pilot study,N = 4)显示团队结构对备份次数(backup count)具有显著主效应(main effect),证实该操纵按设计诱发备份行为。
研究背景与问题:SAR任务日益时间紧迫且资源受限,无人机可扩展地面队伍难以到达地形的覆盖范围,并在城市紧急事件中支持一线响应者。随着任务规模扩大,操作员需在严重时间压力下监控多路空中视频流,超过个体对五至七个实体的监督容量,这推动从单人控制转向多人类、多智能体配置(multi-human, multi-agent configurations)。其中,备份行为(backup behavior,团队成员自主向队友提供努力以防止任务失败)是关键机制。备份可降低工作负荷并改善绩效,但引入权衡:提供者可能忽视自身任务,接收者可能形成依赖并脱离任务,降低团队SA。现有SAR界面仍向所有操作员呈现对称显示,迫使不同备份角色从相同信息流中自行筛选,产生协调复杂性和角色模糊;这种对称界面与非对称需求之间的错配不能仅靠显示设计解决。专业无人机操作员的现场研究表明工作负荷、信息显示和团队协调紧密纠缠,近期多无人机SAR工作发现操作员信任共同取决于信息显示和团队结构。因此,研究人员设计基于从业者经验、面向不同团队结构信息需求的角色特定显示。
研究开展、结论与意义:研究人员开发了可诱发不同团队结构中动态备份行为的SAR模拟试验台,并通过迭代焦点小组和专家访谈提出并验证三种角色特定显示。研究贡献包括:双人八无人机SAR试验台,实现三种团队结构并配有SPAM衍生的SA探测;由三轮焦点小组综合出的三种新信息显示,即努力显示、紧迫性显示和组合显示;通过从业者访谈和试点研究进行验证。该工作为比较多团队结构下备份行为如何出现和差异提供基础,并为面向实际部署备份机制的证据化训练工具奠定基础。
关键技术方法:采用双人八无人机Unity SAR模拟,每场10 min,每名操作员监督4架自主无人机;用SPAM(Situation Present Assessment Method)衍生的多项选择任务中SA探测记录准确性和反应时。以六个100 s分段、每段12事件的事件分配操纵实现独立、Operator A-busy、Operator B-busy三种团队结构,反平衡呈现;每队完成四种显示条件。采用三轮焦点小组(8名以人为中心设计研究者和专业人员,共5 h)、3名经专业网络招募的SAR从业者半结构化访谈(60 min)及N = 4可行性试点(2男2女,平均年龄24;被试内4×3设计;程序化队友7 s延迟后以0.8概率备份)。分析用7点Likert可用性评分、演绎框架分析和重复测量ANOVA。
研究结果:
模拟试验台:通过Unity双人八无人机SAR模拟和SPAM衍生SA探测,建立可操纵三种团队结构的试验台。每场10 min,两名操作员各监控4架沿预设森林路线飞行的自主无人机;关键事件通知包括低电量、目标检测、环境危险和误报,操作员通过弹出式SA问卷作答,问卷评估触发事件的感知、理解和预测,模拟在作答时持续运行,记录准确性和反应时。操作员主要监督分配无人机,也可访问并响应队友无人机;正确回答分配无人机SA问卷得1分,备份队友得0.6分。团队结构通过每场六个100 s分段、每段12事件的事件分配实现:独立结构为每操作员6事件;备份结构为繁忙操作员10事件(5个连续事件对)、空闲操作员2事件,并向繁忙者显示“Your teammate may help you”,向空闲者显示“Please back up your teammate if able”。每场含三种结构各两段,反平衡呈现;每队完成四种显示条件各一场。
界面设计焦点小组:通过三轮在线焦点小组(8名以人为中心设计研究者和专业人员,共5 h)及7点Likert可用性评分,确定显示内容与视觉呈现。第一轮聚焦协调备份所需内容,形成努力显示(实时显示每名队员已完成、漏过和待处理事件数,帮助估计队友容量并准备备份)和紧迫性显示(可视化每个事件到期前剩余时间,帮助在多事件竞争时优先处理将到期事件),二者组合提供队友状态与任务状态的综合图景。第二、三轮确定视觉呈现:努力摘要采用单一专用面板(Mean = 4.30)高于嵌入每架无人机自身相机反馈(Mean = 3.80),后者迫使操作员“click into each window”并“feel overwhelming”;事件紧迫性采用多色渐变边框(Mean = 4.80)优于单色渐变边框(Mean = 4.60),因黄到红过渡自然映射从“caution to alert”的情绪变化。最终形成无显示基线、努力显示、紧迫性显示、组合显示四种条件;组合显示的努力组件用专用文本面板总结每名队友已完成、漏过、待处理事件及当前备份活动,紧迫性组件用从黄(时间较多)到红(时间较少)的彩色边框编码剩余时间。
与SAR专家访谈:通过三名SAR从业者的半结构化访谈(经专业网络招募;E1为空中搜索公司任务规划员,E2具有应急直升机航空和多飞机协调经验,E3为执法无人机操作员;均有作为多飞机操作视觉观察员的丰富经验;Zoom 60 min;七道开放题;两名以人为中心设计研究者用演绎框架分析,代码最初由三种团队结构和四种显示条件播种并迭代细化)及真实性评分,得出试验台具有中高真实性:任务真实性5.33、环境真实性5.00、人-无人机交互真实性5.00、人-人协作真实性5.33、界面真实性5.33(7点Likert),表明其接近操作条件但不等同。三名专家均认为目标检测、低电量、危险区三类中断覆盖操作员认知负荷的主要来源;E3判断其“more than adequate”并警告增加线索会稀释注意。三名专家均判断每操作员4架比例合理,并广泛接受动态备份可行:E2以应急直升机类比,空闲操作员会“suddenly tasked with marshalling many aircraft”;E1和E3强调有效备份需要队友间大量共同训练。专家预期显示有助于维持SA,黄到红紧迫性编码直观;E3预期可视化队友工作负荷可大幅降低沟通开销并“help with providing backup”。偏好上,E1和E2偏好组合显示,E2在管理多无人机时明确偏好“more information”,E3偏好极简变体并提出显示密度可由操作员调节,提示数据分析需考虑个体差异。
试点研究与结果:通过N = 4可行性试点(2男2女,平均年龄24;纳入标准为至少18岁、正常或矫正视力、无癫痫或严重偏头痛史、右手利;每名试点参与者与程序化队友配对,队友在7 s延迟后以0.8概率处理未处理事件以备份人类操作员;采用4显示×3团队结构被试内设计)和4×3重复测量ANOVA,发现每100 s分段备份次数存在团队结构显著主效应(F(2, 6) = 13.86, p = .006, partial η
2 = .82)。参与者提供的备份次数按操纵预期排序:队友繁忙时平均5.75次、独立条件下1.50次、参与者繁忙时0.44次;参与者繁忙条件下的非零计数可能反映有能力参与者在承担自身更重负荷时仍偶尔协助队友。显示主效应及显示×结构交互均未达显著。
讨论与结论总结:该工作贡献了SAR试验台和面向多人类多无人机SAR动态备份的三种角色特定显示设计,即努力显示、紧迫性显示和组合显示。焦点小组将设计建立在以人为中心设计原则之上,从业者访谈验证了设计质量和试验台真实性;试点研究证实事件分配操纵在队友繁忙时成功诱发备份行为。未来工作将招募更多参与者,使用SA准确性、备份次数、反应时间、可用性评分以及包括脑电图(electroencephalogram, EEG)、皮肤电反应(galvanic skin response, GSR)和眼动追踪在内的生理测量,量化三种团队结构下的显示效应;最终目标是将试验台转化为备份训练工具,增强多人类多智能体团队在高风险任务(如SAR)中的协作和绩效。研究结论部分翻译:这项工作贡献了一个SAR试验台和三种用于多人类、多无人机SAR动态备份的角色特定显示设计,即努力显示、紧迫性显示和组合显示。焦点小组将这些设计建立在以人为中心的设计原则之上,从业者访谈验证了设计质量和试验台真实性。试点研究证实,当队友繁忙时,事件分配操纵成功诱发备份行为。未来工作将招募更多参与者,使用SA准确性、备份次数、反应时间、可用性评分以及包括脑电图(EEG)、皮肤电反应(GSR)和眼动追踪在内的生理测量,量化三种团队结构下的显示效应。最终,这项工作旨在将试验台转化为备份训练工具,以增强多人类多智能体团队在高风险任务(如SAR)中的协作和绩效。