民用飞机飞行任务交互模态探索：提升驾驶绩效的多模态交互研究

《International Journal of Industrial Ergonomics》：Exploration of interaction modality for civil aircraft flying task: A laboratory study

本文通过实验室研究系统评估手势交互（GI）、手势+语音交互（GVI）等多模态交互对飞行员任务完成时间、工作负荷及用户体验的影响。研究发现GVI模式能显著降低生理需求（NASA-TLX量表），改善操作体验，为新一代民机驾驶舱人机交互（HCI）设计提供实证依据。

　　

¹亮点

近年来，手势交互与其他模态（特别是语音和眼动）的耦合因其显著提升操作效率和安全性的能力而日益受到认可。此类系统旨在利用每种模态的优势，以有效降低用户的认知负荷。例如，Abioye等人（2022年）研究了两种具有不同交互模态的无人机（UAV）控制界面。第一种是众所周知的遥控...

²参与者

二十五名男性参与者（平均年龄 = 23.5岁，标准差 = 2，范围 = 20–27岁）被招募参加飞行模拟实验。所有参与者均具有两年飞行模拟经验和飞行专业知识，他们为右利手，视力正常或矫正至正常，且无已知运动功能障碍。所有参与者均为飞行学院学生，未获得飞行员执照。实验前，他们接受了基础飞行操作的标准化指导...

³任务绩效

根据第3.3节的定义，因变量任务完成时间代表每位参与者完成起飞任务所需的时间。在本研究中，计算了所有参与者在不同交互模态下平均任务完成时间以量化研究结果。此外，“语音反馈错误”指的是飞机驾驶舱系统在参与者发出语音指令后未能产生适当听觉响应的情况...

⁴讨论

随着技术的飞速发展，民用飞机驾驶舱可用的交互模态越来越多。虽然手势交互有潜力通过使飞行员以更自然、直观的方式执行任务来增强其飞行体验，但在实际应用中，手势交互的缺点，如高生理需求和缺乏及时反馈，应被仔细考量。我们进行了一项探索性研究...

⁵结论

本研究表明，交互模态对飞行员任务绩效和工作负荷的影响是存在的，并且不同交互模态的组合会导致任务完成时间出现显著差异。研究发现，手势交互（GI）虽然在任务绩效和工作负荷方面优于传统操控，但要求受试者持续保持高水平的身体活动，这可能导致认知负荷和操作疲劳增加...