基于眼动追踪与大语言模型（LLM）的飞行员故障诊断识别与响应机制研究及其在航空人机交互（HCI）中的意义

本综述提出了一种创新方法，通过将眼动追踪数据转化为视觉注意力矩阵（VAM），并结合大语言模型（LLM）来识别和响应飞行员在操控回路中（ITL）的故障诊断行为。研究解决了ITL状态下飞行员行为复杂性与眼动数据缺乏语义信息的两大挑战，为提升航空人机交互（HCI）的自适应性与飞行安全提供了新思路。

　　

Highlight

本研究通过整合眼动追踪技术与大语言模型（LLM），开发了一种新型视觉注意力矩阵（VAM）以识别飞行员在操控回路中（ITL）的故障诊断行为。VAM将高频率、无语义的眼动数据转化为结构化表征，为LLM提供可理解的输入，从而实现对复杂飞行员行为的精准识别与智能响应。

Introduction

自动化系统在航空等交通领域的广泛应用显著提升了运行效率，但也带来了人机交互（HCI）设计的挑战。特别是在高自动化水平（LOA）下，飞行员处于“操控回路中”（ITL）状态时，虽积极参与监控与决策，仍面临多任务处理的压力。例如，在视觉诊断突发故障的同时还需持续监控飞行状态，易因视野有限（约4度）而导致效率下降或风险增加。尽管现有研究多关注“脱环”（OOTL）风险的 mitigation，ITL状态下的支持需求却被忽视。本研究旨在填补这一空白，利用眼动追踪直接捕捉飞行员视觉注意力变化，并结合LLM进行智能识别与响应。

Section snippets

Related work

眼动追踪在航空领域已有广泛应用，如监测情境意识（SA）和疲劳状态，但其在识别具体故障诊断行为方面的潜力尚未充分挖掘。另一方面，LLM在处理时间序列数据方面展现出强大能力，但应用于缺乏语义的眼动数据仍具挑战。本研究在总结前人工作的基础上，创新性地将二者结合，为ITL飞行员提供实时自动化支持。

Visual attention matrix

为解决眼动数据语义缺失问题，我们开发了视觉注意力矩阵（VAM）。VAM将时空信息压缩为9×9矩阵，作为token化输入供GPT-4处理。该结构不仅保留了关键注意力特征，还通过经验性数据增强提升了模型对故障特征的识别效率。

Case study

我们招募了19名持照飞行员进行飞行模拟实验，评估了不同VAM格式（含/不含行列和、含/不含P值参考）的性能，并探索了瞳孔数据整合的潜力。结果验证了该方法在识别飞行员故障诊断及生成用户友好支持方面的有效性。

Discussion

本研究证实，VAM与LLM的结合能有效区分飞行员的故障诊断与正常监控行为，为ITL状态下的自适应HCI提供了可行路径。与传统方法相比，该方法在响应速度和准确性上表现出显著优势，但计算效率和实时性仍需进一步优化。未来工作将聚焦于多模态数据融合与模型轻量化。

Conclusion

优化高自动化驾驶舱中的人机交互（HCI）对航空安全至关重要。本研究通过将眼动数据token化并与大语言模型（LLM）整合，实现了对ITL飞行员故障诊断行为的识别与响应，填补了现有研究对ITL支持不足的空白。该成果为提升飞行员操作绩效和推动人-AI协作奠定了重要基础。