《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》：Evaluating Generative AI as a Human Factors Requirements-Based Review System of Spaceflight Ground Displays
编辑推荐：
摘要
控制显示器在发射前及发射倒计时操作期间提供监控、控制和指令下达功能。这些显示器在开发过程中依据一套设计标准进行评估。生成式人工智能（Generative Artificial Intelligence, GenAI）系统为纯人工显示器评估提供了一种替
摘要
控制显示器在发射前及发射倒计时操作期间提供监控、控制和指令下达功能。这些显示器在开发过程中依据一套设计标准进行评估。生成式人工智能（Generative Artificial Intelligence, GenAI）系统为纯人工显示器评估提供了一种替代方案，能够针对经批准的标准快速评估需求符合性。本研究评估了GenAI系统依据一套真实世界可用性与设计标准评估发射控制显示器的能力。研究人员开发了一个定制化GenAI实现，并为其提供了一套联邦航空管理局（Federal Aviation Administration, FAA）和 National Aeronautics and Space Administration（NASA，美国国家航空航天局）的设计需求。此外，该定制化实现还获得了必要的上下文信息，以理解所评估的三款显示器的操作方式。结果表明，尽管该显示器评估器因所评估的具体标准不同而能力有所差异，但总体准确率非常良好。研究结果表明，GenAI系统在基于需求的人因评审工作流程中可作为可行的首轮评估工具。
**解读文章**
**一、研究背景与问题**
航天发射控制显示器在航天飞行离线处理、飞行器集成、发射前准备及最终发射倒计时过程中承担着监控、控制和指令下达的关键功能（National Aeronautics and Space Administration OIG, 2020）。这类显示器为发射团队提供态势感知支持，帮助其理解航天器及相关地面支持设备的当前与潜在未来状态，从而支持关键组件的决策与控制。在开发过程中，发射控制显示器需要依据一系列标准或风格指南进行评估（Dunn & Hutchinson, 1998），这一过程通常耗时较长，需要软件、质量、安全及人因工程团队联合开展基于需求的评估。具备图像识别能力的生成式人工智能（Generative AI, GenAI）系统为纯人工显示器评估提供了替代方案，可基于内部设计指南或行业公认标准（如联邦航空管理局的HF-STD-001B人因设计指南，Ahlstrom, 2016）快速评估需求符合性。然而，现有研究对GenAI系统能否依据航天操作中典型的显示器设计标准来评估安全关键行业显示器设计，仍缺乏充分验证。
**二、研究目的与研究内容**
针对上述问题，本研究评估了一款主流GenAI模型在基于常见发射控制显示器架构和信息呈现方式评估显示器设计方面的能力。研究人员开发了一个定制化GenAI实现，专门针对发射控制显示器评审，采用了一套既定指南和行业最佳实践。该实现基于OpenAI的定制GPT服务构建，通过基线指令提示词消除用户自行输入提示词的变异性，并采用少样本学习方式提供充分的设计需求评估范例。研究将这一定制化GenAI实现命名为ground generative pretrained transformer（地面生成式预训练变换器，ground GPT）。
**三、关键技术方法**
研究采用了以下几项主要技术方法：
（1）定制化GPT实现：基于OpenAI定制GPT服务创建，采用基线指令提示词和少样本学习。评估前，实现被提供了包含显示器操作使用信息的定制显示器用户指南、依据FAA HF-STD-001B和NASA-STD-3001标准定制的30项显示器设计需求清单、NASA与FAA原始标准文档作为参考、39个常见缩略语列表，以及显示器界面（UI）图像。
（2）测试材料构建：研究人员依据安全关键行业设计实践和既有航天运输系统（STS）显示器为参考，制作了三款不同的发射控制显示器。每个显示器制作了多个变体版本，每个版本包含1至7个违反定制UI设计标准的有意设计错误，共形成21个变体版本，合计90个有意的需求偏差。
（3）AI评估输出：GenAI系统需依据30项定制UI设计需求，评估每个显示器的合规性，输出包含需求违规识别、对应标准、通过/失败描述、严重程度、推荐修复方案、对三级态势感知（Endsley, 1995）的影响、对认知工作负荷和注意力需求的影响，以及每个设计的总体评审判定（需大幅返工、需小幅返工、可接受但需建议、可接受）。
（4）输出评估：对AI识别预设定设计错误的准确性进行评分。同时，5名评估者（4名有经验的航天人机系统专业人员，1名有经验的用户界面设计研究员）对GenAI系统的总体评估与平均人工显示器评估者进行了比较，每份评估由2名评分者独立评分，评分标准基于客观失败点，无主观解释空间。
**四、研究结果**
**准确率（Accuracy）** ：以90个有意创建的需求偏差为基准，AI正确识别了77.7%的偏差（70/90）。未能识别的偏差主要集中在图像中的细节差异，如斜面命令控制点与凹陷数据的区分、细线与稍粗线的区分、字符未重叠时的紧密间距等，这些困难主要与AI系统的视觉能力有关。
**总体评分（Overall Rating）** ：评分者将AI评审与人类评审员进行比较，AI显示器UI评估的总体得分平均为M=3.10（SD=0.78），其中3分代表与人类评估者水平相当，高于3表示优于人类。这表明总体而言，GenAI评估约与人类评估者水平相当或略优，但个别评估得分介于2分（略差于人类评估者）至4分（略优于人类评估者）之间。
**主题分析（Thematic Analysis）** ：对28条评审者关于GenAI生成显示器评估的评论进行了主题分析，得出以下主题：
第一主题为难以检测细粒度的视觉和排版问题，尤其是字符间距——约一半评论指出AI未能检测到字符过近、接触或低于最小间距要求的情况，但有评论也指出这些间距问题在无辅助的人类评审员查看静态截图时同样难以识别。
第二主题为较强的问题识别能力和广泛的标准覆盖范围——评审者指出AI识别了大量问题，评估的界面方面多于典型人类评审员，某些情况下发现了人类评审员会关注的相同问题但速度更快。
第三主题为显示元素的错误分类或不一致解释——评审者注意到AI会混淆数据字段和状态指示器、将单词误读为缩略语、错误判断数据或控件是凹陷还是凸起，以及难以区分按钮样式或字号差异。
第四主题为标准应用和发现优先级排序的不一致——评审者质疑AI在某个显示器中标记特定要求违规但在类似变体中未标记，尤其在逻辑排序要求方面；某些情况下AI识别了违规标准但未将其归类为高影响，表明在严重程度评级方面需额外校准。
总体评论支持谨慎但积极的解释：GenAI作为加速基于标准显示器评审的人因评审辅助工具是有用的，但不应将其视为独立评估者，其在视觉精度、组件分类、变体间一致性和严重程度方面的最终判断应保持在专家人工控制之下。
**五、讨论与结论**
本研究评估了定制化GenAI实现基于真实世界航天设计指南和操作背景开展基于需求的航天发射控制显示器人因评估的能力。总体而言，多模态GenAI系统在安全关键显示器评审工作流程中可作为可行且有用的首轮评估器，特别是在提供定制提示词、操作文档和领域特定标准的前提下。系统正确识别了77.7%的有意设计偏差，评审者评分显示其性能与典型人类评审者相当或略优。当前多模态GenAI系统的主要弱点在于低层次感知处理，尤其在包含精细视觉细节的高密度工程显示器评估中。GenAI当前最适宜的定位是决策支持工具而非自主评估者，其主要价值在于快速扩展问题覆盖面、支持一致性检查，以及协助人类评审者识别需要进一步审查的候选违规项。关于合规性、严重程度和操作风险的最终判断应保持在专家人工监督之下，尤其在安全关键的航天领域。
研究局限性包括：所评估的显示器仅为静态截图而非交互式操作界面，无法评估动态交互、时间变化、指令反馈行为、导航流程或主动显示使用相关的认知负荷；截图缩放、分辨率或图像压缩伪影可能影响部分美观性评估；显示器样本和有意设计偏差数量相对有限，研究结果可能无法推广至所有航天显示器类型、操作环境或设计理念。
未来研究应在交互式和动态显示环境中扩展评估，调查GenAI对时间行为、告警管理、显示导航、模式转换和操作员交互序列的评估能力；同时应比较多种多模态GenAI模型，以确定在视觉判别、推理稳定性和标准解释方面的差异，为选择适合人因工程应用的模型架构或提示策略提供参考。
