小型语言模型能否用于航空安全分析？基于真实事件叙述的多规模模型基准研究

《ADVANCED ENGINEERING INFORMATICS》：Can small language models be trusted for aviation safety analysis? A benchmark study across model sizes using real-world incident narratives

　　

摘要

小型语言模型（SLM）正越来越多地被推广作为云托管基础模型在安全关键环境中的本地化部署替代方案，然而它们在真实航空事故叙述上的实际可信度尚未得到充分刻画。本研究对六个开源权重语言模型进行了一项可复现的基准测试，模型参数规模约从30亿到140亿不等，测试任务为两项源自航空安全网络（ASN）事故数据库的航空安全文本分析任务。第一项任务利用专家标注的事故类别标签作为真实值，在全部630篇高置信度事故叙述组成的合格池上评估对国际民用航空组织（ICAO）事故类别的零样本预测。第二项任务利用调查得出的结果标签，在8543篇部分脱敏的高置信度叙述上评估对人员死亡和航空器损毁的预测。此外，还包括元数据与提示词消融实验、一致性审计、监督式NLP基线、数据污染风险审计，以及美国联邦航空管理局（FAA）无人驾驶航空系统（UAS）目击数据的描述性分析。结果表明，模型表现强烈依赖于任务类型和模型系列。在ICAO事故类别提取方面，表现最佳的、可评估的零样本小型语言模型Qwen2.5-14B达到了0.511的准确率和0.412的宏F1分数，表明即使是测试中表现最强的、能成功解析的本地模型，多类别因果编码仍然具有挑战性；而在同一数据池上，使用五折交叉验证的监督式TF-IDF基线达到了更高的准确率（0.567）。人员死亡预测对零样本小型语言模型而言更为容易：在可评估的零样本小型语言模型中，表现最佳的Qwen2.5-14B达到了0.884的准确率和0.955的受试者工作特征曲线下面积（AUC），而航空器损毁预测在同一零样本条件下表现依然较弱，准确率和AUC分别达到0.657和0.770；监督式交叉验证基线在两项严重性任务上均取得了更高分数（例如，微调后的BERT-base-uncased在人员死亡预测上达到0.921准确率和0.968 AUC，在损毁预测上达到0.856准确率和0.916 AUC）。一个名义上的大型模型Phi4-14B在本基准测试所使用的基于原生对数概率的评分界面下基本无法评估，因此被单独视为接口兼容性问题处理，而非作为实质性基准参与者进行排名。FAA UAS分析进一步显示，基于正则表达式提取的结构化标签与自由文本内容之间存在严重不一致，98.3%被标记为涉及规避动作的记录在叙述中包含了"no evasive action"（无规避动作）这一表述。综合来看，研究结果支持在航空安全中将本地小型语言模型用于有边界、人工监督的决策支持任务，但不支持将其用于自主执行因果分析或安全关键判断。

引言

用于安全关键用途的人工智能（AI）系统不仅需要根据平均预测性能进行评估，还必须从可靠性、输出有效性、不确定性行为以及其表现所依赖的数据源质量等维度进行评估[1]、[2]、[3]、[4]。这一要求在航空安全领域尤为突出，因为叙事性记录通常被用于推断因果结构、识别运行风险模式并支持安全管理决策。在航空安全领域，事故报告与事故叙述是识别危害、分配事故类别以及支持安全管理决策的核心知识载体[5]、[6]、[7]、[8]。近年来，语言模型被提议用于此类以叙事为核心工作流，因为它们能够大规模地对非结构化文本进行分类、摘要和推理。然而，许多已发表的演示仍然集中在基于云的前沿模型或通用自然语言基准上，而非在错误后果严重的领域中进行可行的本地化部署。因此，小型、可本地部署的语言模型是否可以在航空安全分析中值得信赖这一问题，在实际意义上仍未得到解答。这一问题并非通过展示这些模型能够产生流畅的解释就能得到解决；它需要在领域接地任务上、在现实部署约束下，并明确关注失败模式和数据集有效性的情况下提供证据[1]、[2]、[9]。

随着开源权重模型在保持广泛语言理解能力的同时已经具备在工作站级硬件上运行的能力，这一问题的实际意义不断增强。30亿至140亿参数范围的模型现在是可本地部署的合理候选，适用于那些由于治理、隐私、连通性或可审计性约束而无法依赖云托管推理的组织。Phi和Qwen等模型系列定位于高效或本地使用[10]、[11]、[12]，使其成为航空领域基准测试的天然候选。然而，可本地部署并不意味着值得信赖。即使模型产生了高名义准确率，它也可能以运行上不可接受的方式失败，例如输出格式错误、置信度校准不当、重复运行中预测不稳定，或明显合理的分类实际上依赖于源文本中嵌入的虚假线索。在航空安全领域，解释的合理性可能被误认为证据基础，这些风险并非边缘问题，而是部署可行性的核心要素。

本文通过一项针对六个开源权重语言模型在真实航空事故叙述上的基准测试研究来弥补这一空白。实证设计聚焦于两项既有实践相关性又差异足够的任务，以揭示不同的可信度维度。第一项任务是ICAO事故类别提取，要求将专家编码的单一因果类别分配给事故叙述。该任务具有挑战性，因为它涉及多类别、类别不平衡且具有解释性。第二项任务是结果严重性预测，此处具体化为从部分脱敏的事故叙述中预测人员死亡和航空器损毁。第二项任务的约束更为明确，但仍然具有信息价值，因为它检验模型在直接结果句已被遮蔽后，能否从叙述证据中恢复出高层严重性结果。此外，元数据和提示词消融实验、一致性审计，以及对FAA UAS目击数据的独立描述性分析，被用于揭示安全AI研究中常被忽视的问题：接口脆弱性、校准局限性，以及看似结构化的标签本身可能是爬取或规则提取产物而非可靠真实值的可能性。从工程信息学视角来看，这是一项知识密集型任务：非结构化事故证据必须在明确的表示和有效性约束下被转化为结构化、可复用且专家可解读的安全知识[13]、[14]、[15]、[16]。

基于此目标，本研究解决以下研究问题：

RQ1：可本地部署的小型语言模型在航空安全叙述任务上的表现如何？与传统监督式NLP基线相比如何？

RQ2：模型在多类别ICAO事故类别编码与二元严重性预测之间的表现有何差异？

RQ3：在约束提示和原生约束解码下，本地小型语言模型产生有效、可解析且稳定输出的程度如何？

RQ4：校准相关行为、安全敏感假阴性以及服务界面兼容性如何影响人工监督下航空安全使用的实际信任边界？

RQ5：数据标签有效性问题如何影响基于基准测试的可信度声明的可靠性？

本文做出三项具体贡献：

1. 提供了一个可复现的、针对航空事故叙述上可本地部署开源权重语言模型的基准测试，任务基于专家编码的事故标签和调查得出的严重性结果。

2. 通过超越准确率的操作性可信度视角评估本地小型语言模型，纳入输出有效性、解析可靠性、校准相关行为、重复运行一致性、服务界面兼容性以及数据标签有效性。

3. 识别了航空安全使用的实际信任边界，表明二元严重性筛选比多类别因果编码更具可行性，且可信度取决于模型、提示设计、推理界面和基准数据质量的综合表现。

本文并不主张本地小型语言模型可以取代调查员或成熟的监督式NLP流程。它提出的是一个更狭窄且更具操作意义的问题：它们是否可以在有边界、人工监督的分析角色中值得信赖。

章节片段

可信AI、工程信息学与本地语言模型评估

工程信息学为本研究提供了更广泛的学科框架。工程信息学不是将计算模型视为孤立的预测器，而是强调对知识密集型工程活动的计算支持，包括工程信息的表示、集成、复用与推理[13]、[14]、[17]。关于知识密集型工程和工程本体论的先前的工作进一步表明，显式的表示结构是……

数据

使用了两个数据源，但它们在方法论中扮演不同的角色。

1 方法

在本地推理下评估了六个开源权重语言模型：Qwen2.5-3B、Phi3.5-3.8B、Qwen2.5-7B、Mistral-7B、Qwen2.5-14B和Phi4-14B。这些模型的选取旨在代表三个大致的参数层级，从而在现实本地部署约束下考察性能扩展[10]、[11]、[12]。所有模型均在零样本设置下使用主要的"基础"提示词与"仅叙述"输入配置进行提示；单独的元数据和提示词……

核心基准比较

第一个战略性问题是：是否有经过评估的本地模型足够可信，能够作为有边界的分析支持进入航空安全工作流程。表4和表5仅使用在基准界面下实际可评估的模型回答这一问题。这一区分很重要，因为一个在产生机器可用输出之前就大多失败的模型，并不能与一个完成任务的模型站在同一竞技场上。对于实验1，核心发现是ICAO……

讨论

该基准测试支持对信任问题给出一个有意为之的有边界回答。第5.1节、第5.3节和第5.4节的证据表明，某些本地小型语言模型可以作为范围有限的分析辅助工具值得信赖，但作为自主因果分析工具则不可信赖。这一区分很重要，因为两项评估任务探测了不同形式的胜任力。ICAO事故编码要求模型将叙述映射到语义重叠、不平衡、专家定义的分类体系上。在该设置下，即使……

局限性

有若干局限性需要明确陈述。第一，该基准测试为零样本形式，未评估微调、检索增强、领域适应或超出约束提示和有限消融探针的提示优化。因此，在其他训练或推理机制下可能实现更强的性能，正如表4和表5中报告的监督基线结果所提示的那样。第二，该基准测试反映了ASN数据库的单一快照以及一个……

实际影响

该基准测试的实际影响并非航空安全组织应广泛采用本地语言模型，而是部署只有在模型行为与任务需求、界面约束和监督结构相一致时才合理。证据支持有边界、高杠杆的应用，如基于严重性的分诊、队列优先级排序和第二意见审核，在这些场景中模型通过排序或筛选案例来提供辅助，而非取代调查员……

结论

本研究通过在ICAO事故类别提取和严重性预测任务上评估本地可部署开源权重语言模型在真实世界事故叙述中的表现，建立了关于其在航空安全分析中角色的基于证据的立场。核心贡献并非简单的模型排名，而是将信任问题重新构建为两个操作上不同的组成部分。第一，在实际可评估的模型中……

CRediT作者贡献声明

Gaurab Chhetri：撰写——审阅与编辑，撰写——初稿，形式分析，数据整理，概念设计。Subasish Das：撰写——审阅与编辑，撰写——初稿，形式分析，数据整理，概念设计。

利益冲突声明

作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。

Gaurab Chhetri | Subasish Das