Knots：一个大规模的多智能体增强型专家注释数据集，以及用于NOTAM语义解析的LLM提示优化

《ADVANCED ENGINEERING INFORMATICS》：Knots: A large-scale multi-agent enhanced expert-annotated dataset and LLM prompt optimization for NOTAM semantic parsing

本研究提出NOTAM语义解析方法，构建Knots数据集，采用多智能体框架发现新字段并优化提示工程策略，显著提升航空文本理解与处理能力。

　　NOTAM（Notice to Air Missions）是航空领域中用于传达关键飞行安全信息的重要渠道，这些信息通常涉及空域限制、设施停用以及其他可能影响飞行计划和安全决策的因素。随着全球每年发布超过一百万份NOTAM，对这些信息的准确和及时解读对于维护航空安全标准和运营效率至关重要。然而，现有的研究主要集中在表面层面的任务，如分类、命名实体识别（NER）和基础内容过滤，这些方法虽然在一定程度上有助于组织和分类NOTAM内容，但缺乏对信息深层语义的理解，难以满足实际运营中的需求。

NOTAM的复杂性主要体现在其语言结构和隐含推理方面。NOTAM通常采用高度结构化的格式，但内容表达往往包含专业术语、缩写和隐含信息，使得自动化处理面临诸多挑战。此外，NOTAM信息中可能涉及复杂的时空关系，这些关系需要结合航空领域的专业知识才能正确解读。例如，某些NOTAM可能提及“RWY 09L degraded 300M”，这需要从航空领域知识出发，推断出该信息表示跑道灯光系统（BALS）的降级情况，而非仅仅识别出文字中的“跑道”和“降级”等关键词。

为了解决这一问题，本文提出了一种新的任务——NOTAM语义解析（NOTAM semantic parsing），该任务强调语义推理和航空领域知识的整合，以生成结构化且具有推理能力的输出。与传统的信息提取方法不同，NOTAM语义解析不仅关注显式信息的提取，还致力于揭示信息中的隐含关系，从而实现更深层次的理解。为此，我们构建了一个高质量的NOTAM语义解析数据集Knots，该数据集包含12,347条专家标注的NOTAM，覆盖了194个飞行信息区域（FIRs），并采用多智能体协作框架进行增强，以实现更全面的领域发现。

Knots数据集的设计基于五个主要的操作领域：空域管理（Airspace Management）、地面设施（Ground Facility）、着陆辅助（Landing Aid）、跑道与滑行道（Runway & Taxiway）以及飞行隐患（Flight Hazard）。每个领域都包含大量与该领域相关的NOTAM信息，为研究和开发NOTAM语义解析模型提供了丰富的资源。此外，Knots数据集不仅注重数据的多样性，还强调数据质量，确保标注的准确性和一致性。这使得Knots成为目前最先进的NOTAM语义解析数据集之一，为后续研究提供了坚实的基础。

为了进一步提升NOTAM语义解析的效果，我们系统地评估了多种提示工程策略和模型适应技术。提示工程在自然语言处理中扮演着重要角色，通过设计合适的提示模板，可以引导模型更好地理解输入内容并生成更准确的输出。我们结合航空领域的专业知识，对提示模板进行了定制化改进，从而提升了模型在处理NOTAM时的性能。此外，我们还对模型进行了适应性调整，使其能够更好地应对NOTAM中常见的语言结构和表达方式，提高解析的准确性和效率。

在实验部分，我们通过两个核心实验对所提出的NOTAM语义解析框架进行了系统评估。第一个实验评估了我们设计的多智能体协作框架（MDA-HDF）在无需预定义字段结构的情况下自动识别新字段和关键信息的能力，从而扩展了传统NOTAM信息提取任务的范围。第二个实验则专注于NOTAM解析任务，进行了严格的对比分析，以验证所提出方法的有效性。实验结果表明，我们的方法在提升航空文本理解和处理能力方面取得了显著进展，并为自动化NOTAM分析系统提供了有价值的参考。

此外，我们还设计并实现了一个多智能体协作框架，用于自动发现新的信息字段并进行优化。该框架结合了多种智能体的优势，通过协作机制实现更全面的信息提取和字段发现。例如，在处理NOTAM时，多智能体可以分别负责不同的任务，如字段识别、信息分类和语义推理，从而提高整体处理效率和准确性。同时，该框架还具备一定的自适应能力，可以根据NOTAM内容的变化进行动态调整，以适应新的应用场景。

在航空领域，传统的规则基础和模板匹配方法虽然在某些场景下表现出色，但面对NOTAM内容的多样性和非结构化特点时，往往难以解决语义模糊性和隐含推理需求。因此，这些方法的泛化能力和实际应用价值受到限制。相比之下，基于大语言模型（LLMs）的解决方案展现出更大的潜力。LLMs在自然语言理解和语义建模方面具有强大的能力，能够准确理解复杂的指令和上下文信息，为NOTAM语义解析任务提供了新的思路和方法。

我们的研究还发现，虽然目前尚未有专门针对NOTAM解析的研究，但相关领域的进展，如复杂指令遵循和通用信息提取，为我们的研究提供了坚实的技术基础。例如，基于Transformer架构的模型在NOTAM过滤和不一致检测方面表现出色，而集成TF-IDF、主题建模和NER的综合工作流程则实现了自动化分割。这些方法虽然在一定程度上提升了NOTAM处理的效率，但在面对复杂的语义关系和隐含信息时，仍存在一定的局限性。

为了进一步提升NOTAM解析的效果，我们提出了一种新的方法，该方法不仅关注传统的信息提取任务，还致力于发现新的信息字段。这一任务涉及一个根本性的权衡：一方面，需要全面发现所有潜在字段，以避免遗漏关键信息；另一方面，也需要对字段进行精细划分，以提高信息的准确性和实用性。我们通过多智能体协作框架实现这一目标，该框架能够自动识别和优化新的信息字段，从而支持更全面的NOTAM解析系统评估。

在实际应用中，NOTAM解析的准确性直接关系到航空安全。因此，我们需要一种能够处理复杂语义关系和隐含信息的解析方法，以确保信息的正确解读。我们的方法通过结合语义推理、上下文分析和航空领域知识，实现了对NOTAM的深入理解和结构化输出。例如，在处理涉及缩写和隐含信息的NOTAM时，我们的方法能够通过语义推理推断出正确的含义，而不仅仅是依赖于关键词识别。

此外，我们还对模型进行了系统性的优化，以提升其在处理NOTAM时的性能。优化策略包括对提示模板的改进、对模型参数的调整以及对训练数据的优化。这些优化措施使得模型在处理NOTAM时能够更好地适应不同的应用场景，提高解析的准确性和效率。我们还通过实验验证了这些优化策略的有效性，结果表明，经过优化的模型在处理NOTAM时的表现显著优于未优化的模型。

总的来说，本文提出了一种新的NOTAM语义解析任务，通过构建高质量的Knots数据集和设计多智能体协作框架，实现了对NOTAM的深入理解和结构化输出。我们系统地评估了多种提示工程策略和模型适应技术，取得了显著的实验成果，并为未来的NOTAM解析研究提供了有价值的参考。本文的研究不仅有助于提升航空文本处理的效率，还为自动化NOTAM分析系统的发展提供了新的思路和方法。