《Semantic Web》：Knowledge Engineering With Large Language Models: A Capability Assessment in Evaluating Ontology Property Restrictions
编辑推荐：
## 专业术语翻译（摘要部分）
大语言模型（LLMs）的进步为自动化知识工程（KE）中具有挑战性且耗时的任务提供了机遇。在本体构建过程中，逻辑公理的建模尤为复杂，对于缺乏KE训练的新手知识工程师和领域专家而言尤其困难。因此，本体中往往存在建模错误，这削弱了基
## 专业术语翻译（摘要部分）
大语言模型（LLMs）的进步为自动化知识工程（KE）中具有挑战性且耗时的任务提供了机遇。在本体构建过程中，逻辑公理的建模尤为复杂，对于缺乏KE训练的新手知识工程师和领域专家而言尤其困难。因此，本体中往往存在建模错误，这削弱了基于本体的应用，并阻碍后续KE任务。因此，研究LLMs如何支持本体评估等KE任务具有重要意义。然而，由于缺乏全面且针对特定任务的基准测试，系统性地评估LLM性能仍面临挑战，这种基准测试正是LLM能力评估所需的。因此，选择合适的LLM来支持知识工程师并非易事。本研究探究LLMs如何支持四个具体的本体评估子任务：建模问题的检测、分类、解释及可能的修正，重点关注存在性（existential）、全称性（universal）和基数性（cardinality）属性限制的使用。研究人员构建了一个由学生构建的本体组成的基准数据集，并评估了四个LLM——GPT-4o、Claude Sonnet、DeepSeek V3和Llama 3.3——在上述KE子任务上的表现。此外，研究人员展示了一个用于定性评估LLM输出的注释框架，并分析了各模型的能力。研究结果揭示了模型行为之间的差异及特定任务的 strengths，突显了为每个KE任务选择合适模型的重要性。
## 论文解读文章：基于大语言模型的本体属性限制评估能力研究
### 研究背景与动机
近年来，生成式人工智能的快速发展，特别是大语言模型（LLMs）的进步，正在重塑知识工程（KE）领域。KE流程通常涉及知识获取和以结构化格式（如本体）进行知识表示，传统上需要大量人工投入来定义、实现和验证领域特定需求。然而，各种KE任务（如本体评估）的工具支持仍然有限，特别是在处理复杂逻辑属性限制时，缺乏KE专业知识的知识工程师容易引入建模错误。虽然已有自动化方法可检测本体的逻辑错误，但逻辑一致的本体并不一定没有建模不准确之处，例如将“每个著名演员都扮演一个主要角色”建模为类FamousActor与Actor之间的等价关系，会额外引入“每个扮演主要角色的Actor都是FamousActor”这一非预期条件。这类问题的检测通常需要人类领域专业知识，但面对大规模本体资源时，人工验证方法变得不可行，凸显了自动化可扩展支持的迫切需求。
已有研究表明LLMs在许多自然语言处理任务上能够匹敌甚至超越人类表现，KE领域也开始探索应用LLMs进行知识图谱（KG）构建、语义工件评估、三元组验证以及本体质量评估等工作。然而，该领域仍存在几个关键研究空白：第一（P1），本体评估等任务仍未被充分探索，现有研究缺乏来自不同领域数据集的系统评估，限制了对方法泛化能力的理解；第二（P2），难以确定哪些LLM最适合特定的KE任务，许多研究仅依赖单一模型，缺乏跨模型的比较分析，从而产生对特定模型的依赖并降低可复现性和推广性；第三（P3），针对KE任务缺乏设计良好的基准数据集，例如在本体评估中没有包含多种建模缺陷的综合基准；第四（P4），由于缺乏标准化指标和方法来有效评估LLM输出，尤其是对需要专家判断的生成任务而言，大规模一致性评估难以实现。
为解决上述研究空白，本研究围绕总体研究问题“LLMs能够以何种方式以及在多大程度上用于本体属性限制评估？”展开，并细分出四个具体研究问题：RQ1（对应P1）——LLMs能有效支持哪些本体属性限制评估子任务；RQ2（对应P2）——特定LLM在本体属性限制评估任务中是否表现出特定优势或局限；RQ3（对应P2）——不同模型在执行本体属性限制评估时是否存在可观察的行为差异；RQ4（对应P4）——如何定义客观评估标准来指导对LLM生成输出的专家注释。
### 研究内容与结论概述
研究人员定义了四个本体评估子任务：检测本体建模问题（判断用户意图与其形式化表示之间的语义对齐性）、分类建模问题（将识别出的错误归类为预定义的错误类型）、解释建模问题（阐释错误存在的语义原因及非预期推理结果）以及生成修正建模（基于给定意图和基础本体结构提出正确的属性限制建模方案）。为支持系统评估，研究人员构建了一个包含585个学生构建本体的语料库，该语料库收集自2014至2024年间维也纳技术大学和维也纳经济与商业大学两所大学的课程作业。进一步地，从2024年提交的31个本体中提取了96个包含属性限制的独立公理，并由三位具备KE教学经验的研究人员对这些公理进行专家质量评估，最终形成包含82个公理的黄金标准数据集，其中53个正确建模、26个包含建模错误、3个仅在特定假设下正确。
研究人员选取了来自不同模型家族的四个LLM——GPT-4o、Claude Sonnet 3.7、DeepSeek V3和Llama 3.3 70B——分别对应四个评估子任务设计了四个实验进行能力评估。同时，针对解释任务中因有效输出多样性而无法与预定义黄金标准直接比较的问题，设计了一个专家注释框架，基于建模理解、推理能力、错误修正能力和词汇使用四个质量维度，将数值评分与具体评估标准显式关联，以减少专家判断中的主观性。
实验结果显示，不同LLM在各项评估任务上表现出显著的性能差异和各自的行为特征。DeepSeek V3在建模问题检测任务中表现最佳，达到65.71%的F1分数；GPT-4o在建模问题分类任务中表现最优，取得68.03%的F1分数；Claude Sonnet在解释建模问题任务中达到自定义评分标准下91.95%的总分，并在生成替代属性限制建模任务中取得最高的79.27%准确率。值得注意的是，Llama 3.3在生成任务中无法为85%的公理产生语法有效的Turtle输出，因此被排除在深度语义分析之外。此外，GPT-4o在遵守指令方面表现严格，而Claude Sonnet展现出更高的灵活性，能够根据上下文调整指令并做出合理的修改。
### 采用的关键技术方法
研究构建了包含585个本体的学生本体语料库（来自2014至2024年两所大学的19个课程），从中选取2024年的31个本科学生本体，提取96个公理，由三位专家进行三步骤注释流程（独立评估、第三方审阅、会议讨论）形成82个公理的黄金标准。提示设计采用Re2（重新阅读问题）和Plan-and-Solve（PS）技术，温度参数设定为0.7（解释任务为0.2）。评估方法包括标准分类指标（准确率、精确率、召回率、F1、Hamming损失）、基于四个质量维度的专家注释框架，以及逻辑与语法双重验证（使用RDFLib进行Turtle语法检查，最多三次迭代修正）。
### 研究结果
#### 实验1：检测本体建模问题
研究人员将82个公理的检测结果与黄金标准对比，DeepSeek V3以70.73%的准确率和65.71%的F1分数位居首位，Claude Sonnet紧随其后（F1=64.79%）。GPT-4o虽然达到最高的精确率（55.56%）但召回率最低（38.46%），表明其漏检了大量阳性案例。按属性限制类型分析，GPT-4o在存在性和全称性限制上准确率最高（88%和76.9%），DeepSeek V3在基数性限制上准确率最高（70.5%）。各模型在不同属性限制类型上各有优劣，如DeepSeek V3在全称性限制上实现75%的召回率，GPT-4o对该类型则达到100%的精确率。研究人员建议可采用混合工作流，利用不同模型的互补优势提高整体检测质量，并可嵌入人类参与的评估流程以减少人工工作量。
#### 实验2：分类本体建模问题
基于29个含错误公理的分类实验，GPT-4o在所有指标上领先，达到73.48%的加权精确率和0.09的最低Hamming损失。按错误类型分析，各模型表现差异显著：Type II（属性限制错误放置于属性值域）被所有模型较好地处理（F1范围为88.9%-100%）；Type I（属性限制与属性定义域/值域不匹配）由GPT-4o最佳处理（F1=80%）；Type III（混淆等价与子类逻辑）由DeepSeek V3最优（F1=88.9%）而Llama 3.3完全无法分类；Type V（由于全称量词平凡满足导致逻辑欠约束）和Type VI（属性限制放置于错误类）由GPT-4o最佳（F1分别为74%和80%）。研究人员建议构建基于模型特定错误类型优势的集成方法以提升整体分类性能。
#### 实验3：解释本体建模问题
对29个含建模错误的公理生成的解释进行专家评估，首先由两位专家共同注释12个（10%）输出达成共识，随后独立注释另外10%得到完全一致的评分（Fleiss' kappa=Cohen's kappa=1），剩余部分由单专家完成。结果显示所有模型在建模理解维度表现良好，Claude Sonnet为28个（97%）公理提供了完全正确的建模解释。然而，所有模型的推理能力相对不可靠，常遗漏高度相关的错误结果，其中Llama 3.3仅对11例（38%）生成完整正确推理且9例（31%）产生错误推理。在词汇使用维度，所有模型表现优秀，GPT-4o最佳且未生成任何非请求的修正建议，而Claude Sonnet倾向于主动提出修正建议。总体质量评分排序为Claude Sonnet最高，随后依次为GPT-4o、DeepSeek V3和Llama 3.3。研究人员特别指出，LLMs正确使用领域术语可能产生专业性的假象，从而可能误导缺乏经验用户信任有缺陷的推理。
#### 实验4：生成修正的本体建模
面向82个公理生成的替代方案，GPT-4o、Claude Sonnet和DeepSeek V3均能生成有效的Turtle语法输出，各模型中分别有27%、15%和39%的公理需要一次语法修正请求。Llama 3.3因85%的输出无法通过语法验证而被排除。由两位知识工程师对生成公理进行语义评估，随机10%子集的Fleiss' kappa=0.75。Claude Sonnet以79.27%的准确率最佳，GPT-4o和DeepSeek V3分别为67.07%和68.29%。按属性限制类型分析，所有模型对存在性限制的建模准确率均超过80%，Claude Sonnet在基数性限制上最优（81.82%），全称性限制对大多数模型最具挑战性（最高仅61.54%）。行为分析显示，GPT-4o最严格遵循输入结构（仅2.44%引入额外类），Claude Sonnet引入额外元素频次最高（>7%）但展现出适应不完整结构的灵活性；当输入本体质量较高时，各模型对正确建模意图的准确率范围为66.67%至96%，而当在先前错误建模上生成修正时准确率显著下降至0%-66.67%，尤其全称性限制对所有模型均极为困难。
### 讨论与结论总结
讨论部分指出，不同模型在四个评估子任务上各有优势：DeepSeek V3和Claude Sonnet适合大规模候选错误预筛选；GPT-4o适合对已识别错误进行精确分类；Claude Sonnet在错误解释和生成修正方案上表现突出，特别适合支持新手知识工程师理解本体属性限制和常见错误；GPT-4o的严格指令遵循和Claude Sonnet的灵活性在不同应用场景中各有价值；Llama 3.3因语法生成能力不足难以胜任公理生成任务。研究人员建议若须选择单一模型，Claude Sonnet是跨任务的最优选择，而结合DeepSeek V3（检测）、GPT-4o（分类）、Claude Sonnet（解释与修正）的混合工作流可实现最优整体效果。
研究结论部分总结：本研究系统评估了LLMs在本体属性限制检测、分类、解释和修正四个子任务上的能力，建立了包含82个基准公理的标注数据集，提出了指导专家评估LLM输出的注释框架（RQ4）。研究识别出模型特定强项——DeepSeek V3在缺陷检测中达到65.71%的F1分数，GPT-4o在缺陷分类中达到68.03%的F1分数，Claude Sonnet在解释任务中获得自定义评分标准下总分91.95%并在替代属性限制建模中达到79.27%的准确率——同时观察到模型在指令遵循（GPT-4o严格，Claude Sonnet灵活）方面的行为差异，凸显了根据具体任务要求选择最合适LLM的重要性。研究局限性在于仅关注存在性、全称性和基数性三类属性限制，结论可能不完全适用于其他建模方面；LLM快速迭代意味着特定强度与弱点发现可能不完全推广至未来版本；但所提出的基准与任务框架可支持新模型或更新模型的系统评估。展望方面，该研究成果可支持构建教育工具和学习辅助系统，帮助学生在协作环境中识别、理解和修正建模问题，也可在专业KE协作流程中通过实时评估确保公理与设计需求的持续一致。
