《Journal of Web Semantics》:OntoURL: A benchmark for evaluating large language models on symbolic ontological understanding, reasoning and learning
编辑推荐:
大语言模型(LLM)在多种任务上展现出强劲性能,但其处理本体知识(形式化、符号化的概念结构表示)的能力仍未得到充分探索。为弥补这一空白,研究人员提出了URL分类法(URL Taxonomy),一个涵盖理解(understanding)、推理(reasoning
大语言模型(LLM)在多种任务上展现出强劲性能,但其处理本体知识(形式化、符号化的概念结构表示)的能力仍未得到充分探索。为弥补这一空白,研究人员提出了URL分类法(URL Taxonomy),一个涵盖理解(understanding)、推理(reasoning)与学习(learning)的本体能力框架,用于分析语言模型如何与结构化知识交互。基于该框架,研究人员进一步提出OntoURL,这是首个联合评估LLM在本体理解、推理与学习方面能力的基准。OntoURL包含15项任务、36,159个基准实例,这些实例来自8个领域的43个本体。对20个开源LLM的实验揭示了不同模型、任务与领域间的显著性能差异。当前LLM在显式本体理解及若干受限推理任务上表现良好,但在结构化本体构建,尤其是属性介导关系(property-mediated relations)与约束级输出(constraint-level outputs)方面存在困难。少样本(few-shot)与思维链(chain-of-thought)提示带来的增益因任务而异。一项闭卷人类评估显示,在封闭式理解、推理与早期学习任务上,LLM与人类相当或强于人类,而人类在属性级与约束级构建方面仍保持优势。上述发现使OntoURL成为评估LLM处理形式化知识表示的可复用基准。
**一、研究背景与问题**
本体(ontology)是编码结构化领域知识的最重要符号框架之一,尤其在金融、科学和法律等领域。本体通过定义良好的概念(类)、关系(如层级和语义连接)以及实例(个体)提供形式化结构。近年来,大语言模型(LLM)在广泛任务中表现优异,本体与知识丰富的LLM之间的交互受到日益关注,包括LLM辅助本体创建等应用。然而,LLM能否真正理解和操作结构化符号知识仍存在激烈争论,核心问题在于统计模式识别能否复现传统知识表示系统所管理的符号表示与逻辑结构。尽管已有多个面向本体相关任务的数据集,但这些工作通常只关注一两个孤立的本体方面,且缺乏系统化分类本体能力的公认分类法,限制了对LLM本体能力的可靠评估。为此,研究人员提出三个关键研究问题:LLM能否表示和检索本体中编码的细粒度信息(概念、层级关系、属性、实例);LLM能否在本体上执行稳健推理(如传递超类推断、描述逻辑推理);LLM能否支持本体构建(术语抽取、定义生成、层级构建、属性关系构建、约束构建)。
**二、研究内容与结论**
研究人员首先提出了本体能力分类法URL Taxonomy(理解、推理、学习三维框架),并据此构建了OntoURL基准。OntoURL包含36,159个基准实例,源自8个领域的43个本体,覆盖15项任务,系统评估LLM在本体理解、推理与学习三个维度上的能力。通过对20个开源LLM的系统实验,研究揭示了模型规模、任务类型和领域间的显著性能差异。实验结果表明:当前LLM在显式本体理解和若干受限推理任务上表现良好,但在结构化本体构建尤其是属性介导关系和约束级输出方面存在明显不足;少样本和思维链提示带来的效果因任务而异;闭卷人类评估显示LLM在封闭式理解、推理和早期学习任务上与人类相当或更优,而人类在属性级与约束级构建方面仍保持优势。这些发现确立了OntoURL作为评估LLM处理形式化知识表示的可复用基准的价值。
**三、关键技术与方法**
OntoURL采用可复现的流水线构建基准实例。数据来源为43个专家创建的开放获取本体,涵盖科学、健康医学、商业金融、地球环境、艺术媒体娱乐、食品农业、人类社会和法律八个领域,均以RDF或OWL格式提供。流水线包括四个阶段:阶段1从RDF/OWL文件中提取本体元素(类标签、定义、注释、子类公理、等价与不相交公理、对象/数据属性、定义域/值域约束、实例、实例类型及同义词等),规范化后构建候选池;阶段2用程序化模板实例化生成三类任务(理解、推理、学习),黄金答案源自源本体实体、断言三元组或推理机验证标签,未经LLM生成;阶段3构建多选题干扰项、判断题负例及结构化生成目标;阶段4进行过滤、平衡、质量控制和专家验证。推理任务中的黄金标签由本体级推理(如描述逻辑推理机)验证,确保形式语义基础。学习任务中的L1术语抽取使用DeepSeek(记录在发布元数据中)进行受限改写,仅用于表面流畅度提升,且要求保留所有类标签和属性标签,未通过验证的输出会被拒绝。
**四、研究结果**
**(一)LLM综合性能**。在零样本设置下,Qwen系列模型在多数任务上表现突出,但最优模型因任务而异:Qwen2.5-72B在所有理解任务和R4上领先;Qwen2.5-32B在R1、R2、R3和L3上领先;Qwen3-32B在L1和L5上领先;LLaMA3.3-70B在R5上领先。两个本体微调模型Ollm-wiki-7B和Ollm-arxiv-7B在理解和推理任务上得分较低,表明基于类目或分类法数据的微调不能泛化到更广泛的本体任务。
**(二)本体理解能力**。通用模型在U1–U5上表现良好,但U3(属性语义理解,即识别属性的定义域和值域)是最难的理解任务,最佳得分仅65.9%,而其他理解任务最佳得分均高于85%。这可能因为定义域和值域约束在自然语言预训练数据中不如类定义和类型断言那样显式体现。
**(三)本体推理能力**。推理任务难度并非简单高于理解任务。Qwen2.5-32B在R1达92.6%、R2达95.0%、R3达78.0%,说明指令微调模型在输入格式和输出空间充分受限时能处理本体接地推理。R4和R5表现出较强的模型依赖性,得分差异大,形式化本体推理是模型区分的关键来源而非普遍弱项。
**(四)本体学习能力**。学习任务因生成形式不同而差异最大。L1术语抽取得分高(Qwen3-32B达91.5%),L2定义生成得分普遍较高。结构化构建任务难度差异显著:L3层级构建最佳56.8%,L5约束构建最佳35.2%,而L4属性关系构建最佳仅12.0%,是全部任务中最难的。这表明LLM能恢复部分局部本体结构,但难以生成精确的属性介导关系。
**(五)领域特定能力**。将两个通用Qwen3模型与四个领域专用模型(Finance-Chat-7B、Medicine-Chat-7B、BioMistral-7B-DARE、SaulLM-7B)比较,Qwen3-32B在所有四个领域表现最优,通用模型甚至在匹配领域也超过专用模型。例如在科学(生物学子集)推理上,Qwen3-8B达81.0%,而BioMistral-7B-DARE仅9.8%。这表明仅靠领域事实暴露不足以支撑本体任务,本体任务还需要形式化关系处理、结构化输出生成和稳健指令遵循能力。
**(六)概念深度效应**。通过分析概念在层级中的深度对任务难度的影响,发现性能随深度呈非单调变化:在根级(深度0)和近根级(深度1)准确率高,在2–3深度区间下降,在8–13深度区间回升,最深区间(18–20)显著下降但样本量仅61个。最大的性能下降出现在浅至中等深度,可能因为该范围概念组合了常见标签和相近干扰项。
**(七)少样本提示效应**。少样本提示对结构化学习(L3–L5)增益最明显,因为示例提供了输出格式指导。Qwen2.5-72B从33.9%提升至41.7%,但增益并非严格单调。理解任务大多不变或略降,推理任务部分模型获得适度增益。少样本提示主要作为格式脚手架用于结构化本体构建。
**(八)思维链提示效应**。零样本思维链提示在不同任务上效果不一。R5(描述逻辑推理)从思维链中获益最大(如Qwen2.5-7B提高25.2个百分点),而R1–R4经常下降或变化甚微。学习任务上,思维链普遍降低结构化构建性能(L3–L5平均降低2.3–4.0点),说明冗长的中间推理可能干扰需要精确结构化输出的任务。思维链仅在与任务结构对齐时有益,并非通用更优策略。
**(九)人类–模型比较**。闭卷条件下三位博士级参与者完成每任务40个抽样实例。在理解任务上,Qwen模型平均超过人类16.3个百分点;在推理任务上平均差距收窄至13.1个百分点;在L1术语抽取上两者相当;在L3层级构建上模型占优;但在L4属性关系构建和L5约束构建上人类显著占优(人类L4为48.3–53.5,模型仅4.1–12.0;人类L5为49.0–61.0,模型仅13.0–35.2)。这显示了人机协同本体工程的前景:LLM提出候选内容,人类专家评估结构有效性、逻辑一致性和领域适当性。
**五、讨论与结论**
讨论部分指出OntoURL在以下方面存在局限:本体和语言覆盖不完整,主要面向英语;任务覆盖未包含完整本体生成、调试修复、能力问题生成、模块化和交互式编辑;自动指标(Entity-F1、BERTScore F1、Triple-F1)不能完全捕捉语义充分性、逻辑一致性和设计质量;由于源本体公开,存在数据泄漏风险,需通过版本化发布和刷新机制缓解;实验设置未覆盖检索增强、工具辅助、任务特定微调或交互式人机工作流。
研究结论部分总结:本文引入URL Taxonomy作为LLM本体能力分类框架,并基于该框架构建OntoURL基准。研究人员开发了从形式化本体生成和验证基准实例的系统化流水线。评估刻画了LLM在理解、推理和学习能力上的优势与局限。OntoURL揭示了若干洞见,包括浅至中等本体深度准确率较低、少样本和思维链提示的影响、人类与LLM的性能差异。这些发现强调,尽管LLM进展迅速,但在处理符号化本体知识方面仍存在重大挑战。OntoURL可作为本体从业者和AI研究者的可复用资源,促进本体领域LLM的评估、分析与发展。