大型语言模型（LLMs）会梦到本体论（Ontologies）吗？

《ACM Transactions on Intelligent Systems and Technology》：Do LLMs Dream of Ontologies?

研究分析了多款大语言模型对Gene Ontology、Uberon等公开本体资源中概念ID-标签关联的记忆能力，发现GPT-4表现最佳但准确率普遍偏低，且概念记忆与网络流行度显著正相关，表明模型通过间接文本曝光而非直接结构化资源学习知识，并提出了预测不变性新指标。

　　

摘要

大型语言模型（LLMs）在各种自然语言处理任务中表现出色，但它们记忆结构化知识的能力尚未得到充分研究。在本文中，我们探讨了通用预训练的LLMs在多大程度上能够保留并正确再现来自公开可用本体论的概念标识符（ID）与标签之间的关联。我们使用诸如Pythia-12B、Gemini-1.5-Flash、GPT-3.5和GPT-4等LLMs，对多个本体资源（包括基因本体论、Uberon、Wikidata和ICD-10）进行了系统评估。研究结果表明，只有少数本体概念被准确记住，其中GPT-4的表现最佳。为了解释为什么某些概念比其他概念更容易被记住，我们分析了记忆准确性与概念在网络上的流行程度之间的关系。研究结果表明，概念在网络上的出现频率与其标签被准确检索到的可能性之间存在强烈相关性。这表明LLMs主要是通过间接的文本接触获取此类知识，而非直接从结构化的本体资源中获取。此外，我们引入了新的指标来量化预测的不变性，证明模型响应在提示语言和温度设置变化时的稳定性可以作为评估记忆鲁棒性的代理指标。