大型语言模型是否具备空间认知能力？

《ACM Transactions on Intelligent Systems and Technology》：Do Large Language Models have Spatial Cognitive Abilities?

本研究通过设计包含24种典型空间场景的实验，评估了8个大语言模型的空间认知能力。原始平均准确率为33.25%，经提示优化后提升至53.90%，为模型认知能力研究提供了基准数据。

　　

摘要

自从大型语言模型出现以来，它们受到了学者和行业专业人士的广泛关注。随之而来的一个重要问题是，这些大型语言模型是否具备与人类相似的认知能力。空间认知作为人类认知能力的一个重要方面，在这一评估中起到了基础性的作用。本研究试图探讨两个核心主题：首先，它试图确定大规模语言模型是否具备空间认知能力；其次，它旨在找出能够引发更佳空间认知回答的最佳提示方法，同时考虑结果的稳定性和准确性。我们设计了一系列实验，使用了24个典型的空间场景来评估目前八种流行的大型语言模型是否具备空间认知能力，并考察了它们的空间认知水平。后续的讨论探讨了提高大型语言模型空间认知性能的策略，以使其更接近人类的认知水平。在没有额外提示的情况下，这八种大型模型在判断三种基本空间关系（拓扑关系、方向关系和距离关系）方面的平均准确率为33.25%。经过提示优化后，准确率显著提高，达到了53.90%。我们的方法论使我们能够系统地评估和比较这些模型，揭示了它们在这一领域的不同能力。基准数据可在https://github.com/LLING000/SCABenchmark获取。