为语言模型服务及源自语言模型的语义认知

《Current Opinion in Behavioral Sciences》：Semantic cognition for and from language models

　　

神经网络语言模型（LMs）在展现复杂语义行为方面的成功，引发了关于它们在多大程度上与人类概念知识兼容的疑问，以及它们是否也能推进我们对语义认知的理解。本短文探讨了语言模型与语义认知之间这种潜在的双向联系。具体而言，我回顾了用于建立语言模型中概念知识的结构与功能的各种方法论，这些方法主要受语义认知文献的启发。随后我总结了未来工作可能推进的三种方式，以便在相反的方向上做出贡献，即利用语言模型中的见解得出关于人类语义认知的基于语言的起源和机制的结论。

引言

我们对世界的许多直观理解依赖于概念——即描述关于实体类别（范畴）知识的心理表征，这些类别具有某种共性[1]。这种知识在获取、组织、更新和日常行为部署过程中所依赖的过程，是语义认知研究的核心。虽然概念表征与更广泛的语义认知议题自联结主义诞生以来一直是其核心议题，但神经网络语言模型的兴起使这一联系比以往任何时候都更加深刻，这得益于模型所展现的复杂行为及其大规模影响力。

语言模型与语义认知之间的联系是潜在的双向的。一方面，语义认知文献提供了一个具有心理学基础的视角，用于评估语言模型对意义的编码。另一方面，语言模型为我们提供了回答某些通常难以回答的问题（就人类而言）的理论进展可能性——例如，理解某些类型的意义在多大程度上可以仅从语言接触和语言使用中产生；或者，哪些类型的表征和机制支持概念理解。两个方向的贡献都有一个共同的前提：需要存在能够量化语言模型中概念意义的方法论。由于关于人类概念知识的问题存在多种方法，语言模型也存在类似情况并不令人意外。本简评通过首先梳理受语义认知启发的现有模型评估方法，然后确定语言模型可用于促进我们对语义认知理解的未来方向，来探讨语义认知与语言模型的交叉领域。

章节摘录

面向语言模型的语义认知

尽管测试语言模型中概念理解的方法多种多样，但可以将其归为两类，主要区别在于它们回答的研究问题的性质以及所测试的概念理解类型。第一类测试与分析侧重于模型中概念的结构和内容——例如它们的属性、与其他概念的关系，以及它们如何被组织等。第二类

从语言模型看语义认知

上述用于测量语言模型中概念意义的范式，是最终利用语言模型对语义认知做出主张的有用前提。在这一方向（语言模型→语义认知）上的进展虽然缓慢，但并非没有。例如，一些发现表明，语言模型能够捕获正确的概念结构，这意味着仅从训练语言的形式中可以恢复比此前认为的更多的内容，并且它们的成功通常

结论

总之，语言模型中存在的复杂概念理解证据——尽管我们知道它远非完美——为我们提供了重新思考语言在贡献有意义的概念储备方面所起作用的机会。过去几年在评估方法开发方面取得了相当大的进展，使我们能够得出关于语言模型中概念知识的结构与功能方面性质的结论。然而，同样重要的是要奠定基础

利益冲突声明

作者声明，他们没有已知的竞争性财务利益或个人关系，这些可能影响到本文所报告的工作。

致谢

作者得到了德州大学奥斯汀分校Donald D. Harrington奖学金的支持。作者感谢Najoung Kim关于标题的讨论，以及两位匿名审稿人的意见和反馈。

术语表

概念

范畴的心理表征，范畴是世界中共享某种共性的实体类[1]

分布式对齐搜索

一种可解释性方法，用于识别神经网络的激活是否编码了假设的因果（算法）模型中的特定变量。它通过交换干预（在模型状态之间交换激活并测试网络输出是否发生变化）来实现这一点。

归纳概括

虽然有多个

Kanishka Misra