编辑推荐：
为探究 LLMs 编码知识，解决缺乏大规模可与人类规范媲美的 LLM 生成自由联想规范的问题，研究人员基于 SWOW 构建 “LLM World of Words”(LWOW) 数据集，用 3 种 LLM 生成超 300 万响应，构建语义记忆网络模型，验证其有效性，为研究隐式偏见提供新工具。
在人工智能与认知科学交织的前沿领域，理解人类与大语言模型（LLMs）如何组织概念知识成为破译智能本质的关键拼图。长久以来，心理学和语言学借助自由联想实验探索人类语义记忆的结构 —— 通过向参与者呈现提示词并收集关联反应，构建起反映概念关联的复杂网络。这种方法不仅揭示了词汇检索、语义组织的规律，还能捕捉如具体词与抽象词加工差异等认知现象，甚至被用于探测隐性态度，如通过联想强度揭示性别或种族偏见。然而，当研究视角转向 LLMs 时，传统基于词嵌入（word embeddings）的分析方法在应对新型上下文嵌入模型时逐渐显露局限：静态词嵌入向动态上下文嵌入的转换可能引入偏差，且模型间架构差异使得跨模型及与人类的比较难以实现。在此背景下，“机器心理学”（machine psychology）这一新兴范式应运而生，试图通过行为实验般的提示任务，从 LLMs 的输出反推其编码的知识结构，弥合人类认知研究与 AI 模型分析之间的方法论鸿沟。
为填补当前缺乏大规模可与人类数据媲美的 LLM 生成自由联想规范的空白，意大利比萨大学（University of Pisa）、特伦托大学（University of Trento）等机构的研究人员开展了一项具有突破性的研究。他们以人类自由联想规范数据集 “Small World of Words”（SWOW）为蓝本，设计了 “LLM World of Words”（LWOW）项目，利用 Mistral、Llama3 和 Claude Haiku 三种 LLM，对 SWOW 中近 12,000 个提示词分别生成 100 组、每组 3 个关联响应，最终形成包含超 300 万条响应的数据集。该研究成果发表于《Scientific Data》，为跨物种（人类与 AI）的概念知识比较提供了前所未有的标准化工具。
研究采用的核心技术方法包括：
- 数据生成与预处理：沿用 SWOW 的提示词列表，通过标准化提示指令（如 “输入词：sea，输出：water, beach, sun”）引导 LLMs 生成响应，并对原始数据进行小写转换、去除冗余冠词、拼写校正、词形还原（lemmatization）等处理，最终保留 11,545 个提示词的有效数据。
- 语义记忆网络构建：将提示词与响应词构建为有向加权网络，边权重反映关联频率，随后转换为无向网络并过滤非 WordNet 词汇、单例边及孤立节点，形成包含人类与三种 LLM 的简化网络模型。
- 语义启动验证：利用 R 包 spreadr 模拟语义启动效应，通过传播激活（spreading activation）算法验证网络模型的有效性 —— 在词汇决策任务（LDT）经典数据中，相关提示词对目标词的激活水平显著高于无关对，且与人类反应时间呈负相关。
研究结果
1. 数据集特征与网络统计
LWOW 数据集显示，人类数据拥有最多独特响应（116,640），Llama3 次之（105,367），而 Haiku 最少（15,275），反映出不同模型在语义多样性上的差异。网络分析表明，Llama3 的简化网络节点数（38,987）和边数（546,866）最接近人类（24,308 节点，317,344 边），Haiku 网络规模最小，提示其语义表征的丰富度较低。节点与边的跨模型比较显示，人类与 LLM 网络的共同节点比例在 48%（Llama3）至 59%（Mistral）之间，而边的重叠率仅 13%-23%，揭示出 AI 与人类在概念关联强度上的显著差异。
2. 语义启动效应的跨模型验证
通过模拟传播激活过程，研究发现所有模型（包括人类）均呈现显著的语义启动效应：相关提示词激活的目标节点标准化激活水平显著高于无关对（Wilcoxon 检验，p<0.001），效应大小（0.859-0.870）与 LDT 实验结果高度吻合。激活水平与反应时间的 Spearman 相关系数在 - 0.614（Llama3）至 - 0.662（Haiku）之间，表明 LWOW 网络能有效模拟人类认知中的语义关联机制。
3. 隐性偏见研究的潜在应用
研究提出，利用 LWOW 数据集可类比人类隐式联想测试（IAT），通过设计刻板印象一致 / 不一致的提示词对（如 “doctor-man” 与 “doctor-woman”），分析不同模型的激活差异以量化偏见。例如，较高的刻板印象一致对激活水平可能反映 LLM 中固化的社会偏见，为揭示 AI 与人类偏见的共性与差异提供实证基础。
结论与意义
LWOW 项目首次构建了可与人类自由联想规范直接对比的 LLM 数据集，通过跨学科方法架起认知科学与 AI 研究的桥梁。其核心意义体现在：
- 方法论创新：将心理学经典工具（自由联想、网络模型）引入 LLM 分析，开创 “机器心理学” 研究范式，为黑箱模型的可解释性提供新路径。
- 数据资源价值：公开数据集（Zenodo 与 GitHub 存储）为跨模型比较、人机认知差异研究提供标准化基准，推动如语言学习、创造力建模、神经发育障碍模拟等领域的发展。
- 社会伦理启示：通过量化 LLM 的隐性偏见，研究为开发更公平、透明的 AI 系统提供关键工具，助力识别并减轻算法歧视，促进人工智能的社会责任感。
这项研究不仅深化了对人类语义记忆与 LLM 知识编码的理解，更预示着一个融合认知科学、网络科学与 AI 伦理的新研究时代 —— 在这个时代，机器不再仅是执行工具，而是可被心理学视角剖析的 “认知主体”，其 “思维” 模式的解密将为智能技术的人性化演进奠定基础。
