编辑推荐：
为解决大语言模型（LLMs）在心理评估中参数设置不统一、提示设计影响未充分探索、模拟群体心理差异能力待检验等问题，研究人员开展 LLMs 对人格评估和文化变量响应的研究，发现提示设计等影响，对完善心理模拟方法意义重大。
在科技飞速发展的当下，大语言模型（LLMs）如同一股浪潮，席卷了自然语言处理领域。以生成式预训练变换器（GPT）系列为代表的 LLMs，不仅让人机交互变得更加自然流畅，甚至在一定程度上通过了传统的 “图灵测试”，能够模拟出近乎人类的对话场景，在内容创作、编程、投资决策、招聘等诸多领域都大显身手。
然而，随着 LLMs 展现出越来越多类似人类的行为，人们对其背后的心理机制产生了浓厚兴趣。将心理学框架应用于 LLMs 的研究逐渐兴起，这个新兴领域被称为人工智能心理学（AIP）或机器心理学（MP）。由于 LLMs 基于大量人类生成的数据进行训练，研究人员认为使用人类设计的心理评估工具，如自我报告问卷，能够有效评估 LLMs 的行为和认知。此前的研究已经揭示了 LLMs 在人格特质评估中的一些规律，例如 GPT 模型在不同评估中的人格特质较为稳定，在某些指标上呈现出类似人类的平均特征，但在其他方面也存在偏差。
不过，当前的机器心理学研究面临着诸多挑战。在参数设置方面，温度（控制模型响应变异性的参数）的设置在不同研究中差异很大，有的使用默认设置，有的依赖确定性输出，这使得跨研究比较变得困难。提示工程的影响在心理评估中尚未得到充分探索，提示设计的不同可能会导致模型给出截然不同的回答。而且，尽管可以通过直接提示来操纵某些人格特质，但 LLMs 模拟不同人群心理差异的能力还有待充分检验。这些问题严重阻碍了机器心理学的发展，使得研究结果的可靠性、有效性和普遍性受到质疑。
为了解决这些问题，中国人民大学心理学系的研究人员开展了一系列研究，并将成果发表在《Computers in Human Behavior》上。
研究人员主要运用了自我报告问卷这一关键技术方法。在研究过程中，使用了大五人格问卷、自我构念量表等工具，同时对比了 LLMs 的回答和大量人类数据（样本量 N = 18,192 - 49,159）。
研究 1：探索模型参数和提示模板对大五人格问卷得分的影响
研究人员选取了两种主流的大语言模型，设置不同的温度参数，并采用不同的提示模板，以此探究大五人格问卷得分的差异。结果发现，不同温度设置下，模型在大五人格特质的五个维度上的响应并没有显著差异，这表明不同温度设置下获得的心理测量数据来自同一总体，验证了将温度设置为 0 可有效控制模型输出稳定性的观点。而提示模板的变化却导致了模型回答出现显著差异，这凸显了提示设计对 LLMs 回答的重要影响。
研究 2：比较大语言模型与人类在主要自我报告人格问卷上的回答
该研究将 LLMs 的回答与大量人类数据进行对比。结果显示，LLMs 在积极特质（如外向性）上得分较高，而在消极特质（如精神病态）上得分较低。这一结果反映出 LLMs 存在训练偏差，其回答并不能完全等同于真实人类的人格特征。
研究 3：使用自我构念量表评估模型模拟群体心理差异的能力
研究人员通过设定来自中国和美国的虚拟主体，使用自我构念量表评估 LLMs 能否准确模拟不同文化群体间的心理差异。虽然发现两个群体间存在显著差异，但两个群体都呈现出东亚自我构念模式，这表明 LLMs 在模拟真实的文化心理差异方面存在局限性。
综合这三项研究，研究人员得出结论：提示设计对 LLMs 的响应有重要影响；LLMs 的人格特征与人类存在差异，反映出训练偏差；LLMs 在模拟准确的文化心理差异方面存在困难。这些结论强调了在使用 LLMs 进行心理模拟时，需要更精细的方法。目前的 LLMs 难以准确代表人类多样化的心理特质，这为后续研究指明了方向，即如何优化模型训练和提示设计，使 LLMs 能更真实地模拟人类心理，对推动人工智能心理学的发展有着重要意义。未来的研究可以围绕改进模型训练数据、优化提示设计策略等方面展开，以提升 LLMs 在心理模拟领域的准确性和可靠性。
