编辑推荐：
在心理测评中，传统方法存在局限。研究人员开展 “通过大语言模型（LLMs）嵌入进行测试项目语义分析以预测人格测试先验因子结构” 的研究。结果显示 LLMs 能有效捕捉语义相似性，与传统测试结构显著相关。这为心理评估提供新视角。
在心理学的发展历程中，自然语言与心理学的联系源远流长。1884 年，Galton 提出的 “词汇假设”，犹如一颗种子，开启了众多科学家探索人格描述词汇意义的征程，最终孕育出经典的大五人格问卷。随着科技的进步，机器学习（ML）方法在自然语言处理（NLP）领域蓬勃发展，从早期基于单字向量嵌入的潜在语义分析（LSA）和 Word2Vec，到如今强大的基于 Transformer 的大语言模型（LLMs），如 GPT 系列和 BERT，这些技术的变革不断冲击着语言心理学的研究方法。
然而，在心理测评的领域中，仍存在诸多亟待解决的问题。一方面，传统的心理测评方法在构建和验证测试时，往往依赖大量的人力和复杂的统计分析，过程繁琐且可能存在偏差。另一方面，现有的基于机器学习的方法，虽然在某些方面取得了进展，但在处理复杂的语义和语境时，依然存在不足。例如，早期的 LSA 在处理长句和提取长距离上下文信息时表现欠佳，难以准确反映测试项目的真实语义关系。
为了突破这些困境，探索更高效、准确的心理测评方法，研究人员开展了一项极具创新性的研究。他们聚焦于利用大语言模型嵌入进行测试项目的语义分析，旨在预测人格测试的先验因子结构。这项研究成果发表在《Current Research in Behavioral Sciences》上，为心理测评领域带来了新的曙光。
研究人员为开展此项研究，运用了多种关键技术方法。他们从开源心理测量项目中获取了大五问卷、RIASEC 问卷、HSQ 问卷和 DASS 问卷的大量数据，这些数据涵盖了不同的人格维度和心理状态测量。在生成文本嵌入时，使用了 Sentence - BERT、Mistral、CLIP 等基于 Transformer 的神经网络模型。通过计算余弦相似度来衡量嵌入向量之间的语义相似性，并运用主成分分析（PCA）对数据进行降维处理，以提取潜在的因子结构。
研究结果主要从以下几个方面展开：
- 相关矩阵分析：研究人员利用 LLMs 获取每个测试项目的嵌入向量，并通过 T - SNE 进行二维投影初步分析。结果发现，即使在高维空间中，同一因子相关的项目在投影中也更接近。进一步计算余弦相似度得到相关矩阵，发现同一构造的项目相似度最高，且不同构造项目的平均相似度存在显著差异（p 值 < 0.001），这表明语言模型能够捕捉测试结构中的相似意义。
- PCA 分析：对嵌入向量的相关矩阵进行 PCA 分析，按照理论假设确定主成分数量。结果显示，PCA 应用于嵌入向量所解释的累积方差高于人类响应，说明嵌入向量能有效捕捉理论描述的潜在因子。通过分析项目在主成分上的载荷，发现大部分测试的构造能正确聚类，平均正确语义相似性聚类高于 70% ，但也有部分构造如宜人性和压力相关项目聚类较困难。
- 与人类响应的相关性：收集人类数据并进行与嵌入向量类似的处理，计算嵌入向量和人类响应的载荷之间的 Spearman 相关性。结果发现，所有测试中相同构造的载荷之间存在高相关性（R > 0.5，p 值 << 0.001），且 Omega 值表明项目在表达潜在构造方面，人类响应和嵌入表示相近，进一步支持了语义相似性分析的结果。
- 不同嵌入模型比较：对比 RoBERTa、GTR - T5 - XXL、Sentence - T5 - XXL、MPNet - Base - v2、CLIP 和 MistralAI 等模型的性能，以相同构造项目正确对齐的平均百分比为指标。结果表明，RoBERTa 和 MPNet 在所有测试中表现良好且相当，Sentence - T5 在除大五问卷外与 RoBERTa 性能相当，GT - T5 在多数测试中表现较差，Mistral 和 CLIP 未达到 RoBERTa 的性能。
研究结论和讨论部分指出，本研究将 LLMs 和文本嵌入技术应用于人格测试的内容效度分析，为心理测评提供了新的视角和方法。LLMs 能够有效捕捉测试项目的语义细微差别，在测试应用前评估内容效度，有助于更精确地构建测试。然而，研究也存在一定局限性，如基于已验证测试，未涉及新提出的未验证项目；未深入分析语言模型分类错误的本质；研究局限于人格领域，未拓展到其他心理属性测试。未来研究可针对这些问题展开，进一步优化模型，探索多模态模型在非言语测试环境中的应用，推动心理测评领域的发展。此项研究意义重大，它不仅为心理测评的发展提供了新方向，还可能在临床和组织环境中发挥重要作用，帮助从业者基于更准确的测试结果做出决策，从而更好地理解人类心理学和行为。
