人类检测AI生成的选拔测试：准确性与个体差异的考察

《Personality and Individual Differences》：Human detection of AI-generated selection tests: An examination of accuracy and individual differences

　　

摘要
生成式人工智能（AI）日益广泛的应用引发了关于其在人员评估开发中作用的问题。尽管大型语言模型可能有助于高效生成评估内容，但关于受测者是否能区分 AI 生成的评估和人类开发的评估，以及个体差异是否预测这种能力，目前所知甚少。本研究考察了情境判断测验（SJT）背景下的识别准确率。在两个本科生样本中，479 名参与者完成了一份人类开发的 SJT 和一份 AI 生成的 SJT，随后指出他们认为哪份评估是使用大型语言模型辅助开发的。参与者还完成了大五人格和认知能力测量。总体而言，参与者正确识别出 AI 生成 SJT 的比例为 49.3%，这一比例与随机猜测水平无显著差异。认知能力正向预测识别准确率，并在分析中保持最稳健的个体差异预测因子。情绪稳定性也显示出与识别准确率的小幅正相关。其他大五人格特质未能一致地预测准确率。这些发现表明，AI 生成的 SJT 可能很难让受测者将其与人类开发的评估区分开来，同时也表明识别准确率并非完全随机。讨论了这些发现对 AI 辅助评估开发、申请者感知以及选拔背景下感知人为性的影响。

引言
大型语言模型（LLMs）已迅速变得更加普及，无论是在研究还是组织实践中都如此（Dutta & Naveen, 2026; Lievens & Dunlop, 2025）。这些应用中最重要的一个应用是开发评估内容本身，传统题目编写的高昂成本和精力是提出使用 LLMs 作为潜在辅助工具的原因之一。越来越多的研究开始检验 LLMs 是否以及如何应用于评估开发，比较 LLMs 生成的题目与专家开发基准的心理测量质量。在不同类型的评估中，结果令人鼓舞。Lee 等人（2023）表明 AI 能够高效生成人格题目，同时保留人类编写题目的心理测量属性，且最近几项研究报告称，完全由 LLMs 生成的评估在信度和效度上与专家精心制作的评估相当（Avidov et al., 2024; Li et al., 2026）。这一证据表明，LLMs 现在可以生产接近甚至在某些情况下匹敌人类开发材料质量的评估内容。

AI 作者身份可识别性的相关性取决于感知到的 AI 作者身份是否会改变受测者对选拔程序的反应。感知到的测试开发中的 AI 参与可能会产生积极、消极或中立的反应，这取决于它激活的评价。因此，研究可识别性的理由并不是申请者必然关心 AI 作者身份，而是准确的检测决定了当未披露 AI 使用时，基于来源的反应是否会自发产生。申请者反应模型提出，申请者根据程序公正性来评估选拔程序，包括工作相关性、一致性、表现机会和解释的充分性等特点（Ryan & Ployhart, 2000）。这些感知在实践上具有相关性，因为有利的申请者反应与组织吸引力及行为意向（如接受录用或向他人推荐组织）相关（Hausknecht et al., 2004）。因此，当未披露 AI 使用时，准确检测是受测者反应的一个边界条件。

如果 AI 生成的题目在心理测量学上与人类开发的题目相当，且可能无法区分，那么对于完成这些评估的参与者来说，两者之间的界限可能难以分辨。这提出了现有研究尚未回答的几个问题，关于受测者如何感知 AI 生成的评估，感知到的人为性如何塑造他们的反应，以及最根本的问题是，人们是否真的能分辨出区别（Lievens & Dunlop, 2025）。同样重要的是，这种能力是否在个体间均匀分布，或者个性、认知能力等特征是否预测谁能准确区分 AI 生成和人类开发的内容。本研究使用情境判断测验（SJT）来考察这两个问题，SJT 是一种广泛使用的选拔方法。

SJT 向受访者呈现书面的与工作相关的情境和几种行为反应选项，要求他们评估、排名、选择或评价这些选项的有效性。SJT 在选拔中始终表现出效标关联效度（Christian et al., 2010; McDaniel et al., 2007），使其成为评估求职者的有价值工具。在研究 AI 检测时，两个特征使 SJT 成为一种有用的工具。首先，其题目完全基于文本，因此原则上可供受测者使用的区分 AI 与人类作者文本的词法和风格线索是可用的。其次，开发高质量的 SJT 是资源密集型的：开发者从主题专家那里收集关键事件，将其转化为具有不同有效性反应选项的真实场景，并召集单独的专家组建立评分标准（Campion et al., 2014; Lievens et al., 2008）。这种资源密集性有助于解释为什么组织可能会采用 AI 辅助的题目开发。然而，成本效率是一种组织效益，本身并不能确立申请者会注意到或反应 AI 生成的内容。相反，可识别性关乎 AI 的使用是否对受测者明显，因此可以塑造他们的感知或反应。

不应假定感知到的 AI 参与会产生统一的负面申请者反应。相反，一些研究表明，当人们认为自动判断缺乏人情味、简化或不可信时，他们可能会抵制，而其他研究表明，人们可能重视算法的一致性和客观性（Dietvorst et al., 2015; Logg et al., 2019; Newman et al., 2020）。在选拔背景下，AI 的使用也可能减少感知到的社会临场感，同时信号提示组织的创新性（Folger et al., 2022; Langer et al., 2019）。因此，感知到的 AI 作者身份是否产生积极、消极或可忽略的申请者反应仍然是一个值得检验的开放实证问题。

迅速增长的研究表明，人们很难识别 AI 生成的文本，即使专家可能提供帮助也是如此。在新闻文章、故事、创意写作和专业自我展示中，评估者在接近随机水平的程度上区分 AI 与人类作者文本，简短培训、财务激励和反馈带来的改善甚微（Clark et al., 2021; Jakesch et al., 2023）。即使领域专家表现也一般，研究发现生物医学审稿人和教职员工正确识别 ChatGPT 生成的摘要和学生作文的时间仅约为 68–70%；高于随机水平，但远未达到可靠分类（Gao et al., 2023）。

导致文本检测表现不佳的关键机制涉及人们依赖的启发式线索。Jakesch 等人（2023）使用计算文本分析表明，评判者将第一人称代词、缩写形式以及对个人或家庭话题的提及等特征与人类作者身份联系起来，而这些特征现代大型语言模型现在都能可靠地生成。关键的是，作者表明这些启发式线索可以被利用：被工程设计为包含此类特征的 AI 文本被评为比实际人类编写的文本听起来更像人类，这一现象被描述为“比人类更人类”效应。对于 SJT 这类基于文本的评估，这一模式引发了这种可能性，即 AI 生成的题目不仅可能无法与人类开发的题目区分开来，而且在某些情况下，可能看起来比其人类作者版本更加精致或自然。受测者在判断评估题目时是否真的依赖这些线索超出了本研究的范围，本研究提出的是逻辑上的先决问题，即他们是否能在根本上区分 AI 生成和人类开发的 SJT。我们在考虑未来研究方向时，将回到具体线索的问题上，以及可能如何直接测试它。

关于 AI 内容检测准确率个体差异的研究仍然有限，但已开始识别几个相关预测因子。在个体差异中，认知能力和分析性思维是最一致的检测预测因子。在一项涉及 3000 多名参与者的三国研究中，认知反思是文本、图像和音频中仅三个可靠预测因子之一，与一般信任和 AI 熟悉度并列（Frank et al., 2023），且较高的认知能力与对不合逻辑的 AI 生成内容产生更大怀疑相关（Ahmed, 2021; Pennycook & Rand, 2019）。这些发现与更广泛的认知反思文献相符（Pennycook & Rand, 2019），并为本研究关于认知能力将正向预测检测准确率的假设（H1）提供了实证基础。

关于人格在检测中作用的证据较稀疏且主要依赖自我报告。在一项针对印尼年轻人的研究中，诚实 - 谦逊与自我报告识别深度伪造的信心呈负相关，而宜人性呈正相关（Abraham et al., 2022）。由于这些发现反映的是感知能力而非行为能力，因此有必要使用行为准确率来检验人格预测因子，正如本研究所做的那样（RQ1）。

值得注意的是，几乎所有现有的 AI 检测研究都考察了新闻文章、社交媒体帖子、面孔或创意写作等通用内容。据作者所知，此前没有任何研究考察个体是否能准确区分 AI 生成和人类开发的人员选拔评估，尽管生成式 AI 工具在评估开发中的使用日益增长（Dutta & Naveen, 2026; Lievens & Dunlop, 2025）。这一差距是关键的，因为选拔评估在评估条件下与通用文本不同：受测者可能由于情境的高风险性质而更仔细地审查题目内容，但可能也缺乏识别 AI 生成的评估题目外观或感觉所需的领域专业化知识。本研究通过考察情境判断测验具体背景下的检测准确率来弥补这一差距。

本研究旨在调查认知能力和人格作为准确区分人类开发和 AI 生成 SJT 的可能预测因子。特别是，我们旨在通过个体差异的视角，扩展目前位于评估设计与生成式 AI 交叉领域的文献。据我们知识，这是第一项在招聘选拔过程背景下考察生成式 AI 检测个体差异的研究。我们寻求通过首先分析大五人格特质是否预测个体准确区分 AI 生成和人类开发 SJT 的能力，为这一新兴领域文献奠定基础。

研究问题 1：大五人格特质是否预测个体准确区分 AI 生成和人类开发 SJT 的能力？
其次，当前研究寻求检验在认知能力效应之上，大五人格特质是否增量预测个体准确检测 AI 生成 SJT 的能力。如果建立了增量效度，则大五人格特质和认知能力的独特贡献可以得到更清晰的划分。

假设 1：认知能力正向预测个体准确区分 AI 生成和人类开发 SJT 的能力。
研究问题 2：在认知能力效应之上，人格特质是否增量预测个体准确检测 AI 生成 SJT 的能力？

章节摘要：方法
参与者来自两所独立的西南大型公立大学本科生样本，他们参与了一项更广泛的研究，考察 AI 生成和人类开发情境判断测验的心理测量属性。在两个样本中，参与者亲自完成研究，并被指示想象评估是招聘决策的一部分，以模拟更高风险的测试情境。参与者获得课程学分作为其

结果
由于两个样本完成了不同的 AI 生成 SJT（逐步提示 vs. 零样本），我们首先验证它们是否可以合并。预测变量与检测之间的关系在样本间没有差异，预测变量显示出等效的相互相关和信度，且样本在测量上具有可比性。我们进一步检验了可识别性本身是否在逐步和零样本 SJT 之间不同。在完整模型中添加生成策略指标并没有

讨论
本研究考察了人们是否能区分 AI 生成和人类开发的 SJT，以及个体差异是否预测这种能力。这一发现与先前表明人们常常难以区分 AI 生成文本和人类作者文本的研究一致，即使当他们被明确要求进行该判断时也是如此（Clark et al., 2021; Gao et al., 2023; Jakesch et al., 2023）。本研究将该工作扩展到人员选拔背景，表明

结论
总之，本研究提供了初步证据，表明人们难以区分 AI 生成和人类开发的 SJT。参与者总体表现与随机水平相当，表明当 AI 生成的评估内容被设计得与人类开发材料相似时，可能难以识别。认知能力显示出与识别准确率的小幅但稳定的正相关关系，而情绪稳定性显示出较弱且不太稳定的关联。其他大五人格特质并未

作者贡献声明
Patrick J. Rolwes：写作 – 审阅与编辑、写作 – 原稿、监督、方法论、形式分析、数据管理、概念化。

Seth Valle：撰写——初稿，方法论，调查，正式分析。
Michelle P. Martín-Raugh：撰写——初稿，监督，概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能会影响本文所报告的工作。
Patrick J. Rolwes|Seth Valle|Michelle P. Martín-Raugh
美国德克萨斯大学阿灵顿分校心理科学系