基于表现效度测试的大学一年级学分换取者测试投入度研究

《Journal of Clinical and Experimental Neuropsychology》：Test engagement in first-year university students seeking course credits

　　

摘要 目标：这项预注册研究考察了荷兰大学生以换取课程学分方式参与心理学研究时的测试投入度。研究人员假设至少10%的学生会表现出无效表现，测试投入度会在评估过程中下降，且评估结束时施测的常用自评测试投入度问题效用有限。 方法：共222名心理学一年级学生完成了一套45分钟的评估组合，并被指示在五项表现效度测试（PVTs）上最大化其表现。测试顺序在参与者间进行了平衡设计，以考察测试在评估中的位置效应。此外，自评测试投入度与客观任务表现进行了关联分析。 结果：结果证实了第一个假设，显示11.3%的学生表现出强烈的表现不足迹象。无效表现的证据主要出现在限时注意力任务上，而基于记忆的测量结果则无明显发现。在45分钟组合内，测试顺序效应仅见于基于注意力的效度测试表现。自评测试投入度分数聚集在天花板附近，与客观效度测试表现仅呈弱相关。 结论：研究人员在解读以课程学分换取方式参与研究的大学生数据时应保持谨慎。纳入PVTs可能提高评估数据质量。然而，测试投入度的自我评级似乎并非识别或排除无效学生数据的有效方法。未来研究应进一步考察在较长认知评估方案中无聊感和测试投入度下降的潜在效应。

论文解读

一、研究背景与问题提出

行为心理学研究高度依赖大学生样本，参与者通常通过本科课程体系招募，并以换取课程学分作为参与补偿。在这种模式下，学分通常依据参与行为而非实验中的个体表现发放。这一做法在采用神经心理学测验的认知研究中可能产生问题，因为这类测验要求充分的测试努力以最大化表现。学生的表现动机因此可能受损，其主要激励是获取学分而非内在驱动力。

在认知评估中，表现数据效度可通过表现效度测试（PVTs）进行评估。PVTs是经验性开发的测量工具，用于判断个体是否真实呈现其认知能力。这类测试通常包含低认知负荷的简单任务，采用重复性结构，因此显著低下的表现被解读为无效测试投入度的指标，而非真实认知功能障碍。鉴于其性质与目的，PVTs同样适用于考察学生样本在认知研究中的潜在表现不足。

既往研究在方法上存在诸多差异，包括样本量与构成、PVT选择、应用的分界值以及无效表现定义标准，导致结果与结论差异显著。早期研究曾报告约三分之一至一半的参与者呈现不可信表现迹象，但后续研究指出其方法学局限，并报告了较低的PVT失败率，范围从2%至18%不等。尽管失败率变异较大，研究一致表明相当比例的大学生在认知测试中存在表现不足，这可能反映无聊感或尽快完成测试的意愿，尤其是在学分发放独立于时间投入或努力程度的情况下。

二、研究设计与核心发现

本研究首次在欧洲大学生样本中考察该主题，纳入222名荷兰一年级学生。参与者完成由五项PVT组成的组合，包括三项独立式与两项嵌入式测试，采用两种平衡顺序之一施测，并在评估后完成测试投入度自评。研究扩展了既往方法：样本量更大，应用当前指南推荐的双失败规则以减少假阳性，并通过平衡测试呈现顺序考察时间任务效应。

研究结果部分支持了预注册假设。首先，基于注意力的GET表现出24%的失败率，强烈提示测试投入度不足，这一结果主要由异常快速的反应时间驱动，反映于GET指数分数中。WAFS中亦观察到异常高的冲动性错误率，41%的参与者落入临床范围。然而，基于记忆的PVTs未发现显著异常，这可能是因为记忆类测试对大学生而言相对容易，对投入度细微变化不够敏感。应用双失败规则后，11.3%的参与者被归类为表现不足，超过预注册的10%阈值。值得注意，当排除GET后，该比例降至4.5%，表明GET是驱动表现不足的主要来源。

其次，测试顺序效应仅见于GET，当该测试在组合后半段施测时失败率显著升高，原始分数差异呈小至中等效应量。其余PVTs未显示显著顺序效应，提示在45分钟评估期间测试投入度总体保持相对稳定，不支持投入度随时间普遍下降的结论。

第三，自评测试投入度与PVT表现之间仅呈微弱且大多不显著的关联。自评分数呈负偏态且具明显天花板效应，均值为94.70分，范围60至100分。除WAFS遗漏错误外，自评投入度与所有PVT结果均无显著相关。这表明自我报告与基于表现的有效性指标捕捉了测试投入度的不同且非冗余的方面。

三、主要技术方法

本研究采用五项表现效度测试评估测试投入度：格罗宁根努力测试（GET），基于维也纳测试系统施测的注意力类PVT，记录错误数与综合指数分数；医疗症状效度测试（MSVT），考察即时识别、延迟识别与一致性分数的计算机化记忆类PVT；可靠数字广度（RDS），源自韦氏成人智力量表修订版的数字广度分测验，以最长正确数字串之和为指标；选择性注意测试（WAFS），评估反应时间、反应时间离散度、遗漏与冲动性错误；阿姆斯特丹短时记忆测试（ASTM），呈现语义相关词对并配合算术干扰任务的记忆类PVT。测试组合以两种平衡顺序施测，样本来源于荷兰格罗宁根大学心理学一年级学生库（SONA），最终纳入222名参与者，两个顺序条件分别为104人与118人。自我报告投入度采用0至100分的单一项目在评估结束时施测。

四、研究结果详述

初步分析：参数检验假设总体满足，MSVT分数因测试难度较低呈现天花板效应，WAFS反应时间数据轻度正偏态，均被视为可接受。

假设1：PVT失败率与注意力表现。失败率在各PVT间差异显著。GET失败率最高（24.3%），GET-I亦显著超过10%阈值（23%）。RDS（6.3%）、WAFS（9.5%）与ASTM（6.3%）呈中等失败率，MSVT失败率较低（1.4%）。依据双失败规则，11.3%参与者被归类为表现不足，其中9.9%失败两项PVT，1.4%失败三项。WAFS各指标中，得分等于或低于第16百分位的参与者比例从反应时间的1.4%至冲动性错误的40.5%不等，45.9%的参与者在至少一项WAFS指标上得分等于或低于第16百分位。

假设2：测试顺序效应。卡方分析显示GET存在显著顺序效应，在顺序1后半段施测时失败率为33.7%，在顺序2前半段施测时为16.1%。GET-I亦呈现类似模式（32.7%对14.4%）。其余PVTs未显示显著顺序差异。双失败规则下的表现不足率在两个条件间相似（12.5%对10.2%），差异不显著。原始分数比较中，GET-I呈显著中等效应量（d=0.63），GET-E呈显著小效应量（d=0.32），均表明后半段施测时表现更差。

假设3：自评投入度与PVT分数的关联。自评投入度与各PVT结果均无显著相关，唯一例外是WAFS遗漏错误（ρ=?.13，p=.049），该相关性亦较弱。

五、讨论与结论

研究讨论指出，通过PVTs仅表明不存在无效表现证据，而非证明最优表现。在认知能力普遍较高的大学群体中，PVT分数紧密聚集于顶端，呈天花板效应且变异极小。PVTs的设计目的是识别对充分激励个体而言显著异常的表现，而非捕捉次优表现。因此，高教育水平大学生即使未完全投入任务，也可能相对轻松通过多数PVTs。

测试顺序效应仅见于对反应时间敏感的GET，提示在约45分钟的施测期间，大学生测试投入度总体保持相对稳定，不支持普遍性投入度随时间下降的结论。研究亦提及学年内参与时间可能影响测试动机，学期末临近截止日期参与的学生可能更易出现低投入度。

自评投入度与PVT表现缺乏关联，支持自我报告与基于表现的测量捕捉测试投入度不同维度的观点。自评分数变异极小且呈天花板效应，学生可能难以准确判断自身投入程度的细微变化，或倾向于按感知的实验者期望作答。

研究局限包括：顺序效应主要由单一PVT驱动且该测试证据基础相对有限；单一项目在评估结束时施测可能无法充分捕捉测试期间投入度的波动；样本相对同质，未考察性别、尽责性等可能与PVT表现相关的个体特征；既往研究多集中于北美样本，本研究首次扩展至欧洲样本，但跨文化普适性仍有待检验。

研究结论确认了既往发现：一小部分但不可忽视的一年级心理学学生在参与认知研究时可能低于其实际能力水平表现，并将此发现扩展至荷兰人群。表现不足证据主要见于限时注意力任务，记忆类测量则无明显异常。研究人员在解读以课程学分换取方式参与研究的大学生数据时应保持谨慎，尤其在涉及速度化注意力测量的认知研究中。将效度测试纳入大学生认知研究可能提高评估数据质量。自评测试投入度并非识别或排除无效学生数据的有效方法。未来研究应采用更敏感的测量手段，进一步考察较长认知评估方案中无聊感、粗心大意与任务投入度下降的潜在效应。