生成式人工智能支持的毕业生求职能力提升项目效果评估：一项基于队列整群随机分配的专家盲评研究

《Scientific Reports》：Structured human resource development with AI support is associated with higher expert rated recruitment task quality among education graduates

　　

摘要

毕业生就业能力项目通常通过自评测量指标进行评估。我们将一个由生成式人工智能支持的结构化人力资源开发项目与在主题、持续时间及指导员接触方面相匹配的职业指导进行了比较。在中国广东寻求教育行业职位的十二个完整毕业生队列（N = 186）被作为整体单位分配，每组六个，与机构、指导员及时间表交叉。在项目前后，盲法专家对在场地内、监督条件下且不使用人工智能制作的招聘任务材料进行了总体评分（0-100 分）。评分是在没有预先指定评分标准的情况下进行的，这限制了对其的解释。在 168 名拥有后测数据的参与者中（总体流失率 9.7%），调整后的差异显示人工智能支持的项目高出 5.38 分（95% CI 2.76 至 8.01；d = 0.60），且在八种模型设定中保持稳定。四个新的自评量表显示出较小的差异（d = 0.12 至 0.29），经 Holm 校正后均无统计学意义；每个量表仅能检测出约 d = 0.4 的差异。对专家评分的影响超过了对自评的平均影响 0.37 个标准差（95% CI 0.10 至 0.63）。成分分析为探索性的。该设计无法将人工智能的贡献与结构化练习及反馈的贡献区分开来。