AI辅助试题编写在护理教育中的有效性：一项混合方法评估

《Journal of Professional Nursing》：Effectiveness of AI-assisted item writing in nursing education: A mixed-methods evaluation

　　

• 采用混合方法数据对AI辅助试题编写与人工试题编写进行了比较。
• AI辅助试题编写将每道题所需时间减少了67%（10.7分钟 vs. 3.5分钟）。
• 使用AI工具后，试题编写生产率提升至原来的三倍（平均每次28道题 vs. 9道题）。
• 教师认为AI工具在减轻试题编写工作负担方面具有重要价值。
• 人类参与回路（Human-in-the-Loop）对于提高AI工具干扰项（distractor）的合理性仍然至关重要。

Hanwook Yoo、Ye Lin、Robert Attenweiler、Kari Hodge、Joseph E. Miller、Beth Phillips等研究人员在《Journal of Professional Nursing》发表了题为《AI辅助试题编写在护理教育中的有效性：一项混合方法评估》的研究。

**研究背景与问题**：护理教育中，高质量试题是保证评估有效性和可靠性的基础，但许多护理教育者在试题编制方面训练不足。手动编写一道多项选择题可能需要长达1小时，而教师往往因教学、临床、行政等多重职责难以投入充足时间，因而常依赖教材题库或修改现有题目，试题质量和有效性难以保证。虽然人工智能（AI）工具在护理教育中的应用日益增多，但关于其对评估质量、教师工作量和学生结局影响的实证研究仍有限。已有研究初步显示生成式AI可用于试题编写，但缺乏对实际时间节省、生产率提升、试题质量（如认知复杂度、干扰项合理性、与教育标准一致性）以及教师感知的系统评估。为此，研究人员采用混合方法，评估集成于Assessment Technologies Institute（ATI）Custom Assessment Builder平台中的AI辅助试题编写工具Claire AI。

**研究方法概述**：研究采用三阶段混合设计（QUAN+QUAL→quan）。第一阶段于2025年7月23日在美国东北部对9名护理教育者开展现场试题编写培训，每位参与者在AI辅助和人工条件下编写试题，记录每题耗时与产量，并由两名资深护理教育专家采用5项标准、5点量表（总分5–25）评价试题质量。第二阶段开展50分钟认知访谈，收集定性数据。第三阶段向6582名近期使用过该AI工具的护理教师发放全国性在线问卷，最终纳入250份有效问卷。统计分析使用Wilcoxon符号秩检验和描述性分析。

**研究结果**：

**定量分析：响应时间与试题质量（Quantitative analysis of response time and item quality）**：通过现场实验测得，人工条件每题平均耗时10.7分钟，AI辅助条件仅3.5分钟，整体差异显著（Wilcoxon符号秩检验p=.004）；其中人工起草平均9.1分钟、修改1.6分钟，AI辅助起草1.5分钟、修改2.0分钟，说明AI将教师时间从起草转向修改。生产率方面，AI辅助条件平均每位参与者生成28.2题，人工条件为9.0题，约为三倍。试题质量方面，AI辅助条件平均质量评分19.8分，略高于人工条件的19.4分；但仅对AI题目做极少修改的两名参与者，其AI题质量评分略低于人工题，提示细致的教师审核仍然必要。

**定性分析：认知访谈（Qualitative analysis of cognitive interview）**：9名教师均报告AI工具显著提高生产率，具体估计快2–5倍，多数认为快3–4倍。访谈主题包括：人工试题编写的时间负担主要来自“空白页”启动、查教材和废弃草稿；教师工作负荷重，行政人员认为工具可帮助标准化蓝图和满足认证要求；新教师存在陡峭学习曲线，AI有助于降低焦虑并提高信心；工具易用性受好评。与此同时，教师强调AI应是支持而非替代：AI生成的干扰项常常“太明显”“直白”，需要教师修改，说明人类参与回路（Human-in-the-Loop）不可或缺。

**大规模调查分析（Large-scale survey analysis）**：全国调查显示，47%教师估计人工写一题需15–30分钟，27%需30分钟–1小时；而使用电子考试准备/AI资源后，56%教师认为一题可在15分钟内完成。71%认为“创建新试题”最耗时，66%认为“使考试与学习成果对齐”耗时；常用资源为以往试卷（77%）和题库（74%），49%已使用AI工具。77%教师认为自动化试题生成工具最有助减少时间负担。这些结果验证了第一、二阶段的发现。

**讨论与结论**：讨论部分总结，AI辅助试题编写的主要效率收益来自减少重复劳动、将教师精力从生成初稿转移到针对性修订（尤其是干扰项）。工具未来需改进算法，提升语言精确性、题目多样性，避免因提示词模糊导致题目过难或超出学生范围。局限性包括样本量小、单一平台、未考察长期效果，建议开展跨机构、纵向研究。研究结论指出，传统试题编写耗时且常因教师训练不足而产生有缺陷题目；通过评估ATI的Claire AI，本研究表明技术能在保证评估与教育标准一致的同时减轻护理教育者试题编写工作负荷。研究整合小规模现场研究与大规模调查的定量、定性结果，为AI辅助试题编写在护理教育中的价值提供了全面证据，并预期该领域应用将持续扩展。