超越人工智能检测：护理教育中战略评估设计的决策指南

《Nurse Educator》：Beyond AI Detection: A Decision-Making Guide for Strategic Assessment Design in Nursing Education

　　背景：护理专业在校生和毕业生使用人工智能（AI）对评估的有效性构成了威胁，并引发了关于基于能力的评估和公共安全的担忧。

问题：护理教育者缺乏一个结构化的框架来评估特定评估方法在面对不适当AI使用时的脆弱性，以及确定哪些领域最需要优先进行评估设计改进。

方法：研究生护理教师采用了一种逆向设计方法，以已知的低脆弱性评估为基准，通过迭代审查和应用多种类型的测试来细化评估标准。

成果：《护理评估与AI脆弱性决策指南》生成了涵盖两个维度的总脆弱性评分——评估环境和评估方法，并为教师提供了针对性的改进建议。

结论：该决策指南使护理教育者能够战略性地指导评估设计工作，将其重点放在AI对能力评估有效性构成最大风险的场景上，同时在AI使用符合专业实践要求的情况下保持教学灵活性。在护理教育中，评估起着至关重要的作用，它使教师和学生能够了解在实现学习目标或能力方面所取得的进展。1,2 护理教育中的评估具有双重目的：跟踪学生的学习情况，并通过验证毕业生是否达到注册、认证和安全实践的公认标准来保障公共安全。3 随着人工智能（AI）和大型语言模型（LLM）的发展，学习方式发生了变化，导致某些能力的下降。4 同时，AI和LLM工具已成为许多学生在学习和临床实践过程中使用的工具之一。这种颠覆性技术要求教育者理解并调整评估方法，以确保护理学生具备进入临床实践所需的教育能力。5 本文提出了一份决策指南，以促进护理教育中评估的战略设计。《护理评估与AI脆弱性决策指南》通过系统化的评分方法帮助教育者识别AI对有效能力评估构成最大风险的环节，并优先安排评估设计的改进工作（补充数字内容：《护理评估与AI脆弱性决策指南》https://links.lww.com/NE/C420）。

背景：评估的目的和重要性不等，从决定学生能否继续参加课程的高风险总结性评估，到提供反馈以促进学生成长的低风险形成性评估都有。2 护理教育中常见的评估形式包括小测验、论文、模拟和临床实践，每种评估形式根据其在课程中的作用可以是形成性的或总结性的。例如，选择题考试和基于模拟的评估都可能是高风险评估，也可能是低风险的学习活动，这取决于教育者的目标。3 真实评估使用现实情境来考察学生的思维、解决问题和决策能力。6,7 这种评估策略有助于将学习成果迁移到未来的实践环境中。6 真实评估的格式可以多种多样，例如基于临床情境的情景题书面考试或临床模拟，都可能属于真实评估。4 评估还可以支持学习过程。过程性评估将重点从最终结果转移到支持反思性实践和批判性思维的发展上。4,7 这种评估是形成性的，关注随着时间发展的学习过程，包含教师和学生的反复反馈与自我反思。4,7 这种评估可能涉及创建学生开发并反思的最终项目的一部分作品集，最终形成最终的展示或汇报。

问题：当前，有效的评估日益受到学生使用AI的挑战。AI的日益普及引发了人们对学习者批判性思维能力和学术诚信发展的担忧。7,8 本指南中提到的不适当AI使用是指导致认知外包的情况——即将需要动脑筋的工作交给AI完成，或者以某种方式掩盖学生的表现，使得教师无法自信地评估学生的表现。开发和使用检测AI使用的工具是一场学术竞赛，检测工具和AI模型不断进化以相互对抗。AI模型通常能够生成AI检测程序无法识别的文本。9 鉴于检测AI使用的难度，Akbar10 强调了评估设计与AI使用脆弱性的关联，并指出需要创造性或批判性思维的评估在LLM的解决能力上低于50%。而更容易被AI解决的评估通常是概念性或定义性的，或者涉及成熟的理论或术语，不需要学科专业知识或背景知识。10

教师们对AI的使用及其对评估的潜在影响表示担忧。Alkouk和Khlaif11 通过AI相关的工作坊探讨了可能的解决方案和教育者的观点。教育者认为，基于过程的教育和评估技术以及真实评估是降低AI使用风险的有效方法。11 此外，教育者指出，转向真实、基于过程的评估可以促进学习效果的提升，考虑到评估和学习模型的本质。10,11 尽管AI辅助的实践在医疗保健领域已成为现实，但基础知识和扎实的临床判断对研究生护士仍然至关重要，因此在护理教育中迫切需要设计和实施能够让学习者独立展示其实践准备情况的评估。本文的目的是介绍一份决策指南，帮助临床学科的教师评估评估方法对AI的脆弱性，同时平衡AI在实践和日常生活中的实际应用。

方法：《护理评估与AI脆弱性决策指南》由来自两个不同教育背景的3位研究生护理教师通过协作专家评审共同制定。开发过程采用了逆向设计方法：团队没有先定义抽象的标准再逐层细化，而是从已知的低脆弱性评估开始，反向推导出影响其脆弱性的标准属性。这些标准随后通过专家评审和应用测试进行了迭代优化。团队首先确定了一项已知AI脆弱性非常低的评估：在监考人员监督下进行的书面或选择题考试。从这个基准案例出发，作者发现评估的环境和实施条件是其低脆弱性的主要因素——具体来说，面对面考试与在家考试之间、以及有监考和无监考条件之间的AI脆弱性差异明显。这些观察结果确立了评估环境作为基础标准，并为制定更广泛的评估标准结构提供了起点。7基于自身的教学经验，教师们认识到，在以能力为中心的学习模式中，没有任何一种评估类型能够全面反映学生的学习能力。基于这一认识，团队初步起草了一套标准并进行了讨论，确定了重叠的部分并进行了合并。修订后的标准再次循环优化，直到达成共识。在整个开发过程中，教师们持续在课堂上教授研究生，并实时观察学生如何使用AI完成学习任务。他们的一个重要发现是，当学生没有受到直接观察时，无法可靠地检测到AI的使用。这一发现与现有检测工具的局限性一致，进一步肯定了评估环境作为主要标准的重要性。9 评估的实施地点和方式并不是一个抽象的设计因素；它决定了是否能够检测到AI的使用。

为了验证该指南预测AI脆弱性的能力并帮助教师理解评分结果，研究人员将其应用于多种类型的评估：有监考的选择题考试、异步的家庭选择题考试、基于案例的家庭书面考试、模拟以及基于过程的临床笔记写作。具体迭代过程详见补充数字内容《护理评估与AI脆弱性决策指南》（https://links.lww.com/NE/C421）的第二轮修订。

成果：《护理评估与AI脆弱性决策指南》可供护理教育者下载使用，用于评估现有评估或指导新评估的制定（补充数字内容：《护理评估与AI脆弱性决策指南》https://links.lww.com/NE/C420）。该指南经历了多次迭代才最终定稿。补充数字内容中的图1（https://links.lww.com/NE/C421）展示了修订过程。12 开发工作从标准识别和评分设计开始，经历了两轮测试和修订，最终重新定义了指南的目的和名称。最初确定的子标准包括真实性、过程性、方式（同步 vs 异步）、个人经验和协作技能。通过专家迭代评审，这些子标准之间的重叠部分被识别并进行了整合。修订后的标准再次经过调整。这个循环——起草、讨论、修订——一直持续到团队达成一致。在整个开发期间，教师们一直在教授研究生，并实时观察学生在课程中的AI使用情况。他们的一个重要发现是，当学生没有受到直接监督时，无法可靠地检测到AI的使用。这一发现与现有检测工具的局限性一致，进一步强调了评估环境作为主要标准的重要性。9 评估的实施地点和方式不是抽象的设计要素；它们决定了是否能够检测到AI的使用。

为了评估该指南预测AI脆弱性的能力并帮助教师理解评分结果，研究人员将其应用于多种类型的评估：有监考的选择题考试、异步的家庭选择题考试、基于案例的家庭书面考试、模拟以及基于过程的临床笔记写作。更多细节请参见补充数字内容《护理评估与AI脆弱性决策指南》（https://links.lww.com/NE/C421）中的第二轮迭代过程。

成果：《护理评估与AI脆弱性决策指南》可供护理教育者下载和使用，用于评估现有评估或指导新评估的创建（补充数字内容：《护理评估与AI脆弱性决策指南》https://links.lww.com/NE/C420）。该指南经过多次迭代后形成了最终版本。补充数字内容中的图1（https://links.lww.com/NE/C421）展示了修订过程。12 开发工作始于标准识别和评分设计，经过两轮测试和修订，最终重新定义了指南的目的和名称。最初确定的子标准包括真实性、过程性、方式（同步 vs 异步）、个人经验和协作技能。通过专家迭代评审，识别出了这些子标准之间的重叠部分并进行整合。修订后的标准进一步优化，名称也进行了调整，以更好地反映其教育背景。早期的决策指南草案使用统一的评分标准（1-4分）对所有标准进行评分。初步测试将该草案应用于一个已知低脆弱性的案例：无需任何辅助资源完成的监考面对面考试。结果发现评分偏低，主要是由于过程性标准和个人经验或实际经验得分较低。因此，决策指南被分为两部分：A部分和B部分。A部分专门评估评估环境，并分为0-6分，6分表示最低的AI脆弱性。B部分进一步评估评估方法以及是否采用了真实评估、过程性评估或临床评估策略。这部分评分范围为0-3分。使用新的评分标准，该低脆弱性评估最终得分为8分（见图12）。

由于全面评估学生学习成果的重要性，《AI脆弱性评估》中的评分标准既适用于形成性评估也适用于总结性或高风险评估。虽然某个评估的AI使用可能性较低，但这并不意味着它适合评估临床能力或学生进步。评分结果不仅反映了AI的脆弱性，还评估了该评估在基于能力的教育背景下的适用性。为了帮助教师理解评分结果并提出改进措施，指南中提供了针对评估脆弱性的建议。根据两部分得分、标准评分和评估类型，如果需要的话，可以提出改进建议。需要注意的是，AI是一种可以促进学习并反映实际应用的工具。决策指南的目标是在AI背景下支持评估设计，无论是形成性还是总结性评估。

在构建验证的过程中，发现过程性学习是一个改进方向。然而，早期版本的决策指南将过程性标准描述为一系列实践的集合，这限制了对该标准的解释和应用。后来通过将过程性评估的各个方面（如反思性实践、学生分享思考过程的机会和元认知活动）纳入标准中，使这一标准的解释和应用更加全面。经过构建验证后，发现决策指南中的两个评分指南表之间存在不一致之处。例如，在评估一项无需任何辅助资源的书面选择题考试时，评分指南将其评为中等AI脆弱性。这是不准确的，因为这实际上是一个低脆弱性的评估。该表未能反映总评分不仅仅取决于评估环境。由于《目标改进指南》已经区分了形成性评估和总结性评估，因此决定从最终版本中删除了另一个评分表。补充数字内容中的图2（https://links.lww.com/NE/C422）展示了评估结果的示例。

重新定义目标：最初的决策指南旨在提高评估对AI的抵抗能力。这份初步的语言材料反映了人工智能（AI）与评估之间的紧张关系，这两者似乎是在相互对立。然而，制定这份决策指南的目的是为了帮助教师在高风险环境中评估人们的知识和技能。此外，重要的是要认识到，AI现在已经成为了护士所接受培训的专业环境和活动的一部分。某些评估应该允许并鼓励使用AI，以促进恰当和有效的学习。我们的目标并不是与AI或大型语言模型（LLMs）为敌，而是要评估评估在面对AI时的脆弱性。

AI的应用正在影响着许多教育领域。成功地将AI整合到高等教育体系中需要各机构的协调努力。Jin及其同事对40所大学的分析确定了具体的利益相关者责任：教师必须整合和传达AI政策，学生必须理解其伦理使用和限制，管理者则必须提供基础设施和支持。然而，仅靠制度框架无法解决一线教师面临的即时教学挑战，许多机构在准备迎接AI整合方面仍显得不够充分。随着系统和基础设施的发展，教师必须继续有效地教育学生，同时调整他们的评估方法以适应这一新现实。在护理领域，尽管有颠覆性技术的存在，评估仍然必须保持可靠性，因为这关系到基于能力的教育以及确保学生为实践做好准备。

Khlaif等人提出了“AAAE”框架——反对（Against）、避免（Avoid）、适应（Adapt）和探索（Explore）——这个框架反映了教师在评估设计中对AI的不同哲学态度。虽然该框架为理解教师立场提供了有价值的概念分类，但它并没有提供针对具体评估或根据情境和/或风险确定适当评估策略的实际指导。这份《护理评估与AI脆弱性决策指南》通过为护理教育工作者提供一个系统的决策框架来评估评估在面对不当AI使用时的脆弱性，填补了这一空白。

虽然这份决策指南是专门为护理教育制定的，但它基于真实评估原则和基于能力的评估方法，因此也适用于具有类似特征的其他健康科学学科：这些学科都强调患者安全、临床能力要求以及理论与实践学习的结合。药学、物理治疗和医学等领域也面临着类似的挑战，即如何确保评估能够真实反映学生的胜任力，而不仅仅是AI辅助的表现。不过，在采用之前可能需要进行学科特定的验证，因为每个领域都有独特的评估背景、监管要求和专业实践标准，这些因素可能会影响对指南标准或评分解释的重视程度。

这份决策指南是根据当前（2026年）的人工智能能力以及学生在教育环境中使用AI的模式制定的。随着生成式AI技术的快速发展（例如实时音视频生成、增强的多模态推理或与可穿戴技术的整合），指南的标准可能需要重新评估。特别是，“环境”标准中对同步、可观察评估的重视是基于目前AI在实时互动中未被察觉的能力局限。为了保持其作为决策工具的有效性，需要定期审查指南的假设，以适应新兴的AI技术。

虽然本文的重点是介绍这份决策指南本身，但它对评估设计有着明确的影响。考虑到护理教育的目标是培养学生的临床判断和决策能力，考虑AI对评估的影响是至关重要的。将AI作为认知工具来辅助学习（如制作闪卡或生成练习题）与将认知任务外包给AI之间存在显著区别。在学生将认知任务外包给AI的情况下，可能会导致护士所需深度学习的成果受到影响，包括错误的认知模型、减少的认知参与度和记忆力下降，以及问题解决和创造力能力的减弱。因此，设计低AI脆弱性的评估以夯实学生的知识基础是非常重要的。

随着AI的快速普及和易用性提升，教师的生产力和效率，以及学生提高学术成绩的动机，我们可能会进入一个这样的教育循环：教育者使用AI来设计评估，学生使用AI来完成评估，教育者再利用AI来检测学生的AI使用情况，最后再用AI来评估学生的学习效果。在护理教育中，应该进行大量的哲学、伦理和实际讨论，并且应让学生参与到这些讨论中来。我们需要继续了解AI对学习的影响，并创造一个能够以有意义的方式整合AI的学习环境，从而支持学生的能力发展。因此，这份决策指南也应被视为一种尝试，旨在将人类置于护理教育的核心位置。

《护理评估与AI脆弱性决策指南》认识到，并非所有评估都具有相同程度的AI脆弱性；适当的关注程度取决于评估的复杂性（形成性评估与总结性评估）、所采用的教学方法、与现实工作环境的契合度，以及教师验证学生工作的能力。通过系统地评估这些因素，护理教育工作者可以有针对性地关注那些AI对有效能力评估构成最大风险的评估，同时在低风险的学习活动中保持适当的教学灵活性，以及在那些AI使用符合现实工作实践的情况下也是如此。最终，这份指南不仅仅是一种管理技术的工具，它还是让教育者和学生保持在护理教育中心的一种手段。