护理教育中课程评估的人工智能增强内容审阅：一项试点研究

《Nurse Educator》：Artificial Intelligence Enhanced Content Review for Curriculum Evaluation in Nursing Education: A Pilot Study

　　

背景：课程评估是护理教育的核心，而基于人工智能的自动化可以为这一过程提供支持。大语言模型为可扩展的、结构化的文档分析提供了新的机遇。

目的：我们开发了一份评分量表，用于识别与健康公平相关的要素，包括内容是否涉及弱势群体、健康的社会因素以及临床应用。

方法：我们配置了一个基于检索增强生成（RAG）的聊天机器人，内置了基于结构化量表的指令。该聊天机器人对某一门助产课程中9套讲座幻灯片的评分可靠性，与3位教师评分员的评分进行了比较。

结果：聊天机器人在重复评分中，各项评估主题的可靠性达到84%至91%。聊天机器人与教师评分员在各主题上的评分一致性存在较大差异，一致率范围为56%至89%。

结论：基于RAG的大语言模型系统展现了用于自动化课程筛查的可靠前景。该工具可以辅助，但不能取代人类的洞察力和总结性判断。

课程评估是教育项目实施与改进的标准环节，基于人工智能（AI）的自动化可以为这一过程提供支持。新型计算工具能够以不断提高的准确度，在大规模文档库中发现并总结模式。将大语言模型（LLMs）整合到教育评估中，为支持数据分析、生成反馈摘要和识别趋势提供了一种创新方法。[1–3] 借助生成式人工智能工具，护理教育者可以简化评估流程，并为课程改进提供依据。[4,5] 当这些工具嵌入结构化的反馈循环中时，它们可以增强评估者进行数据驱动决策的能力，最终有助于实现更具回应性和公平性的护理教育实践。[6,7] 然而，评估生成式人工智能的局限性以及在使用过程中的高错误可能性至关重要。[8]

健康公平是护理教育持续关注的课程领域之一。根据美国护理学院协会的基本能力标准，健康公平应当"深度融入"整个课程体系，包括模拟教学、跨专业教育和社区导向的课程。[9] 美国助产士学院将健康公平作为核心职业责任的一部分，要求"倡导健康公平、社会公正以及医疗保健中的道德政策"。[10] 教育者应当培养学生能够识别和应对健康的结构性和社会驱动因素，通过评估、健康促进、教育、协作、领导力和倡导来实现。[9,10] 本项目构建并测试了一个带有自定义指令的大语言模型系统，用于评估与健康公平相关的课程内容。

**健康公平的定义**

健康公平明确的定义和特征描述对于指导教育和评估至关重要，因为对其含义的理解存在差异。[11] 由于这种复杂性，在制定聊天机器人指令之前，建立对健康公平的共同理解至关重要。[11–12] 我们以Lewis等人[11]的研究作为审查健康公平定义和建立评分量表的主要来源。利用该文献以及我们对护理教育的了解，我们确定了4个主题领域作为教授健康公平时的必要课程要素。这些领域包括：健康公平的覆盖范围、健康公平的前因条件、对弱势群体的考量以及临床应用。

**健康公平的前因条件**

Lewis等人[11]于2023年描述了塑造健康公平的六大因素。这些前因条件涵盖了环境、经济、政治-法律、社会、研究和数字技术等维度的公平。为了取得最佳效果，包含健康公平相关目标的课程需要涉及这些多样化的背景因素。[13]

**对弱势群体的考量**

医疗保健中的脆弱性存在于风险与权力的交叉点。[14] 弱势群体的例子包括儿童和老年人；种族、民族、性取向、性别和宗教少数群体；以及残障人士、孕妇、被监禁者和低收入人群。[14,15] 除了六大前因条件之外，护理学生还需要认识到脆弱性对寻求医疗保健的个人的影响。

**目的**

本研究旨在运用多种方法，测试自定义聊天机器人在对教学演示中的健康公平内容进行自动化反馈时的可靠性、有效性和实用性。研究以检索增强生成（RAG）架构为核心。RAG意味着用户可以为聊天机器人附加内容，以便其在生成输出时使用。例如，一个具有基本教育评估指令的聊天机器人被提供了一份用于评分内容的量表。用户随后可以上传教育内容进行评估。使用RAG聊天机器人系统使用户无需对商业开发的大语言模型进行重大修改，即可利用现有的机构资源。

研究步骤包括：(1) 开发和定制系统架构及指令；(2) 比较提示词和语言模型；(3) 重复输出的可靠性测试；(4) 与专家评分员的有效性评估；(5) 进行关于实用性的内部焦点小组讨论。该研究旨在提供对护理和健康职业教育课程设计、修订和评估有用的信息。本研究经相应机构审查委员会（IRB）审查并确定为豁免研究（IRB #240386）。

**方法**

**健康公平评分量表的开发**

我们的研究团队开发了一份评分量表，用于识别课程PowerPoint幻灯片（不含音频）中与健康公平相关的要素。该量表涵盖内容是否涉及健康公平的前因条件、弱势群体、健康的社会因素以及临床应用。评分量表旨在指导聊天机器人的总结，并在一系列标准条目中提供可靠的输出。带有嵌入健康公平量表的聊天机器人自定义指令可根据非商业性知识共享许可获取（https://futureflo.vueinnovations.com/）。

最终量表的每个主题（见补充数字内容附录，附录A https://links.lww.com/NE/C370）均采用3分有序量表评分（1—低，2—中，3—高），并生成相应的叙述性摘要，引用文档中的具体页面。关键评估问题与这四个主题相对应：

- **健康公平的覆盖范围**：是否定义了健康公平原则或健康的社会决定因素？
- **健康公平前因条件的覆盖范围**：是否提及了健康公平的前因条件，探索程度如何？
- **弱势群体的应对**：是否识别了弱势群体，是否讨论了它们可能面临的障碍？
- **健康公平在临床实践中的应用**：是否提供了将健康公平概念应用于临床实践的资源或步骤？

**系统架构和指令的开发**

现有的人工智能聊天机器人助手Future FLO[8]被定制为包含健康公平量表和输出规范。该聊天机器人被称为FLO25，即Feedback Loops and Outcomes 2025。选择RAG架构将聊天机器人的输出与实际讲座幻灯片内容联系起来，以减少缺乏依据或"幻觉"式的回答。[16,17]

图1展示了通过FLO25聊天机器人评估教学材料所使用的系统架构。工作流程从两个信息源开始：(1) 包含评分量表的基础自定义指令；(2) 上传的讲座幻灯片PDF文件。当用户输入特定任务提示词时，这些信息来源通过预处理管道进行路由，包括文本提取、清洗和分块，以准备内容进行检索。所有处理后的文本随后被创建为索引数据库。在评估期间，启用RAG的FLO25聊天机器人检索相关的讲座幻灯片片段，并应用量表和工作流程指令生成输出以回应任务提示词。输出内容包括评分、摘要和引用页面证据。


聊天机器人的自定义指令旨在确保基于人工智能的助手作为评估助手进行回应，在输出中优先考虑准确性和精确性。[8] 这些指令确立了助手的主要审查主题、工作流程和输出标准。为确保FLO25聊天机器人能够识别健康公平的关键方面，我们输入了前述的量表（补充数字内容附录，附录A https://links.lww.com/NE/C370）。

**大语言模型和任务提示词的选择**

研究团队使用Amplify[18]——一个企业级生成式人工智能平台，该平台提供对多个大语言模型的访问。我们同时测试了3个大语言模型和3个任务提示词用于本研究。我们为此目的改编了一个已发表的评分工具。[8] GPT-4[19]、Claude 3.5 Sonnet V2[20]和Claude 3.7 Sonnet[21]三个大语言模型均经过研究团队测试和评估，以确定在本项目中的使用。我们希望选择一个能够生成高质量输出、供教师用来改进讲座的大语言模型。除了选择大语言模型之外，我们还需要一个任务提示词来指示FLO聊天机器人结构化其输出。

任务提示词决定了输出的语气和详细程度。用户输入任务提示词来指示聊天机器人执行一系列操作，利用聊天机器人的自定义指令和上传的内容。我们在所有3个模型上测试了3个不同具体程度的任务提示词。

- **提示词1**是一个针对性查询，要求系统识别讲座幻灯片中与健康差异相关的具体前因条件，包括结构性不平等、健康的社会决定因素以及歧视或偏见，并提供页面级别的引用。
- **提示词2**要求系统识别讲座健康公平覆盖范围中一个主要优势和一个差距，并提供支持性推理。
- **提示词3**指示系统遵循其完整的自定义健康公平内容审查工作流程指令，系统地处理每个量表要素，生成适合教师反馈的结构化输出。

每个模型对每个提示词的输出由3位作者根据4个维度评分：准确性、完整性、与健康公平量表的契合度以及整体质量，采用1到7的Likert量表（1 = 非常低，7 = 非常高）。数据通过基于网络的调查表收集。[22] 4个维度的得分按每个提示词求和（最高分=28），并在3个提示词间取平均，生成每个大语言模型的单一综合性能分数。这些综合分数促成了选择Claude 3.7 Sonnet作为主要大语言模型，Prompt 3作为任务提示词。

**检索增强生成**

从一门名为"新生儿护理"的助产课程中，选取了9套PowerPoint幻灯片（共529张独立幻灯片），涵盖不同的临床内容领域。每套幻灯片上传至聊天机器人，用于RAG，如引言中所述。所有内容均使用任务提示词3（即通过上述流程选定的完整基于量表的结构化审查提示词）由FLO25聊天机器人进行评估。

**重复输出的可靠性测试**

为评估输出稳定性，FLO25在每套幻灯片上使用相同的输入和指令连续运行15次，在9套讲座幻灯片上共完成135次评估运行。可靠性针对4个量表主题分别独立评估。精确的跨运行一致性定义为：在给定相同输入的情况下，聊天机器人对某主题给予相同评分（低、中或高）的重复运行比例。在每个讲座幻灯片集的15次重复运行中计算一致性，然后在9套幻灯片集间取平均，产生单一的主题级可靠性估计值。

**教师评分员的有效性测试**

3位具有讲座内容专长的教师使用与聊天机器人相同的健康公平量表，独立对每套PowerPoint幻灯片进行评分。这些评分员不了解聊天机器人的可靠性测试结果。与专家评分的一致性是一种有效性测试。[23] 使用每套幻灯片的众数聊天机器人评分与相应幻灯片集的众数教师评分之间的一致比例，来评估聊天机器人评分与专家教师评分的准则效度。

**关于实用性的内部焦点小组**

使用Rubin和Rubin所述的技术[24]，开发了一份关于该评估工具价值和有用性的焦点小组访谈脚本。第一作者与所有共同作者一起进行团队讨论。使用电话会议系统[23]生成会议记录，由Amplify系统上的Claude 3.7生成摘要，并经2位作者核实。

**发现**

**提示词和语言模型的比较**

3个大语言模型（GPT-4o、Claude 3.5 Sonnet V2和Claude 3.7 Sonnet）的性能得分在3个评估提示词上取平均，每个提示词根据准确性、完整性、契合度和质量评分（最高分=28）。Claude 3.7取得了最高平均分（23分），优于GPT-4o和Claude 3.5（各20分）。提示词3（完整量表审查）为教育者提供了最佳的潜在反馈。

**重复输出的可靠性测试**

图2展示了使用FLO25聊天机器人对同一套幻灯片进行重复评分的内部可靠性。各主题的跨运行一致性很高，健康公平和弱势群体主题均超过90%，前因条件和临床应用主题保持在80%以上。这些发现表明，在给定相同输入的情况下，FLO25聊天机器人能够产生稳定的分类评分且方差最小，支持其作为课程评估自动化筛查工具的可靠性。


补充数字内容附录，附录 B（https://links.lww.com/NE/C370），展示了 FLO25 系统的全面健康公平内容报告。打开多媒体模式图 2。打开多媒体模式聊天机器人的重复评分间次一致性。与教师评分者的效度测试。图 3 展示了在 4 个评分标准主题中，聊天机器人的众数分数与教师众数评分之间的一致比例。教师 - 聊天机器人一致性在健康公平覆盖率方面最高（89%），表明模型可靠地识别了核心健康公平概念是否存在于讲义幻灯片中。对于前置因素（56%）和脆弱群体（56%），教师 - 聊天机器人一致性适中，反映了在检测与结构性决定因素或边缘化群体相关的内容方面的部分一致性。对于临床应用，一致率为 67%，表明聊天机器人通常但不总是能识别材料是否提供了可操作或面向实践公平的指导。总之，这些结果表明与教师评分的一致性存在实质性但特定主题的变异性。打开多媒体模式图 3。打开多媒体模式使用众数分数的教师 - 聊天机器人一致性。

关于实用性的内部焦点小组讨论
焦点小组讨论包括一位设计课程材料的助产学教师的见解，以及 2 名独立助产学教师审阅者，他们不属于该课程或课程开发的一部分。他们在本研究中均作为“人类评分者”。虽然聊天机器人表现出了提供详细和细致反馈的能力，但团队强调它不能取代人类评估。

确定了人工智能的几个潜在应用，包括课程映射，使课程材料与认证标准保持一致，以及评估跨讲座的健康公平覆盖率。参与者认为，聊天机器人工具通过提供一致、详细和非评判性的反馈而提供了价值，这超出了简单的评分范围。他们觉得聊天机器人提供了描述性分析，可以帮助教育工作者了解健康公平概念在哪里得到解决，潜在地横跨整个课程。总体而言，团队强调了技术的局限性和人类专业知识的关键作用。对于使用人工智能进行教育内容分析的充满希望的前景和重大挑战，存在共识。

局限性
这项分析是在一个机构和一个高级执业护理专业中进行的。评估的课程内容是 PowerPoint 幻灯片，不包括完整的文字记录或补充内容。此外，聊天机器人无法评估图像内容，也无法捕捉课堂讨论。样本量和样本类型的限制需要在不同环境和更多用户中进行进一步测试，以评估可转移性和输出的价值。需要进一步的研究来了解基于聊天机器人的反馈对教育工作者及其教学实践的影响。

结论
使用大型语言模型（LLMs）进行评估工作存在重大挑战，包括潜在偏见、难以捕捉上下文细微差别以及需要持续完善。值得注意的是，FLO25 聊天机器人被视为补充工具，而非人类评估的替代品。在开发此人工智能工具和流程中跨学科合作的重要性怎么强调都不为过。创建可靠的聊天机器人需要在定义指令、验证输出和理解特定应用领域方面做大量工作。

虽然这项试点研究只使用了一个课程的助产学课程内容，但这种评分方法适用于评估超出此特定课程和专业领域的健康公平内容。这种自动化的内容审查应用于课程评估和评价过程，包括将评分标准扩展到健康公平之外。为了确保有效性，评估者必须明确定义内容分析的目标。确定不同应用所需的可接受信度范围和必要验证是很重要的。

在这种情况下，聊天机器人的反馈旨在供教师反思。这可能不需要那么高的精确度，因为它将由人类专家使用，他们能够确定质量、准确性和适用性。将被用于无人工专家解释的情况下的聊天机器人分析，例如直接提供给学生，需要更高的精确度。

本研究突出了使用检索增强生成（RAG）补充护理教育中课程评估和持续质量改进的潜在应用。认证和教师发展活动也可能从这种方法中受益。25 此外，启用 RAG 的聊天机器人可以分析 PowerPoint 幻灯片之外的内容，包括演示录音、讲义笔记、课程大纲、教学大纲、行政文件和研究材料。

本研究使用多种方法测试了定制聊天机器人在提供教学演示中健康公平内容自动反馈方面的可靠性、效度和实用性。该项目强调，虽然人工智能在教育环境中具有潜力，但目前需要大量的人类监督和解释才能有价值。目前，聊天机器人的反馈可以帮助教育工作者反思，但在评估环境中不应将自动评分作为最终决定。