针对本科护生的阶段式结构检索增强系统综述学习代理的初步评估：一项概念验证研究

《Nurse Educator》：Preliminary Evaluation of a Stage-Structured Retrieval-Augmented Systematic Review Learning Agent for Undergraduate Nursing Students: A Proof-of-Concept Study

　　

背景：生成式人工智能（AI）可能支持系统综述学习，但通用聊天机器人和工作流工具并未明确教授方法论推理。
目的：开发一种阶段结构的检索增强生成（RAG）学习代理，并评估其感知到的教学适配性和技术性能。
方法：该工具结合了规划、查询重写、迭代检索和上下文充分性检查，跨越 6 个阶段：主题选择、综述问题框架、检索策略、筛选与管理、批判性评价与数据提取、综合与报告。6 名护理教育者和 4 名本科护理学生完成了作者开发的问卷，评估感知教学适配性和 AI 性能。
结果：该工具生成了与阶段对齐的综述流程指导。参与者报告了中等程度的感知教学适配性（M = 3.90，标准差 = 0.45）和高度的感知 AI 性能（M = 4.00，标准差 = 0.25）；个性化需要改进。
结论：该工具作为教学支架是可行的，但研究结果反映了小样本的感知。较大的研究应评估客观学习成果、方法论准确性和负责任的 AI 使用。

人工智能（AI），特别是生成式 AI 和大语言模型（LLMs），正在迅速重塑护理教育，使个性化、交互式和可扩展的学习支持成为可能。在护理项目中，AI 代理可以用自然语言回答学生问题，提供即时反馈，根据学习者先前知识调整解释，并将抽象概念情境化于临床场景中。近期证据强调了生成式 AI 和 LLMs 支持护理学生学习、模拟、自主学习和研究相关能力的潜力，同时也强调了需要精心设计教学法、伦理监督和教师指导。1,2 这种平衡在护理教育中尤为重要，因为不准确或脱离语境的信息不仅会破坏学术学习，还会损害学生未来在临床实践中安全应用证据的能力。

研究素养和循证实践（EBP）是最终学年本科护理学生的核心能力，他们被期望制定可回答的临床问题，系统地检索文献，评价研究质量，解释证据，并将发现转化为护理实践。EBP 教育已被证明可以改善本科护理学生的 EBP 知识、技能、批判性思维和解决问题的能力。3,4 在 EBP 学习任务中，系统综述特别有价值，因为它整合了多种高阶能力：问题制定、数据库检索、透明的研究选择、批判性评价、结构化数据提取、综合和报告。这些步骤是既定证据综合标准的核心，如《Cochrane 手册》和《JBI 证据综合手册》。5,6 然而，系统综述方法学对初学者来说可能很难。最终学年本科护理学生可能很好地理解临床问题，但仍难以将这些问题转化为可检索的 PICO 问题，区分 MeSH 主题词和自由词，一致地应用纳入和排除标准，选择合适的偏倚风险工具，并避免不适当的综合决策。

结构化的、任务特定的 AI 支持已经在模拟和其他健康专业教育领域得到应用。在系统综述教育中，常用的 AI 辅助平台，包括 Rayyan、Elicit 和 SciSpace，主要支持筛选、提取、总结和报告等工作流活动。7–9 本系统综述学习工具将既定的教学支架原则应用于证据综合教育。其 6 阶段结构提供了关于主题可行性、综述问题制定、检索词选择、资格标准、偏倚风险评估和综合计划的解释和提示。该工具旨在通过使系统综述决策的顺序和理由对初学者更明确，来补充教师教学。它不作为现有综述平台的替代品提出，也不是结构化、方法论特定的 AI 支持学习的首次应用。

其他平台，包括多智能体系统综述系统、PapersFlow 和 otto-SR，同样旨在自动化或加速方案生成、筛选、提取、综合和报告等步骤。10,11 这些工具对研究人员和证据综合团队很重要；然而，其主要目的是研究生产力，而不是本科教学。它们通常是为用户设计的，这些用户已经理解系统综述逻辑、方法学标准以及纳入、评价和综合决策的后果。因此，它们可能会加速工作流，但可能无法充分教授初学护理学生如何通过每一步进行推理。

关于 AI 驱动教育代理的现有文献表明，有效的系统需要超越对话流利度。检索落地、提示词护栏、领域特定知识结构、教师监督和人机共同协调越来越多地被认可为教育可靠性的必要设计特征。12 我们之前的概念验证工作证明了整合知识图谱和 LLM 支持护理研究教育的可行性，护理教育者对该代理的教学适配性和 AI 性能评价很高。13 该工作支持了更广泛的假设，即护理研究教育代理应与课程目标一致，基于经过验证的教学材料，并且不仅评估其技术功能，还要评估其临床相关性、清晰度、批判性思维支持和可信度。

重要的是，本研究扩展而非复制我们的先前研究。早期的护理研究教育代理使用知识图谱–LLM 架构提供研究设计和统计概念的广泛、按需解释。13 本代理解决了一个不同且更具体的教学问题：教授初学者在整个系统综述过程中做出一系列关联的方法论决策。它结合了 6 阶段教学路径和 Agentic RAG 架构，其中规划、查询重写、使用多个目标子查询的并行搜索、迭代检索和充分上下文验证先于响应生成。这种变化在教育上具有后果，因为系统综述一个阶段的错误会影响后续阶段。例如，不充分制定的问题可能会损害检索、筛选、评价和综合过程。因此，本研究旨在设计并进行一项初步可行性评估，评估一个阶段感知、来源接地的 AI 代理，该代理教授证据综合背后的推理过程。

本系统综述学习代理（SR learning agent）设计用于引导学习者通过 6 个系统综述步骤：(1) 主题细化和综述问题制定；(2) 使用 PICO-研究设计（PICO/PICOS）进行综述问题框架，包括资格标准；(3) 数据库特定检索策略构建；(4) 研究筛选和管理，包括纳入/排除决策的文档记录；(5) 批判性评价/偏倚风险评估和数据提取；以及 (6) 证据综合和符合 PRISMA 的报告。与通用或单一功能聊天机器人不同，14 SR 学习代理被构建为一种结构化学习伙伴，提供初学者友好的解释、护理特定的示例和逐步的方法论反馈。

目标
本概念验证研究的目标是开发一个阶段结构的 RAG 教学支持代理用于系统综述教育，并评估教育者和最终学年护理学生对其教学适配性和技术性能的感知。

方法
该代理使用 Google 的 Agentic RAG 框架开发。传统 RAG 将 LLM 连接到外部知识源，与仅依赖模型内部参数相比，提高了事实落地性。13,15 Google 的 Agentic RAG 通过多智能体规划、查询重写、使用多个目标子查询的并行搜索、迭代检索和充分上下文代理扩展了这种方法，该代理在生成最终响应之前检查检索的材料是否充分回答了用户问题的所有部分。16 对于学习系统综述的护理学生来说，这种“充分上下文”机制在教学上很重要，因为它支持全面、可追溯且不太可能幻觉的响应。在本系统综述学习代理中，该框架用于确保指导锚定在经过策划的系统综述教学材料上，并与 6 阶段学习路径一致（图 1）。

图 1. 用于开发系统综述学习代理的 Agentic RAG 框架。

尽管底层开发生态系统使用 Agentic RAG 术语，但本系统并不具有更强理论意义上的能动性，即独立建立目标、发起行动或在有限人类监督下运行。它使用一个有界的多组件 RAG 工作流，其中规划、查询重写、检索、上下文充分性检查和响应生成仅在学习者提交请求后发生。系统不会在接口之外行动，修改其自身参数或知识库，自主评估学生，或代表学习者或教师做出教育决策。学习者控制他们的问题、目标、阶段进展和生成指导的使用，而教育者控制课程、策划的知识源、评估和输出的验证。因此，该工具被描述为一种阶段对齐的教学支持工具，而不是自主代理或 AI 伙伴。

AI 代理开发
SR 学习代理在 LangChain 平台（www.langchain.com）上开发，这是一个通过可视化工作流设计、大语言模型集成和模块化工具插件构建自主对话代理的专业平台。LangChain 使代理的高效开发、部署和测试成为可能。基于图 1 中的总体框架，学生的问题首先进入规划代理，该代理解释查询并将其分解为学习任务。查询重写器随后将原始问题转换为目标搜索查询。搜索和检索模块访问策划的知识库和选定的外部源。策划的知识库包括系统综述教学材料、示例和模板，以及护理研究学习资源。外部源包括通过网络搜索检索的相关指南和文章。当信息差距仍然存在时，触发迭代检索以获取额外材料。随后，充分上下文代理评估检索内容是否在完整性、相关性、可追溯性和课程一致性方面充分回答了问题的所有部分。只有在确立充分上下文后，响应生成代理才产生有依据的教育响应。

最终输出设计为提供全面的答案、逐步指导、来源接地的解释和额外的学习资源链接。为确保教学相关性，代理与 6 阶段系统综述学习路径一致：(1) 问题制定，(2) 综述问题框架 PICO/PICOS 和资格标准，(3) 检索策略，(4) 筛选和管理，(5) 批判性评价和数据提取，以及 (6) 综合和报告。

评估程序
开发通过原型构建、使用源自教学场景的示例查询进行内部测试，以及根据响应连贯性、完整性和教学一致性进行重复优化，迭代进行。招募了 10 名便利样本参与者进行初步评估，包括 6 名护理教育者和 4 名涉及高等教育机构的最终学年本科护理学生。护理教育者如果具有至少 3 年的系统综述教学经验则符合条件。学生如果注册于本科护理项目最终学年并完成课程的研究方法部分则符合条件。包含最终学年本科护理学生是因为他们代表了代理的预期最终用户。参与者使用代表性的系统综述问题与代理互动，然后完成上一研究中自开发的评估问卷。13 该问卷由两个 10 项李克特量表组成，评分从 1（强烈不同意）到 5（强烈同意）：(1) 教学适配性评估量表：该量表评估代理与学习目标一致的程度、提供准确且易懂的内容、提供有用的反馈、促进批判性思维，以及能否整合到教学和学习环境中。(2) AI 性能评估量表：这些评估了代理的技术性能，包括准确性、相关性、清晰度、一致性、完整性和用户信任。所有响应在分析前均匿名化。这 2 个项目集的完整条目见补充数字内容，附录 1 https://links.lww.com/NE/C491)。数据使用描述性统计分析，包括均值和标准差。

在本概念验证研究中，4.0 或以上的平均分数被解释为表明高感知教学适配性或 AI 性能，从而支持代理的初步可行性。保留了上一研究中使用的相同评估量表和≥4.0 解释阈值，以提供该代理开发程序的连续性。13 10 名参与者的便利样本用于形成性概念验证评估，并未进行统计学效能测试以检验教育效果。前驱评估涉及护理教育者，13 而本评估包括护理教育者和预期学生用户，以捕捉互补的专家和最终用户视角。

结果
代理管道描述
如补充数字内容，图 1 所示 https://links.lww.com/NE/C492，SR 学习代理提供了一个结构化的、基于阶段的界面，引导护理学生进行系统综述培训。代理接受英语查询，并自我介绍为引导学习伙伴，默认工作流从第 1 阶段：主题选择开始。界面显示 6 个顺序学习阶段：主题选择、PICO/PICOS 框架、检索策略、筛选和管理、批判性评价和数据提取，以及综合和报告。每个阶段包括简短的任务描述和目标提示，如重复检查、临床相关性、MeSH 主题词、布尔运算符、纳入/排除标准、PRISMA 记录、偏倚风险评价和综合计划。进度指示器将阶段标记为已完成或当前，且“上一页/下一页”按钮实现了灵活导航。

在一个关于对癌症患者进行虚拟现实认知康复的系统综述的示例查询中，该代理生成了一个定制化的教育响应，验证了主题，使用PICO框架结构化问题，并提供了关于综合计划的阶段性指导，包括评估研究同质性、数据可用性以及进行Meta分析或叙述性综合的适用性。总体而言，补充数字内容图1显示，该代理充当了阶段性感知的教学指南，而非简单的问答聊天机器人。

初步代理评估

在本概念验证评估中，10名参与者（包括6名护理教育者和4名本科护理学生）评估了系统综述学习代理。教学适配评估量表评估了与学习目标的匹配度、认知水平匹配度、内容准确性、实践和临床相关性、反馈有效性、批判性思维促进、个性化学习支持、教师整合、教学创新以及整体教学价值。教学适配评估量表的平均得分为3.90，根据预设的解释标准，表明中等程度的感知教学适配性。AI性能评估量表的平均得分为4.00，达到了高感知AI性能的阈值。总体而言，参与者的评价支持了将代理整合到护理研究教育中的初步可行性，尽管反馈表明未来的改进应增强个性化，使代理能够更有效地适应个别学习者的反应和进度。

讨论

这项概念验证研究开发并初步评估了一个由代理式检索增强生成（Agentic RAG）驱动的系统综述学习代理，面向本科毕业年级护理学生。该代理旨在引导学习者通过结构化的系统综述路径，从主题选择、PICO/PICOS框架构建到搜索策略开发、筛选、批判性评价、数据提取、综合和报告。参与者将该代理评为具有中等程度的感知教学适配性和高感知AI性能。这些初步感知支持了进一步的改进和评估，但不应被解释为已确立教育有效性的证据。

与以往研究的比较

与我们的先前研究相比，本研究做出了两项增量贡献。首先，从广泛的护理研究设计和统计概念辅导转向了结构化的、符合标准的系统综述方法课程。其次，从知识图谱-大语言模型问答推进到代理式RAG工作流，该工作流会进行规划、重构、迭代检索，并在生成指导之前验证上下文的充分性。评估框架被保留以保持连续性；因此，两项研究的平均评分不应被解释为比较绩效的证据，因为学习任务参与者构成不同。本研究的价值在于证明了课程专门化和架构演进对于推理密集的证据综合任务的可行性。

本研究通过将从通用对话支持转向结构化的、特定方法学的学习，扩展了护理教育中AI的现有工作。先前的综述建议，ChatGPT和其他生成式AI工具可以支持护理学生进行学术写作、模拟、数据建模和个人发展，同时强调需要负责任地实施和教师监督。同样，更广泛的医学教育文献强调了大语言模型提供个性化学习材料、交互式反馈和学习支持的潜力，但警告如果未经过验证和人工监督而使用，这些工具可能会生成不准确、有偏见或上下文不恰当的信息。

Google代理式RAG的使用也将本工作与传统单功能聊天机器人或常规RAG工具区分开来。常规RAG通过在响应生成前从外部来源检索信息来提高事实依据。然而，代理式RAG增加了更具教学性的工作流，包括规划、查询重写、搜索和检索、迭代检索以及最终响应生成前的充分上下文检查。在本研究中，充分上下文机制对护理教育尤为重要，因为它直接解决了流畅但不完整或虚构的解释风险。这与医学教育文献中提出的担忧一致，即幻觉可能导致"错误学习"，特别是当学生从大语言模型获得自信但不正确的信息时。因此，本代理通过展示如何将检索依据和上下文验证转化为特定学科的教育设计，为新兴领域做出了贡献。一项更大规模的研究正在计划中，以评估该代理的有效性以及测试量表的心理测量特性。

研究局限性

应考虑若干局限性。首先，这是一项概念验证研究，参与者为10人的小便利样本（6名教育者和4名学生）。评估使用作者开发的条目集，其信度、效度和维度结构尚未确立。因此，条目进行了描述性分析而非作为经过验证的综合量表处理，由于子组分别由6名和4名评分者组成，因此未进行教育者与学生子组比较。本研究评估的是感知有用性和性能，而非客观学习结果或技术准确性。

其次，评估依赖于教学适配性和AI性能的自我报告评分。这些评分对于评估感知可行性、可接受性和可用性很有用，但不能确定代理是否提高了系统综述知识、方法学推理、搜索技能、评价准确性或证据综合能力。未来研究应包含客观学习结果，如前后测知识评估、学生生成的PICO问题评价、搜索策略质量、筛选准确性、偏倚风险评估和综合决策。

第三，评估是在受控的初步环境中使用代表性教学查询进行的。现实世界中学生使用可能涉及不完整、模糊或表述不当的问题，学生可能在更长的学习期间与代理互动。需要纵向课堂实施来评估持续参与度、学习者进展、认知负荷以及与教师主导教学的整合。

第四，尽管代理通过精选的知识来源和充分上下文验证设计来减轻幻觉风险，但幻觉不能完全消除。响应的准确性仍然取决于知识库的质量、时效性和覆盖范围、检索过程以及代理的响应生成逻辑。因此，持续的内容更新、专家评审、系统监控和透明披露AI局限性是必要的。由于该工具没有认证访问订阅数据库，其示例搜索输出不应被解释为全面或可重复的文献搜索。

最后，本研究重用了先前概念验证研究中使用的评价量表、解释阈值和小便利样本方法。虽然这提供了连续性，但它提供的独立教育有效性证据有限。未进行两个代理之间的直接比较，平均分数的差异不应被解释为代理式RAG架构更优越的证据。未来研究应比较不同的代理架构并包含客观结果，如PICO质量、搜索策略准确性、筛选一致性、偏倚风险评估和综合决策。

对护理教育的启示

本研究对护理教育以及自适应、个性化和代理式AI工具的兴起使用具有若干启示。首先，系统综述学习代理为在研究和循证实践教育中嵌入AI提供了实用模型。系统综述方法学对本科生来说具有挑战性，因为它需要抽象的方法学推理和一系列相互依赖的决策。阶段性感知的代理可以通过将复杂任务分解为可管理的步骤、解释每一步的重要性以及提供即时的、情境敏感的反馈来使这种推理更加可见。这种支持可以作为一种数字教学支架形式，帮助学生从有指导的实践过渡到更独立的方法学决策。

其次，自适应和个性化功能可以通过根据学生的先前知识、学习节奏、反复错误以及在综述过程中的进展来定制指导来扩展这种支架。例如，代理可以为难于区分关键词和受控词汇的学生提供基础解释，同时为正在优化数据库特定搜索或评估Meta分析适当性的学生提供更高级的反馈。它还可以识别持续的错误概念，推荐有针对性的资源，并调整支持的量和复杂度以减少认知负荷。这些功能可能增强自主学习和即时学习，特别是当学生在预定教学时间之外需要帮助时。然而，个性化在本评估中被确定为需要改进的领域，且未进行独立测试。未来的开发应确定自适应指导是否能在不创建不准确的 Learner 画像、不平等的学习体验或过度依赖自动支持的情况下改善学习。

第三，有边界的代理工作流可能具有超越提供个性化答案的影响。通过协调规划、查询重构、迭代检索和上下文充分性检查，该工具可以展示系统综述决策背后的推理过程，而不仅仅是呈现最终答案。这可能支持元认知，鼓励学生审视问题如何表述、缺少什么信息、为什么需要额外证据以及结论是否有充分支持。然而，高度 capable 的代理也可能增加自动化偏见和方法学去技能，如果学生未经批判性评估就接受建议的话。教育设计应保留"生产性摩擦"，例如要求学生提出并证明PICO问题、搜索策略、纳入决定或综合方法，然后再接受代理生成的反馈。

第四，专用代理可能使教师能够比非结构化的公共聊天机器人更透明地将生成式AI整合到课程中。代理可以与学习目标、系统综述标准、经过验证的教学材料和与护理相关的示例对齐。教育者然后将更多课堂时间用于批判、应用和复杂的方法学判断。这种方法与国际指南一致，强调生成式AI在教育中的人本、伦理和教学法适当使用，以及健康AI治理原则涉及透明度、问责制、隐私、公平和人工监督。然而，教师发展是必要的，以帮助教育者验证输出、监控知识库、解释学习者-代理互动，并识别自动指导可能不完整或不适当的时候。

最后，代理支持的教育应补充而非取代教师判断或学生独立推理。评估策略应明确何时允许AI协助、要求学生记录并批判性评价AI生成的贡献，以及确定哪些任务必须展示无辅助能力。未来评估应超越感知教学适配性和技术性能，检查客观结果，包括学生生成的综述问题、搜索策略、筛选决策、偏倚风险评估和综合计划的质量。纵向研究还应评估自适应代理使用是否增强了自主学习、方法学推理、负责任的AI素养和平等的学习，或者相反促成了过度依赖。相应地，本研究发现支持进一步改进和受严格管理的评估，而非立即大规模实施。

结论

这项概念验证研究开发了一个6阶段的检索增强教学工具，并在6名护理教育者和4名毕业年级护理学生中评估了其感知教学适配性和AI性能。该工具在主题选择、综述问题构建、搜索策略、筛选和管理、批判性评价和数据提取、综合以及报告方面提供了基于来源的指导。参与者报告了中等程度的感知教学适配性和高感知AI性能，同时将个性化确定为改进领域。这些发现支持了该工具的初步可行性，但未能确立教育有效性。更大规模、纵向的研究应在教育者监督下评估客观学习结果、方法学准确性和负责任的课堂整合。