综述：在通用人工智能（GenAI）的时代，反思性写作是否是一种有效的总结性评估方法？一项范围综述

《Medical Teacher》：Is reflective writing a valid summative assessment in the era of GenAI? A scoping review

　　摘要
引言
反思性实践是各级医学教育的核心，通常通过异步书面反思来进行评估。随着像ChatGPT这样的新型生成式人工智能工具的出现，人们担心这些工具可能被用来生成书面反思，从而绕过反思过程，潜在地削弱了书面反思作为总结性评估的价值。这项范围审查旨在探讨在生成式人工智能时代，书面反思是否仍然是一种有效的总结性评估方法，方法是通过识别研究生成式人工智能撰写反思的能力、检测此类写作的方法以及医疗专业人员如何使用生成式人工智能进行反思的论文来回答这一问题。

方法
本研究遵循PRISMA-ScR指南，使用Medline、CINAHL、Education Research Complete和Google Scholar进行了范围审查。数据被整理后进行了主题分析。

结果
共纳入了18篇出版物。研究发现，像ChatGPT这样的免费生成式人工智能聊天机器人能够写出高学术标准的反思内容，而且这些内容既难以被人类也难以被软件检测出来。我们还发现，医疗专业人员和学生正在使用生成式人工智能来撰写反思，同时生成式人工智能也可以通过提供支架式支持、充当对话伙伴以及协助重新设计评估方式来促进反思过程。

讨论
研究结果表明，在生成式人工智能存在的背景下，异步书面反思作为总结性评估的方法存在脆弱性。未来的研究应探讨如何在一个生成式人工智能使用持续增长的世界中保持反思性写作作为总结性评估的有效性。

关键词：
反思性实践；ChatGPT；评估；生成式人工智能；医疗专业教育

引言
反思可以定义为“个人对其专业实践相关的一切进行批判性思考的过程，目的是获得洞察力，并利用所学到的经验来维持良好的实践或尽可能进行改进”[引用1]。Sandars [引用2] 提出了反思的三个主要目标：“为了学习的反思”、“为了建立治疗关系的反思”和“为了发展专业实践的反思”。这些目标可以帮助从业者和学生识别学习需求，支持专业成长，并通过提高自我意识来改进实践，同时突出提高患者护理质量和安全性的机会[引用3]。专业机构倡导“反思应该是医生日常实践的一部分”[引用1]，并且这在全球各地的教育系统中都是医生培训和重新认证的必修内容[引用4]。

实践要点
- 生成式人工智能聊天机器人可以生成高质量的反思性写作，这些写作能够逃避人类和自动化检测。
- 医疗专业学生和临床医生正在使用生成式人工智能来生成反思内容。
- 生成式人工智能可以通过提供支架式支持和对话指导来促进反思实践。
- 异步书面反思作为总结性评估的有效性越来越不确定。
- 面对面评估可能提供更有效的替代方案。
- 这些目标的实现通常通过异步书面反思来进行评估[引用5, 引用6]。Charon [引用7] 认为，与其他方法相比，关于患者的反思性写作能够促进更深入的理解和自我反思，而Shapiro和Kasman [引用8] 则指出，写作行为使学习者能够从更广泛的角度考虑问题。此外，写作反思的过程可能会产生关于事件的新想法和见解，并允许重新考虑事实[引用9]。
- ChatGPT（Chat Generative Pre-Trained Transformer）[引用10] 自2022年11月发布以来，估计每周有7亿用户[引用11]。此后还发布了类似的聊天机器人，包括微软的Copilot [引用12] 和谷歌的Gemini [引用13]。这些聊天机器人由大型语言模型（LLM）驱动，这些模型是在大量数据上训练出来的AI系统，能够生成模仿人类语言的响应[引用14]，因此被称为“生成式”人工智能（GenAI）。自发布以来，驱动ChatGPT的LLM已经多次更新[引用11]，因为技术有了显著改进[引用15]。通过简单的界面，用户可以向聊天机器人提供问题或一组指令（称为“提示”[引用16]），聊天机器人将生成响应。“提示工程”指的是通过提示来指导LLM的方式，而聊天机器人的互动和输出取决于初始提示及后续提示[引用16]。
- 生成式人工智能在医学教育中显示出巨大潜力，从在英国医学执照评估中表现良好[引用17]，到作为虚拟患者用于咨询[引用18]。然而，在教育中使用这项技术引发了关于学术诚信的担忧[引用19]。对美国医学生和药学学生使用ChatGPT的调查发现，分别有48.9% [引用20] 和30.2% [引用21] 的人曾将其用于学术目的。
- 对高等教育评估中生成式人工智能政策的回顾发现，学生作品的原创性被视为学术不端行为的一部分，政策范围从完全禁止到有条件允许使用不等[引用22]。鉴于生成式人工智能撰写反思的能力以及不同机构间学术政策的差异，这项范围审查旨在探讨在生成式人工智能时代，反思性写作是否仍是一种有效的总结性评估方法。我们通过识别以下问题的论文来回答这个问题：
- 在生成式人工智能时代，反思性写作是否是一种有效的总结性评估？
- 生成式人工智能能否进行反思性写作？
- 生成式人工智能撰写的反思具有哪些特征？
- 生成式人工智能撰写的反思能否与人类撰写的反思区分开来？
- 生成式人工智能能否被纳入反思性写作过程中作为总结性评估的一部分？

方法
本研究采用范围审查的方法来回答研究问题。范围审查旨在确定当前的证据基础，澄清重要概念，确定关键特征，并识别知识空白，特别是在新兴概念方面[引用23]。我们使用了Arksey和O’malley [引用24] 最初定义的框架，并由Levac和Colquhoun [引用25] 进一步发展。遵循了PRISMA-ScR [引用26] 标准，并参考了更新的信息[引用27, 引用28]。Arksey和O’malley [引用24] 定义的五个阶段是：
1. 确定研究问题
2. 确定相关研究
3. 研究选择
4. 整理数据
5. 汇总、总结和报告结果

确定研究问题
本范围审查的总体研究问题是：“在生成式人工智能时代，反思性写作是否是一种有效的总结性评估？”有许多相关研究问题会影响这个总体问题的答案，因此我们识别了以下问题的研究：
- 生成式人工智能能否生成反思性写作？
- 是否可以通过检测软件或基于人类的方法检测到使用ChatGPT生成的反思性写作？
- 医疗专业人员或学生是否使用生成式人工智能进行反思性写作评估？
- 生成式人工智能能否支持反思过程？

使用“人群、概念、背景”框架[引用27] 来指导搜索策略和纳入标准，具体如下：
- **纳入标准**：
- 人群：医疗专业教育中的学习者或教育者（如医学、护理、药学、牙科、联合健康专业人员）
- 概念：使用生成式人工智能聊天机器人，研究探索生成式人工智能在生成或支持反思性写作/实践中的作用，包括调查医疗专业人员是否将其用于此目的
- 背景：全球范围内的医疗专业教育（本科或研究生，包括持续专业发展），任何形式的反思性写作/实践，无论是形成性还是总结性练习
- 仅限英文
- 时间范围：2022年至今

排除标准是纳入标准的相反情况，排除了使用定制AI工具的研究。

2025年7月使用以下关键词在Medline、CINAHL、Education Research Complete电子数据库和Google Scholar中进行了搜索：
- 数据库搜索词：
“Generative artificial intelligence” OR “generative AI” OR genAI OR “artificial intelligence” OR “large language model” OR “large language models” OR LLM OR ChatGPT OR GPT-4 OR copilot OR claude OR gemini
AND (Reflect* N1 (writing OR write OR essays OR essay OR log OR practice OR self)
- Google Scholar搜索词：
“Generative AI” AND “reflective practice” AND “medical students” OR “health professions”

所有纳入文章的参考文献列表都进行了手工检索，并进行了后续引用追踪，以识别最初搜索中未包含的出版物。该过程在2025年7月16日至8月12日期间进行。只有2022年或之后发表的研究才被纳入。

研究选择
根据资格标准筛选了标题和摘要。如果不清楚某项研究是否满足标准，则会阅读全文。PRISMA流程图如图1所示。正如Arksey和O’Malley最初所述，范围审查（与全面的系统评价相比）的目的是进行文献分析以指导叙述性描述。他们进一步指出，“不强调‘证据的权重’或评估证据的质量”。因此，我们没有根据抽样方法、盲法等因素来限制研究选择。我们纳入了所有符合纳入标准的出版物，然后将证据的质量作为分析和讨论的一部分。

图1. PRISMA流程图。

**该PRISMA 2020流程图详细说明了系统评价过程，分为三个关键阶段：识别、筛选和纳入。左侧显示了从主要数据库中识别的401条记录，详细列出了来自MEDLINE（57条）和Google Scholar（257条）的记录数量。去除28条重复记录后，筛选出373条记录，其中326条被排除。在筛选阶段，寻找了47份报告，其中35份因不符合纳入标准而被排除，最终有12份报告符合条件。右侧显示了来自其他方法的6条记录，全部被检索和评估，没有排除，因此共有18项研究被纳入审查。**

整理数据
从每篇论文中提取了以下信息：作者、发表年份、国家、期刊（包括是否为掠夺性期刊）、出版物类型（期刊文章、会议论文）、标题、医疗专业领域（如医学生、药剂师、牙医等）、研究目的、研究设计（如横断面研究、系统评价、评论等）、抽样方法（如适用）、调查的试点（如适用）、伦理批准（如适用）、使用的生成式人工智能类型（如ChatGPT、Copilot、Gemini等）及版本（如指定）、数据收集日期（如适用）、响应率（如适用）、样本大小（如适用）、生成式人工智能的应用（如作为对话伙伴、撰写反思等）、主要发现、生成式人工智能的局限性、研究的局限性、结论和未来方向。数据整理由一位作者（EF）独立完成，任何不确定性通过与另一位作者（PMN）的讨论解决。

质量评估
通过两位作者对研究的批判性阅读来进行质量评估。鉴于问题的新颖性和考虑的方法范围广泛，没有明显的既定质量评估工具可以使用。在结果部分记录了影响结果解释的质量特征。

汇总、总结和报告结果
采用Braun和Clarke [引用29] 的六步方法进行了主题分析，以识别研究中的共同主题。一位作者（EF）与另一位作者（PMN）讨论了每项研究，并做了详细笔记。这些笔记涉及与研究问题相关的内容，用于开发初步主题。然后使用ChatGPT（运行GPT-5）进行了辅助主题分析，基于之前的研究，这些研究表明ChatGPT在此任务上有效[引用30–32]。使用“思考”模式的ChatGPT-5 Plus，以确保ChatGPT“思考更长时间以获得更好的答案[引用33]。分析于2025年8月23日进行，详细的提示策略见补充材料S1。首先的提示是“请给我上传文件内容的简短总结（两段）”，以确保ChatGPT正确分析了文档。然后要求ChatGPT根据Braun和Clarke的方法进行主题分析[引用29]。通过三种不同的提示进行了三次聊天，以观察这如何影响ChatGPT的输出以及是否会出现新的主题。每个提示的中间部分有所不同，但提示的开始和结束部分保持不变。作者将EF生成的初步主题与ChatGPT生成的主题进行了比较，发现两者非常相似。将初步主题与ChatGPT生成的主题合并，形成了最终的主题集，然后由两位作者共同讨论并达成一致。

结果
共纳入了18篇出版物。PRIMSA流程图如图1所示，所包含研究的总结见表1。表1. 所包含研究的总结。下载CSV文件 | 显示表格。

**主题分析**
最终确定的主题列表见表2，其中还标明了哪些研究被纳入了分析。表2. 主题列表，包括描述和关键发现总结。下载CSV文件 | 显示表格。

**GenAI的反思写作能力**
多项研究探讨了GenAI生成反思性文本的能力。Li和Sha [Citation34] 使用了九种提示策略生成了反思性文本，并将其与ChatGPT发布前学生撰写的反思性文本进行了比较。学生的反思基于Driscoll的模型 [Citation35]，反映了他们之前的学习体验。AI生成的反思性文本长度稍短，但在评分标准上的得分较高，ChatGPT的总体得分为4.3分（满分6分，标准差为0.99），而人类撰写的反思性文本得分为2.9分（满分6分，标准差为1.72分），尽管样本量较小（每种作者类型仅有45份样本）[Citation34]。无论是人类还是基于技术的检测系统，都无法可靠地区分人类生成和AI生成的反思性文本，即使样本量大幅增加（每种作者类型180份样本）[Citation34]。Wraith和Carnegy [Citation36] 也报告了类似的问题，他们使用了Microsoft Co-Pilot，但样本量同样很小（每种作者类型4份样本，28位教育者的评价）。相反，Brondani和Alves [Citation37] 表明三位经验丰富的教师能够以约85%的准确率判断出反思性文本的作者是ChatGPT还是人类，尽管样本量也很小（每种作者类型20份样本），并且无法保证人类撰写的反思性文本没有借助AI生成，同时也没有评估这些反思性文本的质量。作者们特意使用了“通用”且以第三人称撰写的反思性文本。所有研究似乎都使用了未经编辑的GenAI输出结果，Li和Brondani都没有明确指出所使用的具体模型，但研究日期表明可能是GPT-3.5或GPT-4。Nabasenja和Chau [Citation38] 显示ChatGPT-4o能够生成关于临床放射学实习经历的反思性文本，其内容符合澳大利亚诊断放射学的专业标准，尽管缺乏某些特性（详见“AI生成反思性文本的真实性与情感细微差别”部分）。在所有研究中，都未明确指出评估者在分析时是否对反思性文本的来源进行了盲处理。

**Kaliterna, ?uljevi?等人** [Citation39] 的研究旨在探讨ChatGPT和Google的Bard是否能够生成关于医学生经历的非结构化反思性文章，并判断这些文章是否可以与人类撰写的文本区分开来。五年级和六年级的医学生撰写了关于他们在学习过程中遇到的道德、伦理或职业困境的反思性文章。这些文章收集于2023年，随后从中提取关键词来生成GenAI生成的反思性文本。使用“Originality.AI”和“GPTZero”软件尝试检测AI生成的文章，分析结果显示34%的文章部分或全部由GenAI撰写。进一步分析发现，这些文章的语言特征更接近GenAI生成的文本而非真实的学生作品。作者推测这些学生在撰写文章时使用了GenAI。

Wang [Citation40] 的观点认为，在医生培训中，书面反思性文章特别容易受到GenAI的影响，因为大型语言模型（LLM）能够生成高质量的回应。他们讨论了AI检测软件在区分人类和GenAI生成内容方面的不准确性，尤其是当AI生成的文本被修改后，这种区分变得更加困难 [Citation41]。

**总结**
GenAI能够生成符合高学术标准的反思性文本，尽管在质量上可能与人类生成的反思性文本有所不同（详见“AI生成反思性文本的真实性与情感细微差别”部分）。评估者无法可靠地区分学生撰写和GenAI生成的反思性文本。

**AI生成反思性文本的真实性与情感细微差别**
至少有两篇观点文章认为GenAI无法模拟反思实践所需的生活经验、细微差别和复杂认知 [Furey [Citation42], Lewis和Hayhoe [Citation43]]。然而，Kaliterna, ?uljevi?等人 [Citation39] 在比较ChatGPT和Bard生成的反思性文章与医学生文章的语言特征时发现，AI生成的文章包含更多与积极情绪相关的词汇。Bard生成的文本在“社会过程”方面的得分显著更高，更具人性。相比之下，ChatGPT生成的文章由于使用了更多复杂词汇和分析性语言，显得更加真实。学生撰写的文章每句话的平均词汇量更多，也使用了更多的认知语言。不过，Nabasenja和Chau [Citation38] 发现ChatGPT-4o生成的反思性文章在“清晰度与结构”方面得分最高，但在“深度与洞察力”方面得分最低。评估者的定性评论指出，这些反思性文章缺乏同理心，以人为中心，表面化且缺乏深度和细微差别。然而，由于样本量非常小（每种作者类型仅20份样本）以及分析方法未进行盲处理，这些发现的普遍性可能受到限制。

**采用与使用模式**
Warrington和Holm [Citation44] 在2024年对211名英国医生进行了调查，发现超过50%的医生使用过GenAI，尤其是年轻医生和培训中的医生使用频率更高。最普遍的用途是生成用于评估和持续职业发展档案的反思性文章，其中37.1%的GenAI用户将其用于此目的。其他调查研究表明，学生 [Citation45] 和教师Basri, Attar [Citation46] 也频繁使用GenAI，但在询问GenAI是否可以有效用于反思实践时，参与者的意见并不一致。这些调查使用的是方便样本和未经验证的评估工具，因此结果的代表性和可靠性尚不明确。

Pham和Karunaratne [Citation47] 的系统评价研究了GenAI对健康专业教育的影响，并将其与Laurillard的对话框架 [Citation48] 进行了对比。他们发现73%的研究使用GenAI进行“实践”，例如虚拟患者咨询、沟通技巧训练、药物管理以及反思实践。其他应用场景包括撰写文章、简化复杂信息和纠正错误。因此，健康专业人员和学生都在使用GenAI，包括生成反思性文本。

**伦理、治理与负责任的使用**
许多研究都关注GenAI使用的伦理和治理问题，调查和评论普遍表达了对于患者隐私、数据安全、输出准确性以及过度依赖GenAI的担忧 [Almazrou, Alanezi [Citation45], Basri, Attar [Citation46], Pham, Karunaratne [Citation47], Warrington and Holm [Citation44]]。作者呼吁专业机构发布关于GenAI使用的指导方针，特别是针对这些伦理问题。例如，“AI评估量表”详细说明了GenAI在评估中的使用方法，并似乎有助于减少不当行为 [Furze等人，2024年，引自Wang [Citation40]]。然而，对GenAI了解更多的医生对GenAI监管的支持度较低 [Warrington and Holm [Citation44]]。

Khojasteh和Kafipour [Citation49] 倡导“伦理和负责任的AI整合”，即应教导学生如何批判GenAI的输出，并将其作为补充工具，而不是替代自己的学习方式。他们还指出，GenAI算法可能无意中延续现有的偏见 [Citation49]。对于学生和教育者来说，使用GenAI时的透明度非常重要。Samuel和Soh [Citation50] 使用ChatGPT重新设计了反思实践评估方法，强调了在使用GenAI设计评估时与学习者保持透明的必要性，从而促进关于伦理使用的讨论。

**GenAI作为反思支架和教练**
超过一半的研究都提到了利用GenAI提供定制支持或充当教练的角色，以促进反思 [Citation42, Citation43, Citation45–47, Citation49–53]，但支持这一角色的证据有限。Alexander和Johnson [Citation51] 以及Furey [Citation42] 通过案例研究方法进行了探讨，例如根据具体的临床经验和专业水平提供苏格拉底式提示。他们还指出了一些潜在的好处，如即时反馈，以及让学习者专注于过程而非成绩。一些研究提供了实证证据支持这些观点 [Citation43, Citation47, Citation49, Citation50, Citation52, Citation53]。Lewis和Hayhoe [Citation43] 通过三个不同的案例展示了ChatGPT如何为不同经验水平的从业者提出有洞察力和挑战性的问题。其中一个案例使用语音输入技术，将基于真实患者经历的情景叙述给ChatGPT-4，旨在引导用户完成Gibbs反思循环 [Citation54] 并通过提出两个深入的问题来促进更深入的反思。另一个案例是为有经验的从业者设计的，让他们反思一个复杂病例，并要求ChatGPT结合Brian和Eno的“间接策略”（激发艺术家创造性思维的提示）。这种方法产生了意想不到的问题，引发了新的反思视角。还有一个案例利用了ChatGPT的实时语音功能，让从业者将自己的经历输入ChatGPT，采用互动对话的方式。作者建议GenAI可以通过鼓励更深入的内省来引导个人进行更真实的反思。然而，目前没有数据将这种方法与传统反思方法进行比较，也没有探讨从业者或评估者是否接受使用GenAI进行反思。

Pham和Karunaratne [Citation47] 的系统评价研究了GenAI对健康专业教育（HPE）的影响。纳入的研究必须明确提到HPE学生如何使用GenAI，评估质量采用了医学教育研究质量工具。73%的研究描述了GenAI如何用于“实践”，即“重复性行为并伴随反馈循环”。其中六项研究指出学生使用GenAI进行反思实践，但未提供GenAI具体如何用于反思的详细信息，且作者也没有定义反思实践的具体含义。这些研究并不都符合此处描述的反思实践定义。

Stratton-Maher [Citation52] 和Huang, Lin [Citation53] 的研究探讨了学生如何利用ChatGPT辅助撰写反思性文章。Stratton-Maher [Citation52] 评估了将ChatGPT整合到护理课程“医疗保健读写与沟通”课程的档案评估中的效果。学生被指导如何有效使用ChatGPT来组织语言并生成反思性文章。Stratton-Maher [Citation52] 认为这种方法可以将档案转化为互动平台，促进个性化学习，尽管反思性文章的质量尚不明确。同样，Huang, Lin [Citation53] 评估了ChatGPT作为社区健康护理课程结束时支持反思实践的工具。学生使用ChatGPT完成六个反思阶段，基于他们的护理经历撰写文章，并完成关于AI辅助反思的自我评估问卷。Stratton-Maher [Citation52] 和Huang, Lin [Citation53] 都强调了ChatGPT提供即时反馈和个性化写作辅助的能力。Huang, Lin [Citation53] 还描述了ChatGPT如何提出反思性问题并生成摘要，学生反馈表示参与度较高，但缺乏对照组和前后对比，反思性文章的质量也不明确。

Khojasteh和Soh [Citation49] 认为GenAI可以构建反思框架，通过改进结构和自我评估来提高学生作品的质量。Khojasteh和Kafipour [Citation49] 要求医学生撰写关于各种主题的短文，然后使用GenAI“审阅和修改”文章，提出并解释了在连贯性、标点、语法和词汇方面的改进。医学生随后撰写了关于使用GenAI经历的反思性文章。这些文章进行了主题分析，并在专家焦点小组中进行了讨论，作为工具包开发的一部分。还对学生在使用GenAI辅助自我评估前后的自我评估分数进行了比较。研究结果表明，该工具包具有较高的可靠性、表面有效性和内容有效性。使用该工具包通过提高学生批判性评估自己写作的能力、设定可实现的目标以及更有效地利用反馈，支持了反思过程。反馈也与教师的反馈保持一致，从而使得自我评估更加准确。Samuel和Soh [Citation50] 展示了如何利用GenAI通过ChatGPT-4o重新设计研究生健康专业教育课程中的反思实践评估。课程讲师指出，使用ChatGPT重新设计的反思作业为学生提供了比以前版本更多的细节和指导。在评估重新设计之前和之后，学生的作业由两位不知道研究情况的独立教师进行评估，结果显示学生的作品质量有所提高，尽管没有量化结果或报告样本大小。

许多研究提倡改变反思的评估方式 [Citation34,Citation36–40,Citation42–44,Citation47,Citation49,Citation50,Citation52,Citation55]，同时允许学习者在反思过程中使用（或不使用）GenAI。例如，Warrington和Holm [Citation44] 建议，医生可以使用GenAI撰写反思内容，然后对其进行反思，只要这一点得到承认，并且临床医生与同事讨论他们的反思 [The Schwartz Centre. Schwartz rounds, 如44中引用]。Wang [Citation40] 和Wraith, Carnegy [Citation36] 也提出了类似的观点，他们认为传统的反思论文可以被基于讨论的活动所取代，同时承认GenAI对于那些觉得写作反思困难的人来说是一个有用的工具。这种评估方式还有一个额外的好处，即不再要求教师识别GenAI撰写的反思，而是更多地关注反思的质量。Nabasenja和Chau [Citation38] 也得出了类似的结论，他们建议学生可以通过编辑GenAI撰写的反思或分析人类与GenAI撰写的反思来参与反思过程。Brondani和Alves [Citation37] 也提出了一种人机协作的方法，建议GenAI可以作为开始作业的“跳板”。作者们认为，学生可以提示GenAI撰写初步的反思，然后再对其进行编辑和个性化，以添加自己的观点。然而，如何有意义地评估这些人机协作的反思尚不清楚。

Li和Kaliterna [Citation34] 以及Kaliterna, ?uljevi? [Citation39] 都主张改进检测软件，部分原因是他们发现GenAI反思的语言特征与众不同，因此可以根据这些发现训练新的检测器。Kaliterna, ?uljevi? [Citation39] 倡导恢复手写论文作为一种可信的替代方案，以确保学生真正参与到反思过程中。

许多研究基于早期关于使用GenAI作为支架或反思教练的内容，提供了如何将其发展为反思评估的建议。例如，Furey [Citation42] 倡导研究特定专业的模型，这些模型整合了临床工作的各个方面，如语言、专业标准和伦理敏感性，而Kawakami和Nomura [Citation55] 建议使用GenAI进行更具创造性的任务，如创建图像。然而，还需要进一步的工作来了解这些新的评估方法如何进行评估。Khojasteh和Kafipour [Citation49] 在讨论作业时提出，教育者可以使用GenAI的反馈来补充人类的反馈，GenAI可以突出语法等技术问题，使人类评分者能够专注于内容。Lewis和Hayhoe [Citation43] 也提出了类似的建议，他们认为将GenAI整合到医疗实践中是不可避免的，我们应该利用其潜力，而不是将其视为威胁。Samuel和Soh [Citation50] 也支持使用GenAI作为辅助评分工具，以减轻教师的工作负担，使人类评分者能够专注于内容。他们提出了一些实际步骤，但需要更严格的测试，包括对照组和定量结果。Stratton-Maher [Citation52] 表示，将ChatGPT纳入作品集评估“显著影响了学生的学习”，并加深了学生对护理概念的理解，但没有提供关于GenAI如何实现这一点的进一步细节或客观结果。

综述的研究表明，GenAI能够生成高质量的反思性写作，这些写作很难与人类撰写的反思性写作区分开来 [Citation34,Citation36–40]。临床医生和学生都在使用GenAI进行反思性写作。因此，很难继续将异步书面反思作为总结性评估的理由。研究还提出了在现有文献背景下可能解决问题的方法，例如改进检测软件 [Citation34]。然而，技术的快速发展意味着这种方法似乎不太可能有效，这一想法已经不再受欢迎。手写论文 [Citation39] 也可能不是一个可行的解决方案，因为学生仍然可以在手写论文时使用GenAI。

与其试图禁止或检测GenAI在书面反思中的使用，许多研究提倡接受GenAI，将其纳入反思过程和评估中 [Citation36–38,Citation42–44,Citation49–53,Citation55]。然而，关于GenAI有效性的证据有限，主要基于专家意见和定性案例研究。严格设计的实验研究来测试GenAI作为反思伙伴的有效性和安全性将给教育者更多的信心（或没有信心）。许多研究提出了可能影响这种方法的政策和伦理问题，但这些接受GenAI的方法与伦理问题之间的冲突并没有得到详细的解决。

为了解决这一冲突，作者呼吁对GenAI在评估和作品集中的使用提供明确的指导，但在撰写本文时，尚不清楚这种指导的具体内容。例如，国际健康专业教育协会发布了一份关于AI的指南，旨在强调教育者如何在健康专业教育评估中利用其潜力 [Citation56]。他们承认“带回家的论文”特别容易受到AI的影响，但建议禁止或减少GenAI的使用并不能使学习者掌握应对现实世界所需的技能，而且可能会忽略AI的一些关键好处。相反，Masters和MacNeil [Citation56] 认为我们应该接受AI，并考虑其他评估学习的方法。一个例子是将书面论文视为评估过程的一个组成部分，而不是唯一的评估手段。学习者可以利用AI来创建文本、图像和音频来满足作业要求。然而，这是否适用于反思评估还有待观察。

Neshaei和Mejia-Domenzain [Citation57] 的研究表明，GenAI（GPT-4o和经过微调的BERT模型）可以用来支持反思。他们开发了一个名为“Reflectium”的AI辅助写作工具，这是一个基于网络的应用程序，指导健康和福利学习者完成Gibbs反思循环，提供逐句反馈。他们得出结论，使用定制的GenAI工具可以通过培养元认知技能来支持学习，并帮助学习者撰写更有结构的反思性文本。虽然这只是单一研究，但在健康专业教育中具有广泛的可扩展性和实用性，未来的研究可以探索这些定制工具，而不仅仅是这里回顾的免费工具。

另一种方法可能是调整反思的评估方式。正如本综述中的一些文章所建议的，一个解决方案可能是引入有指导的讨论，无论是与导师还是小组进行。讨论可以促使学习者通过大声思考更深入地反思他们的经历。即使学习者使用GenAI来创建他们的反思，与他人讨论也需要他们反思GenAI的输出。然而，这种方法可能需要大量的资源。

这项综述和我们的结论存在多个局限性。最显著的是，许多研究没有指定使用的ChatGPT版本或使用日期。这一点尤为重要，因为目前驱动ChatGPT的大型语言模型（LLMs）比之前使用的模型更为先进 [Citation11,Citation15]。大多数研究使用的样本量也较小，而且不清楚评分者在评分时是否不知情。通过方便抽样产生的抽样偏差可能会影响结果，而社会期望偏差往往没有被承认。小样本量可能会影响结果的普遍性。缺乏与对照组的比较限制了推断因果关系和控制混杂变量的能力。我们还包括了一些专家意见类型的文章，这些文章没有实证数据，但鉴于GenAI发展的速度和规模以及同行评审的缓慢速度，使得原始研究很快就会过时，作者认为包括专家意见是重要的。一套教育基准协议将极大地帮助该领域 [Citation58]。

看来很难将异步反思写作作为有效的总结性评估来证明其合理性。像ChatGPT这样的GenAI聊天机器人可以写出高质量的反思性写作，这些写作很难与人类撰写的反思性写作区分开来 [Citation34,Citation36–40]。临床医生和学生都在使用GenAI进行反思性写作。因此，很难继续将异步书面反思作为总结性评估的理由。研究还提出了在现有文献背景下可能解决问题的方法，例如改进检测软件 [Citation34]。然而，技术的快速发展意味着这种方法似乎不太可能有效，这一想法已经不再受欢迎。手写论文 [Citation39] 也可能不是一个可行的解决方案，因为学生仍然可以在手写论文时使用GenAI。

与其试图禁止或检测GenAI在书面反思中的使用，许多研究提倡接受GenAI，将其纳入反思过程和评估中 [Citation36–38,Citation42–44,Citation49–53,Citation55]。然而，关于GenAI有效性的证据有限，主要基于专家意见和定性案例研究。严格设计的实验研究来测试GenAI作为反思伙伴的有效性和安全性将给教育者更多的信心（或没有信心）。许多研究提出了可能影响这种方法的政策和伦理问题，但这些接受GenAI的方法与伦理问题之间的冲突并没有得到详细的解决。

为了解决这一冲突，作者呼吁对GenAI在评估和作品集中的使用提供明确的指导，但在撰写本文时，这种指导的具体内容尚不清楚。例如，国际健康专业教育协会发布了一份关于AI的指南，旨在强调教育者如何在健康专业教育评估中利用其潜力 [Citation56]。他们承认“带回家的论文”特别容易受到AI的影响，但建议禁止或减少GenAI的使用并不能使学习者掌握应对现实世界所需的技能，还有可能忽视AI的一些关键好处。相反，Masters和MacNeil [Citation56] 认为我们应该接受AI，并考虑其他评估学习的方法。一个例子是将书面论文视为评估过程的一个组成部分，而不是唯一的评估手段。学习者可以利用AI来创建文本、图像和音频来满足作业要求。然而，这是否适用于反思评估还有待观察。

Neshaei和Mejia-Domenzain [Citation57] 的研究表明，GenAI（GPT-4o和经过微调的BERT模型）可以用来支持反思。他们开发了一个名为“Reflectium”的AI辅助写作工具，这是一个基于网络的应用程序，指导健康和福利学习者完成Gibbs反思循环，提供练习和逐句反馈。他们得出结论，使用定制的GenAI工具可以通过培养元认知技能来支持学习，并帮助学习者撰写更有结构的反思性文本。虽然这只是单一研究，但在健康专业教育中具有广泛的可扩展性和实用性，未来的研究可以探索这些定制工具，而不仅仅是这里回顾的免费工具。

另一种方法可能是调整反思的评估方式。正如本综述中的一些文章所建议的，一个解决方案可能是引入有指导的讨论，无论是与导师还是小组进行。讨论可以促使学习者通过大声思考更深入地反思他们的经历。即使学习者使用GenAI来创建他们的反思，与他人讨论也需要他们反思GenAI的输出。然而，这种方法可能需要大量的资源。

这项综述和我们的结论存在多个局限性。也许最引人注目的是，许多研究没有指定使用的ChatGPT版本或使用日期。这一点尤为重要，因为现在驱动ChatGPT的大型语言模型比之前使用的模型更为先进 [Citation11,Citation15]。大多数研究使用的样本量也较小，而且不清楚评分者在评分时是否不知情。通过方便抽样产生的抽样偏差可能会影响结果，而社会期望偏差往往没有被承认。小样本量可能会影响结果的普遍性。缺乏与对照组的比较限制了推断因果关系和控制混杂变量的能力。我们还包括了一些没有实证数据的专家意见评论型文章，但鉴于GenAI发展的速度和规模，以及同行评审的缓慢速度，使得原始研究很快就会过时，作者认为包括专家意见是重要的。一套教育基准协议将极大地帮助该领域 [Citation58]。

结论

似乎很难将异步反思写作作为有效的总结性评估来证明其合理性。像ChatGPT这样的GenAI聊天机器人可以写出高学术标准的反思性写作，这些写作很难被人类和软件识别出来，健康专业的学生和临床医生正在为此目的使用它。这削弱了反思带来的任何学习效果，意味着无法通过书面反思以任何可靠或有效的方式认证学习。在短期内，面对面的反思写作评估可能是一个可行的替代方案，而未来的研究可以稳健地测试GenAI是否能够在保护学习和尊重伦理及隐私问题的同时，有意义地支持反思过程。