教育创新中的务实评价：珍视早期证据，强化后续发展——医学教育特刊社论 Pragmatic Evaluation in Educational Innovation: Valuing Early Evidence, Strengthening What Comes Next

《Journal of General Internal Medicine》：Pragmatic Evaluation in Educational Innovation: Valuing Early Evidence, Strengthening What Comes Next

　　

在整个医学教育领域，一些最重要的教育创新并非在理想的研究条件下产生，而是为了应对紧迫的课程、临床和社会需求而发展起来的。这些创新在真实环境中实施，受到小规模学习者群体、不断演进的课程、有限的时间和相互竞争的需求等因素影响。在这些情境下，评价方法往往必须具有务实性（pragmatic）。本论文集中的文章表明，务实并不等同于方法学上不充分或不足。相反，当评价策略与创新目标精心匹配时，它们能够提供有意义的早期证据，并引导该领域走向更强大的未来研究。

在《为内科住院医师启动州强制堕胎护理等待期提供即时培训》一文中，研究人员旨在创建旨在减少堕胎护理障碍的培训。其干预措施包括简短、以工作流程为重点的培训，以帮助内科住院医师启动州强制堕胎护理等待期。通过将堕胎法律教学与电子病历（EMR）智能短语（smart phrase）清单相结合，该创新旨在提高学习者在真实临床环境中应用这一流程的能力。在评估方面，研究人员将嵌入式知识问题和结构化参与者反馈与跨轮次的迭代改进相结合，并通过检查电子病历智能短语的使用情况作为探索性的采用信号，将评价扩展到即时学习之外。这种分层方法值得注意，因为它与干预措施在真实临床环境中实现工作流程采用的目标紧密一致，而不仅仅是知识获取。尽管结果仍属早期和间接，但该研究展示了如何在一个务实评价设计中同时捕捉可行性、即时学习、迭代改进和初步实施。重要的是，这些措施也代表了朝向对患者重要的结局迈出的早期步骤。

在《建设肥胖医学队伍：在医疗服务不足环境中实施综合性住院医师培训路径》一文中，研究人员为内科住院医师开发了一条纵向、体验式的肥胖医学培训路径，提供足够的培训以使其有资格参加肥胖医学委员会考试。本文通过开发纵向路径，在医疗服务不足环境中建设肥胖医学队伍，填补了内科培训的空白。住院医师参与异步学习、监督下的连续性门诊体验以及旨在支持未来肥胖医学认证的专业发展。研究人员在其创新中面临了一个不同但熟悉的挑战：在小型住院医师队列中评价一个纵向项目。其使用前后调查来评估感知信心、实践模式和对未来肥胖医学认证的兴趣，这与干预措施的发展目标适当匹配。对于一个旨在医疗服务欠发达领域建设队伍能力的路径而言，自我报告的准备情况和未来认证承诺等早期结果并非微不足道。它们是从教育通向未来实践的合理标记。尽管这些措施无法确立患者层面的影响，但它们确实提供了一种务实且符合情境的方式，以评估创新是否正在推动学习者朝向其设计所支持的角色发展。

在第三个例子《警觉且定向：将基于病例的推理教学法转化为面向早期学习者的开放获取播客》一文中，研究人员开发了一个以学生为主导、基于病例的临床推理播客，用于临床见习。通过将既定的推理教学法转化为播客形式，研究人员旨在扩大早期学习者获得临床推理教学的机会，并降低获取障碍。评价没有首先关注下游学习结局，而是适当地考察了创新是否被使用和参与，将听众分析作为教育接受的早期指标。文章强调了通过受众覆盖范围、下载量和听众参与指标来评价数字教育创新的可能性。对于开放获取教育工具而言，覆盖范围和使用率不仅仅是次要关注点，而是创新是否被使用的基础指标。这篇文章展示了分析数据和其他追踪数据作为以传播为导向的教育工作中务实评价工具的价值。同时，文章也说明了播客和数字媒体领域的重要下一步，即将参与指标与学习、实践变化或其他下游结局联系起来。

综合来看，这些文章表明，务实评价方法的力量不在于任何一种单一方法，而在于方法与目的之间的匹配。堕胎护理文章对以实施为重点的干预采用了分层过程和采用措施。肥胖路径文章使用前后自我报告措施和认证意向来评估小型队列中的队伍发展创新。播客文章使用数字参与指标来评估以传播为导向的教育工具。这些方法中没有任何一种足以回答所有问题，但每一种都非常适合其旨在研究的创新。

更广泛的医学教育界在教育评价方面有重要的工作要做。对务实评价最富有成效的回应不是长篇赘述熟悉的局限性。我们已经知道，自我报告结局、短期随访、小样本和间接行为措施存在解释上的限制。更重要的问题是如何构建一种务实评价方法，使其既实用又具有学术性。跨创新研究的一个反复出现的差距是，数据收集方法往往比指导这些方法的评价方法或概念逻辑被描述得更清晰。调查、反馈表、分析和使用数据解释了信息是如何收集的，但并不总能解释为什么选择这些结局、它们如何与项目目标保持一致，或它们旨在支持何种结论。务实不应意味着无理论或未经计划的评价。教育学术长期以来一直强调将课程目标与有意义的结局相匹配，以及选择适合所研究学习或表现水平的评估方法的重要性。从一开始就进行更清晰的评价规划将加强创新学术，而不要求每项研究都达到后期研究的标准。

更清晰地使用评价框架可以在不牺牲实用性的前提下加强教育工作。概念锚点如可行性和实施性构念、发展性项目评价、Miller金字塔或Glassick标准，可以帮助作者定位其创新、证明结局选择的合理性，并阐明正在进行的是哪个阶段的评价。务实不应意味着无理论的评价。即使在早期、受情境约束的创新中，明确的评价逻辑也可以提高透明度、支持解释，并帮助读者理解一项研究应如何引导下一项研究。现有的评价指南和工具包可以帮助教育创新者从一开始就纳入更清晰的评价规划。这些资源可以通过强化创新者不需要成为评价专家也能设计具有更强概念和方法基础的研究，来降低认真评价的门槛。

对创新评价的发展性视角可能尤其有用。不应期望所有教育创新都以观察到的行为改变或患者结局为起点。许多创新合理地首先询问干预是否可行、可接受和可用。从那里，研究可以转向短期学习、采用或早期行为改变、持续实施，并最终达到系统层面或患者层面的结局。在这种模式下，务实评价不是一种次要的学术形式；它往往是证据构建的第一阶段。挑战在于使这一轨迹具有意向性。

对于学者和教育工作者，可以采取以下几个务实步骤。首先，明确陈述主要教育目标。其次，选择与目标及创新发展阶段相匹配的结局。第三，确定指导解释的评价框架或概念方法，而不仅仅是数据收集方法。第四，明确证据能支持什么、不能支持什么。最后，只要可能，前瞻性地规划下一个评价阶段，无论是将调查嵌入项目交付以提高应答率、延长随访、跨队列或机构汇总数据、增加观察或中间行为结局，还是将数字或电子工作流程指标与学习者或实践层面的变化联系起来。

期刊、编辑和审稿人也有其角色。当创新研究的目的是记录早期可行性、采用或概念验证时，不应将其与成熟、后期阶段的原始研究置于同等期望之下。但务实不应排除规划。教育创新将通过从一开始就更加明确的评价性预见而得到加强，并仔细关注项目目标、结局和方法之间的匹配。通过这种方式，该领域可以重视早期证据，而不止于描述性的热情。

归根结底，教育创新的目标不仅在于提高学习者的信心或满意度，而且要改善临床实践和患者护理。务实评价方法往往是这条路径上的早期一步。本文所呈现的文章表明，在现实世界约束下发展起来的教育创新仍然可以得到深思熟虑且富有成效的研究。研究人员群体作为共同体的任务是支持这项工作，仔细解读它，并随着时间推移加强它，使早期教育信号能够成熟为更有力的证据，并最终转化为更好的医疗照护。

**论文解读：教育创新中的务实评价——证据层次、方法对齐与发展性路径**

**一、研究背景与问题**

医学教育领域中许多重要的教育创新并非产生于受控的理想研究环境，而是源于紧迫的课程需求、临床情境与社会责任。这类创新通常在真实教育环境中实施，受制于学习者规模小、课程持续演进、时间有限以及多方需求竞争等现实约束。在此背景下，传统上被视为“金标准”的实验性或准实验性评价方法往往难以适用。务实评价（pragmatic evaluation）因而成为创新研究中的现实选择。然而，务实评价长期面临一个认知误区——它常被等同于方法学上的妥协或低质量研究。本特刊所收录的三篇论文共同回应了这一误区：务实评价并非低标准研究，其价值在于评价策略与创新目标之间的结构匹配。通过精心设计的评价方案，即便在资源受限的真实情境中，仍可获得有意义的早期证据，并为后续更强有力的研究奠定基础。本文围绕三个教育创新案例，分析其评价策略如何与创新目标对齐，进而提出发展性评价框架（developmental evaluation framework）作为加强创新学术的可行路径。

**二、研究人员开展的研究与总体结论**

本社论对三篇教育创新研究进行了批判性分析与整合，分别涉及即时培训、队伍建设和数字教育传播三个领域。三项研究均采用与其创新性质相匹配的务实评价策略：第一项研究以分层过程和采用指标评价一项以工作流程采纳为目标的临床培训干预；第二项研究以自陈式前后测量和认证意向评价一项面向小型队列的队伍发展项目；第三项研究以数字参与度指标评价一项以传播为导向的开放获取教育工具。三项研究均未声称已证实患者层面或下游临床结局，但其共同价值在于证明了务实评价可以在真实约束下捕获可行性、学习、采纳与实施等早期证据。综合结论是：务实评价方法的价值不在于任何一种单一方法，而在于研究方法与创新目标之间的对齐。这种对齐本身就是学术严谨性的体现。

**三、关键技术与方法概述**

三篇研究分别采用了适当且非实验性的评价方法，均未涉及实验对照设计。第一篇研究结合了嵌入式知识问题与结构化参与者反馈，并对干预措施进行跨轮次迭代改进，同时利用电子病历（EMR）中的智能短语（smart phrase）使用记录作为探索性的采用行为追踪信号，样本为参与培训的内科住院医师群体。第二篇研究采用前测/后测问卷调查（pre-/post survey design），评估住院医师自我报告的感知信心、实践模式及未来认证兴趣，样本来自一个医疗服务不足环境中的小型住院医师队列，并涉及纵向培训路径。第三篇研究依托播客平台的后端分析数据，使用听众覆盖范围、下载量和参与度指标作为教育接受（educational uptake）的替代性证据，样本来源为开放获取播客的匿名听众群体，未涉及具体队列。

**四、研究结果分述**

**（一）即时培训与工作流程采纳的务实评价——“Just in Time Training for Internal Medicine Residents to Initiate State-Mandated Waiting Periods for Abortion Care”**

该研究以缩短堕胎护理障碍为目标，开发了一套简短、聚焦工作流程的即时培训（just-in-time training），旨在帮助内科住院医师启动州法规定的堕胎护理等待期。干预结合了关于堕胎法律的教学内容与电子病历（EMR）智能短语清单。评价策略采用嵌入知识问题、结构化参与者反馈和跨轮次迭代改进，并进一步利用电子病历智能短语使用频率作为探索性采纳信号。该分层评价方法的重要特点在于：它不局限于知识获取，而同时追踪真实临床环境中的工作流程采纳行为。研究显示，可行性（feasibility）、即时学习、迭代优化和初期实施证据可以在单一务实评价设计中同时获得；尽管这些证据仍属早期且间接，但代表了朝向患者相关结局迈进的早期步骤。

**（二）队伍建设的纵向路径评价——“Building an Obesity Medicine Workforce: Implementation of a Comprehensive Resident Training Pathway in an Underserved Care Environment”**

该研究针对内科培训中缺乏肥胖医学教育路径的空白，开发了一个纵向、体验式的肥胖医学培训路径，目标在于使住院医师获得足够的培训以参加肥胖医学委员会考试。路径包含异步学习、督导下连续性门诊体验和支持未来认证的专业发展活动。在该小型住院医师队列情境中，研究人员面临一个独特挑战：如何评价一个为期较长的纵向项目。其采用前后调查问卷评估自我报告的感知信心、实践模式和未来认证兴趣，这与该干预的发展性目标相匹配。研究结论指出，在医疗服务不足的亚专科领域，自我报告的准备状态和未来认证承诺是连接教育与未来实践路径上的合理标记。这些测量虽不能建立患者层面效应，但为判断项目是否将学习者引向预期角色提供了一种务实且情境适当的手段。

**（三）数字教育工具的传播评价——“Alert and Oriented: Translating Vignette-Based Reasoning Pedagogy into an Open Access Podcast for Early Learners”**

该研究开发了一个由学生主导、基于病例报告（vignette-based）的临床推理播客，面向在临床见习轮转中的早期学习者。研究将既有临床推理教学法转化为播客格式，以扩大教学覆盖面并降低获取障碍。评价策略以教学工具的接受度和使用情况为首要指标，利用听众分析数据（包括受众覆盖范围、下载量和听众参与度指标）作为教育接受的早期信号。研究显示，对开放获取教育工具而言，覆盖范围和受众参与并非次要问题，而是工具是否被使用的根本性指标。该研究同时揭示了数字教育媒体评价的重要下一步：将收听参与数据与学习成效、行为转变或下游结局相连接。其更大意义在于表明，传播数据分析是传播导向型教育创新中一种可用的务实评价工具。

**五、总结与结论**

本社论的核心讨论围绕评价方法的可解释性与发展性展开。研究人员指出，当前创新研究中一个反复出现的问题是：数据收集手段（如调查、反馈表、分析数据等）常被细致说明，但支撑数据收集的评价设计逻辑——即为何选择这些结局、这些结局如何反映项目目标、結論的适用范围——往往未被清晰界定。务实不应等同于无计划或去理论化评价。借鉴定性评价框架，如可行性/实施性构念（feasibility and implementation constructs）、发展性项目评价、Miller金字塔（Miller’s pyramid）和Glassick标准（Glassick’s criteria），可为创新研究者提供概念锚定，使其能够明确研究所处的证据阶段，并为后续研究衔接提供逻辑基础。研究人员进一步提出，应采用发展性视角看待教育创新评价：创新不必一开始就诉诸行为改变或患者层面结局，而可以依序经过可行性、短期学习、采纳、持续性实施直至系统结局的阶段链条。在该视角下，务实评价并非较低层级的学术产品，而是证据构建过程中不可替代的首个阶段。对研究者自身，研究人员提出五条操作性建议：明确核心教育目标；选择与目标和发展阶段匹配的结局；阐明指导解释的评价框架；说明证据所能与不能支持的结论；前瞻性规划下一阶段评价。对期刊和审稿人而言，创新研究不应以成熟期原始研究的标准加以衡量，但亦不应因阶段早期而豁免清晰评价设计之责任。结论翻译如下：“归根结底，教育创新的目标不仅在于提升学习者的信心或满意度，更在于改善临床实践与患者照护。务实评价经常是通往这一目标的早期步骤。本特辑所呈现的文章证明，在真实世界限制条件下发展的教育创新仍可被深思熟虑地加以研究。我们作为共同体的任务在于支持此类研究、审慎解读，并随时间推移加以强化，使早期教育信号得以成长为更坚实的证据，并最终转化为更优质的医疗服务。”