《Palliative Care and Social Practice》：How should we evaluate the impact and implementation of palliative care education programs? The Pallium Canada experience
编辑推荐：
摘要
在姑息关怀教育项目的开发、实施和持续维护中投入了大量精力和资源，这使得评估成为这些项目的重要组成部分。现有的多种评估框架、模型和方法可供姑息关怀教育工作者参考，为其评估及相关研究活动提供依据。本文描述了为加拿大Pallium教育项目开发实用评估框架的过程
摘要
在姑息关怀教育项目的开发、实施和持续维护中投入了大量精力和资源，这使得评估成为这些项目的重要组成部分。现有的多种评估框架、模型和方法可供姑息关怀教育工作者参考，为其评估及相关研究活动提供依据。本文描述了为加拿大Pallium教育项目开发实用评估框架的过程。其目标并非对评估框架再进行一次全面综述（此前已有若干综述），而是确定一种切实可行、适合特定用途的评估方法，能够快速应用于Pallium Canada不断扩展的教育项目中。研究人员采用了一种多阶段、多管齐下的方法，包括环境扫描以及来自国内外教育和评估专家小组的意见。研究识别出教育评估领域的若干趋势，包括：a) 需要评估超越学习者反馈和能力习得之外的影响；b) 需要将实施评估与影响和结果评估并行开展；c) 需要从复杂性视角进行教育评估。研究共筛选出21个框架（包括模型和方法），并将其根据关注重点分为四类：a) 影响评估；b) 实施评估；c) 经济评估；d) 组合评估。此外，实用性原则、质量改进和变革理论等若干概念可作为评估的有用视角。最终框架整合了两个主要框架，即新世界柯克帕特里克模型（New World Kirkpatrick Model, NWKM）和实施研究整合框架（Consolidated Framework for Implementation Research, CFIR），并从其他框架和方法中汲取了部分要素。
**论文解读：Pallium Canada姑息关怀教育项目评估框架的开发与应用**
**一、研究背景与问题**
姑息关怀教育的开展贯穿医学教育的全周期——从本科及研究生培训到继续职业发展（continuing professional development, CPD）——被视为改善姑息关怀可及性的主要策略之一。然而，教育项目的开发、实施和持续维护需要投入大量的人力与财政资源，使得评估成为这些项目中不可或缺的组成部分。评估具有多项总体目标，包括指导项目的持续改进和确定其影响力。除了理解对学习者、患者和医疗系统的影响外，评估还应识别和理解实施、可持续性、推广和规模化的促进因素与障碍。
尽管可供教育工作者使用的评估框架、模型和方法为数众多，但这一日益增长的数量也给教育工作者带来了挑战——他们需要从众多选项中识别出最适用于各自项目的框架。Pallium Canada是一个于2001年成立的注册基金会和慈善组织，主要通过其“姑息关怀核心方法学习课程”（Learning Essential Approaches to Palliative Care, LEAP）以及2021年至2025年间基于“社区医疗结果拓展”（Extension for Community Healthcare Outcomes, ECHO）模式的新项目，在不同专业、照护环境和疾病群体中建设初级姑息关怀能力。长期以来，Pallium Canada虽已使用过多种评估方法，但绝大多数评估聚焦于柯克帕特里克模型的第一、二级水平（即学习者满意度和知识、态度、舒适度及变革承诺的影响），对第三级（患者照护）和第四级（医疗系统影响）的影响信号虽有记录但缺乏系统研究。2019年底，Pallium Canada决定重新审视其评估方法，以应对快速扩展的教育项目和日益复杂的医疗环境需求。
**二、研究开展与主要结论**
本研究旨在开发一个切实可行、适合特定用途的评估框架，可快速应用于Pallium Canada不断扩展的各类教育项目。研究采用了一种多阶段、多管齐下的方法——即专家知情的框架开发过程，包含四个阶段：1）准备与环境扫描（Environmental Scan, ES）；2）早期原型开发；3）专家咨询；4）基于共识的最终框架开发。环境扫描涵盖了对文献的叙述性回顾、核心团队成员经验和隐性知识的分享，以及国内外教育和评估专家小组（n=15）的咨询与共识构建。
研究识别出教育评估领域的若干重要趋势：a) 在纳入学习者体验和能力习得之外，还需评估对患者和医疗系统的影响；b) 越来越需要评估过程、实施、推广和规模化（而不仅仅是对学习者、患者和医疗系统的影响）；c) 应从复杂性视角看待教育评估，教育干预通常在复杂系统内运作，单一的评估框架未必适用于其他情境或需求。
研究筛选出21个评估框架、模型和方法，按关注重点分为四类：A）影响评估（包括Miller三角、Moore模型、柯克帕特里克模型及其多种修编版本、新世界柯克帕特里克模型等）；B）实施评估（包括实施研究整合框架、发展性评估、主动实施框架、RE-AIM框架等）；C）经济评估（卫生技术评估）；D）组合评估（包括NWKM、医学研究委员会框架、现实主义者模型、贡献分析、逻辑框架、3-Wishes项目评估框架等）。此外，研究还确定了若干可作为评估"透镜"的方法和理念，包括质量改进及三重/四重目标、实用主义范式、社会网络分析、变革理论、参与式行动研究等。
最终框架整合了两个主要框架——新世界柯克帕特里克模型（用于指导影响/结果评估）和实施研究整合框架（用于指导实施评估），并从其他框架和方法中汲取了部分要素：将Moore框架中的"覆盖范围"纳入第1级，采用Hammick等人提出的跨专业学习评估要素，将Phillips的经济评估构念整合到第4级，并采纳四重目标和3-Wishes项目中关于价值、可转移性和可持续性的概念作为第4级的领先指标和期望结果。该框架已在Pallium Canada的多项研究中得到应用，包括LEAP医院培训对住院医师行为影响的评估、LEAP长期照护培训在护理院中实施方面的探索，以及ECHO项目的大型国家评估计划。
**三、主要技术与方法**
研究人员采用了多管齐下的框架开发路径，具体包括：1）环境扫描法——通过叙述性文献回顾和核心团队的经验分享，捕捉教育评估领域的新兴趋势和专家隐性知识；2）多阶段专家咨询与迭代共识构建——核心团队（n=6）与扩展专家组（n=15，包括加拿大及国际健康职业教育者、研究者、实施科学专家和姑息关怀教育者）通过三次虚拟会议和异步讨论，对原型框架进行反复修改和完善；3）指导原则的制定——确保框架与Pallium Canada的项目、使命、价值观和资助方报告要求保持一致。值得注意的是，该研究并非一项实证研究，而是以框架开发为导向的方法论研究，不涉及受试者或数据收集。样本和数据来源方面，研究过程中参考了Pallium Canada既往评估中使用的学习管理系统（Learning Management System, LMS）数据、标准化的前后调查问卷、变革承诺（commitment-to-change）方法以及研究电子数据采集（Research Electronic Data Capture, REDCap）平台所支撑的多源数据。
**四、研究结果**
**环境扫描与早期原型开发阶段的结果。**该阶段形成了六项指导原则，包括：对多元利益相关者有意义的关联性、借鉴专家认可的既有框架和方法、务实可行且在资源范围内可实现、灵活允许整合其他框架的要素、纳入认识复杂性（complexity）的框架、承认并建立在Pallium既往评估和研究基础上。
**专家共识构建阶段的结果。**专家参与产生了若干总体建议：Pallium Canada应尝试同时评估影响和实施（包括什么在何时、如何发挥作用，以及情境和过程）；评估LEAP和ECHO项目的影响与实施需要多种评估和研究活动（子研究）；评估和研究活动的实施主体可区分为内部、合作和第三方三类；与土著居民相关的活动应遵循拥有权、控制权、获取权和占有权（OCAP）原则，并采用参与式行动研究等方法。
**趋势识别结果。**研究识别出三大趋势：一是评估需超越学习者的反馈和能力习得——对患者、医疗系统和投资回报率（return on investment, ROI）的评估日益受到政策制定者、资助方和学术期刊的鼓励；二是评估需纳入过程、实施与推广——实施科学采用结构化和分阶段的方法来开发、复制和评估多种情境下的干预措施；三是评估需承认复杂性——教育干预通常由多个相互作用的部分组成，受到诸多内外部因素的影响，这呼唤更多基于现实主义的评估方法。
**框架的确定。**最终框架包含三个板块：第一个板块列出关键考量和总体方法；第二个板块描述与结果评估相关的优先构念（主要来源于NWKM）；第三个板块描述与实施评估相关的构念（主要来源于CFIR）。框架采用了"影响"与"实施"双轨并行的评估路径，两者可同时进行，但在特定阶段可以有所侧重。对于每个层级和构念，研究均确定了具体的研究问题、可能的研究方法和数据来源。
**框架的应用。**框架自2021年以来已应用于多项研究。在一项针对小型社区医院LEAP医院培训对住院医师（医院内作为全科医生工作的家庭医生）影响的研究中，研究人员访谈了未接受LEAP培训但与住院医师共事的护士和护士长，以探究培训后住院医师行为的改变及其对患者照护的影响。在对护理院LEAP长期照护培训的评估中，研究人员探索了实施相关方面。框架还被应用于Pallium Canada的ECHO项目评估计划中——该项目共开展了656场网络研讨会，累计有39,986人次参加，YouTube观看次数超过63,000次——该框架为不同的合作方提供了对项目评估方法的共识性理解。目前，框架正指导着一项与区域卫生系统网络的合作项目（该网络包含多家医院、长期照护机构和初级保健诊所），以及LEAP课程在西班牙多个地区的试点研究和一个大型社区学术医院网络的规模化劳动力培训项目。
**五、讨论与结论**
**讨论部分总结。**研究表明，教育工作者需要策略性地选择评估内容和框架，因为不可能评估所有方面。框架选择受评估目标、利益相关者和资助方要求、可用资源等多种因素影响。虽然灵活性和适应性在复杂环境中至关重要，但灵活性过度也可能损害既有方法的完整性和稳健性，并可能减少跨项目比较的机会。评估和研究结果的理解需要审慎——积极的学习者反馈不一定带来照护改善；缺乏影响可能反映的是实施失败而非干预设计缺陷；严格坚持方案可能不适切，需要根据本地情境进行调整；单一主要结局指标的识别可能无法充分利用数据，通常需要一系列衡量指标，包括非预期后果。此外，评估和研究活动是否需要研究伦理委员会（research ethics board, REB）审查和批准是需要考虑的问题，即使项目评估常归属于质量改进领域，通常也应获得伦理委员会批准或至少豁免。
**研究结论翻译。**姑息关怀教育工作者和研究人员可用的评估框架、模型和方法为数众多。研究人员开发了一种务实的选择流程，适用于在现实世界约束下运作的全国性姑息关怀教育组织，为其选择适合的评估框架。本文通过描述Pallium Canada的LEAP和ECHO教育项目的评估与研究计划，并分享为其提供依据的环境扫描结果，为姑息关怀教育工作者提供了开发其教育干预评估策略的洞见和方法。研究识别了评估科学的新兴趋势，并强调了评估各种影响构念、理解促进或阻碍实施与推广的情境和因素的必要性。
