通过生命科学实践共同体培养评估中的持久变革

《Biochemistry and Molecular Biology Education》：Cultivating Enduring Changes in Assessment Through a Life Sciences Community of Practice

　　

为了向教师提供与个人相关、基于学科训练的评估培训，生物化学与分子生物学学习评估共同体（Community for the Assessment of Biochemistry and Molecular Biology Learning, CABL）于2020年7月至2024年1月开展了一系列共六场以参与者为中心的工作坊。工作坊的关键特征包括强调反向设计（backward design）、同伴编辑（peer editing），以及使用参与者生成的问题和评分量规（rubrics）作为教学工具。其中五场工作坊聚焦总结性评估（summative assessment），一场聚焦替代性评估（alternative assessment）；前一半以线上形式提供，后一半以线下形式开展。共有110位独特的科学家-教育者（scientist-educators）参与。为了调查CABL工作坊在促进评估态度与实践变革方面的有效性，参与者在每场工作坊结束时填写了离场调查（Exit Survey），并在2024年春季回答了一次追踪调查（Follow-Up Survey）。在48名追踪调查受访者中，有6名参加了焦点小组（Focus Groups）。离场调查的回应表明，参与者对工作坊的结构和内容高度满意，并认为工作坊对评估知识产生了即时正面影响。追踪调查揭示了持久影响：60%的受访者报告修订了其整体评估方法，近三分之一的受访者描述了为实施包容性教学实践而采取的具体行动。焦点小组成员指出，变革性改变既可通过采用最佳实践实现，也可通过向其专业网络传播知识实现。综合而言，这些发现表明，以参与者为中心的CABL工作坊在相当一部分参与者中催化了评估视角和自报实践的变革。

论文解读：通过生命科学实践共同体培养评估中的持久变革

该论文发表于《Biochemistry and Molecular Biology Education》。研究背景方面，教学与学习存在于教学选择与评估的动态伙伴关系中。过去三十年，主动学习等循证教学法渐成主流，但许多评估工具仍停留在20世纪形态。可靠、有洞察力的评估对于衡量学生达成的学习目标和教师评价教学效能至关重要，学生也依赖评估反馈引导学习。然而在STEM领域，基于研究的教学实践的实施程度高于循证评估。评估实践滞后源于多种原因：工作量大、大班教学促使追求便捷；不同教师或学期沿用相同工具以求一致；担心改变评估会损害历史标准；以及教师普遍缺乏有效评估技术的培训。已有研究表明，参与教学型专业发展与减少讲授时间和使用研究型评估正相关；以教师为中心的系统性改革（Teacher-Centered Systemic Reform, TCSR）模型强调关注教师是实现持续教育变革的关键。美国科学促进会的报告也指出，实践共同体（community of practice）提供的同行互动与支持是改善STEM教育的高影响机制。生物化学与分子生物学学习评估共同体（CABL）正是基于这一需求而建立：美国生物化学与分子生物学学会（American Society for Biochemistry and Molecular Biology, ASBMB）国家考试志愿者在命题和评分中观察到评估专业发展需求，并获得美国国家科学基金会（National Science Foundation, NSF）资助开展系列工作坊。研究人员利用来自六场工作坊（2020年7月至2024年1月）的110位独特参与者数据，采用混合方法（离场调查、追踪调查、焦点小组）探究以参与者为中心的系列工作坊是否催化了评估视角与实践的即时和持久变化。研究发现，工作坊在相当一部分参与者中产生了积极且持久的变革，表明该模式对评估专业发展具有重要推广意义。

研究主要采用以下关键技术方法：对六场工作坊的110位独特科学家-教育者（来自美国不同地区、多种机构类型，71%隶属少数族裔服务机构）在每场结束时收集离场调查（Likert题+自由回答）；于2024年春对所有参与者发放追踪调查，并从中招募6人参加半结构化焦点小组。定量数据将Likert回答重新编码，采用Wilcoxon符号秩检验或配对t检验；定性数据按Salda?a方法进行归纳主题编码，并由多名研究者协商至共识。

研究结果如下。

3.1 离场调查：参与者报告工作坊带来知识与技能的即时变化。该部分基于2022年1月至2024年1月五场工作坊的84份离场调查。结果显示，参与者自评的反向设计能力从工作坊前的3.06升至工作坊后的4.20，评分量规撰写能力从2.83升至3.93，差异均有统计学意义（p < 0.0001）。99%的受访者认为工作坊与自身职业目标相关，88%认为工作坊提升了其阐述与ASBMB基础概念一致的学习目标的能力，98%认为提升了撰写与学习目标一致的可测量绩效标准的评分量规的能力。自由回答的主题分析也支持工作坊活动与反向设计尤为有益。

3.2 纵向追踪调查：参与者报告CABL工作坊带来的持久实施变化。该部分基于48份追踪调查回应。就“新知识/技能的实施”而言，总体平均分为4.10（1=“完全没有”，5=“非常多”）；约60%的受访者报告修订了整体评估方法，约三分之一提到使用更有针对性的学生学习测量手段，近三分之一报告更多使用反向设计，其中10%特别提到纳入评分量规；还有多位参与者向同事传播了所学内容。就“包容性教学实践的实施”而言，总体平均分为3.90，相对较低；研究人员认为原因可能包括参与者未必将清晰化评估视为包容性实践，而替代性评估本身具有灵活性因而更易被识别为包容性。数据显示，唯一一场替代性评估工作坊在此项得分最高（4.31），且参加多场工作坊的参与者得分最高，分别为5.00和4.57。

3.3 焦点小组：参与者详细阐述教学改进动机与持久变化。该部分基于6名焦点小组成员的半结构化访谈。半数参与者将提升教学专长或寻求职业转型培训作为参与动机；大多数参与者表示工作坊改变了其教学与评估方式；6人全部报告获得评估新视角；5人报告实施了新评估实践并感知学生表现改善；3人特别指出反向设计对评估与教学实践具有变革性意义。还有参与者表示自己成为反向设计的“传播者”。

讨论部分归纳出参与者特别看重的四个要素：一是学科特定聚焦，二是围绕有形产品（学习目标与对应评估）创建工作坊内容，三是同伴评审的价值，四是形式与日程安排的灵活性。研究还指出线上与线下形式各有优势与局限，多种形式与日程可扩大参与机会；参加多场工作坊能强化变革效果。

研究结论部分可翻译为：本研究使用的自我报告存在固有局限；未来可通过纵向检查已实施的评估、其他教学材料与实践，进一步阐明对教师和学生的具体结果。尽管如此，本研究多种数据收集方法的总体积极回应——代表了大型、中型和小型机构以及不同研究活动水平的教师观点——表明CABL方法具有广泛适用性。研究人员总结，以参与者设计的内容为中心、促进同伴互动并有意回应参与者反馈，有助于确保教师在每场工作坊中找到个人相关性、与更广泛的学科共同体建立联系，并带走适合其自身课程和机构背景的工具。综合数据集支持以下观点：CABL系列的上述特征建立了参与者参与循证评估的能力，并超越了工作坊本身。值得注意的是，110位独特参与者中有33位（近三分之一）自己成为工作坊主办者和领导者。因此，这种以教师为中心的方法在赋权个人于区域和国家层面催化评估活动变革方面也显示出前景。