《Prevention Science》:A Research-Practice Partnership to Scale Positive Behavior Support: Data-Based Decision-Making to Inform the Assessment of Implementation Fidelity
编辑推荐:
研究-实践伙伴关系(RPPs)在基于学校的预防性干预和项目的实施与推广中可发挥关键作用。一个名为PBIS Maryland的RPP已与马里兰州公立学校合作实施学校范围积极行为干预与支持(SW-PBIS)超过20年。为追踪全州范围内的实施情况并为推广提供信息,创
研究-实践伙伴关系(RPPs)在基于学校的预防性干预和项目的实施与推广中可发挥关键作用。一个名为PBIS Maryland的RPP已与马里兰州公立学校合作实施学校范围积极行为干预与支持(SW-PBIS)超过20年。为追踪全州范围内的实施情况并为推广提供信息,创建了一个保真度数据系统。随着时间的推移,合作伙伴调整了保真度测量方法,以应对不同的优先事项和新出现的需求。本研究作为一个案例,展示了伙伴关系如何利用数据应对具有挑战性的实施问题,并基于数据做出决策以改进保真度监测过程中的质量。为回应实践者简化全州保真度测量的兴趣,研究人员聚焦于两种实施保真度工具——分层保真度清单(TFI)和实施阶段清单(IPI)——的测量独特性和实践意义。研究人员识别了这些测量在概念上的独特和重叠方面。然后,研究人员检验了达到推荐阈值分数(即TFI的70%和83.3%;Algozzine等人,2014;IPI的80%;Bradshaw等人,2009a)与学生学业(即英语、数学)和行为(即停学、逃学)结果之间的关联程度。研究人员分析了来自全部24个服务多样化学生群体的学区中335所学校(n=219所小学,n=80所初中,n=36所高中)的2019年春季TFI数据,以及588所学校(n=390所小学,n=132所初中,n=66所高中)的2019年春季IPI数据。在各学段中,大多数学校达到了推荐的TFI 70%分数和IPI 80%分数。TFI与较低的逃学率相关,而IPI与数学成绩的改善相关。研究人员按(小学、初中、高中)学段分别呈现了结果。这些发现突显了RPP如何利用数据,在全州范围内推广PBIS(Positive Behavioral Interventions and Supports)的过程中,满足与实施追踪质量改进相关的实践需求。
研究-实践伙伴关系(RPP)在推动学校预防性干预实施与推广中扮演关键角色,但长期合作中面临工具繁复与数据整合的挑战。PBIS Maryland这一RPP已运行20余年,专注于学校范围积极行为干预与支持(SW-PBIS)的州级推广。实践中,学区伙伴希望简化保真度测量工具以减轻学校负担,但研究人员担忧单一工具可能丢失关键信息。为此,双方通过RPP共同提出研究问题,旨在评估两种工具——分层保真度清单(TFI)和实施阶段清单(IPI)——的独特价值与重叠性,并基于数据指导保真度监测的改进决策。该研究发表在《Prevention Science》。
研究人员采用内容交叉比对法,将TFI和IPI的条目与量表逐项对照,识别独特与重叠的构建。样本来自马里兰州全部24个学区,纳入2019年春季数据:TFI组335所学校(219所小学、80所初中、36所高中),IPI组588所学校(390所小学、132所初中、66所高中)。统计分析包括描述性统计计算各工具达到推荐阈值(TFI 70%和83.3%,IPI 80%)的学校比例,以及线性回归检验阈值达标与学业(英语、数学)及行为(停学、逃学)结果的关联,并控制学校层面人口学变量(如学生-教师比、免费/减价餐比例、特殊教育比例等)。缺失数据采用全信息最大似然法(FIML)处理,多重比较采用Benjamini-Hochberg校正。
**研究结果**
**研究问题1:内容比较**
TFI和IPI在评估SW-PBIS实施保真度上既有重叠也存在独特构建。两者均评估准备行动(如组建团队、设定会议频率)和实施特征(如培训员工、家长参与、制定教学期望、收集数据并用于决策)。TFI独特且更深入地评估了五个方面:团队组成与专长、利益相关者反馈、家庭参与、团队会议频率与目的、以及学术与社会期望的明确性。IPI独特之处包括:对SW-PBIS的投资(即学区与员工支持)、培训基础设施(如教练参与培训会议),以及数据系统基础设施的建立过程。
**研究问题2:达到指定阈值的学校比例**
大部分学校达到推荐阈值:TFI 70%阈值达标率为87%(n=292),TFI 83.3%阈值达标率为70%(n=234),IPI 80%阈值达标率为75%(n=442)。按学段分析,小学和初中达标率较高,高中较低(如TFI 70%:小学89%,初中86%,高中78%;IPI 80%:小学78%,初中72%,高中64%;TFI 83.3%:小学75%,初中66%,高中44%)。同时完成两种工具的学校中,82%同时达到TFI 70%和IPI 80%阈值;使用更严格TFI阈值时,68%同时达标。
**研究问题3:保真度阈值与学生结果的关联**
- **英语熟练度**:达到TFI 70%阈值与英语成绩无显著关联;达到TFI 83.3%阈值与总体(β=3.002,p=0.008)及小学(β=3.507,p=0.010)的更高英语熟练度显著相关。IPI 80%阈值与英语成绩无显著关联。
- **数学熟练度**:达到IPI 80%阈值与总体数学成绩提高显著相关(β=3.624,p=0.005,校正后p=0.020),但初中水平仅在未校正时显著。达到TFI 70%阈值与小学数学成绩显著相关(β=6.844,p=0.003,校正后p=0.006);TFI 83.3%阈值与总体及小学数学成绩显著相关。
- **停学率**:总体而言,TFI/IPI阈值与停学率无显著关联,但TFI 70%阈值在小学与较低停学率相关(β=-3.363,p=0.001),在高中与较高停学率相关(β=7.763,p=0.012);此效应在TFI 83.3%阈值时消失。IPI 80%阈值与初中停学率升高相关(仅未校正时显著)。
- **逃学率**:达到TFI 70%阈值与总体逃学率降低显著相关(β=-1.247,p=0.006,校正后p=0.024);TFI 83.3%阈值同样显著(β=-0.845,p=0.012)。IPI与逃学率无显著关联。
**讨论与结论**
讨论指出,内容分析表明TFI和IPI并非冗余,各有独特优势:TFI侧重团队、利益相关者反馈与家庭参与;IPI侧重学区与员工支持、培训基础设施及数据系统建立。定量分析显示,两种工具对学业与行为结果的预测模式不同,且存在学段特异性。例如,TFI与更多结果关联,但初中段可能更适合IPI;IPI数据覆盖更完整,降低了选择偏倚风险。鉴于IPI长达20年的历史数据积累,以及先前研究证实其与结果关联,研究建议继续使用两种工具,或修订其中一种以涵盖另一方独特内容。目前马里兰州学校仍同时使用TFI和IPI。结论强调,该RPP通过数据驱动决策,回应了实践中的质量改进需求,为实施保真度监测提供了基于证据的指导。