John Hattie的Visible Learning综合质量评估：301项影响力的PICO一致性、可重复性与教育相关性

《Educational Research Review》：A comprehensive quality assessment of John Hattie’s Visible Learning

　　

- 在Visible Learning所评估的301项影响力中，仅18.6%满足全部四项PICO（Population, Intervention, Comparison, Outcome；人群、干预、比较、结局）标准。
- 301项影响力中仅2项可被完全复现（reproducibility）。
- 尽管23%的影响力具有高度相关性（relevance），但许多影响力对中小学教育的适用性有限。
- 该评估识别出影响所报告效应量（effect size）与因果主张（causal claims）解释的方法学与统计学问题。
- 研究结果对Visible Learning作为教育决策（educational decision-making）证据基础（evidence base）的可靠性提出担忧。

研究背景与目的：2009年John Hattie发布Visible Learning（可见的学习），将800项元分析汇总为138项可能影响学生成就的因素，并以Cohen’s d（标准化均值差）统一度量、按效应量（effect size）排序；至2021/2023年该数据集扩展至322项影响力、基于2400余项元分析。其“易理解”的证据概览在教育政策与实践中有广泛影响，被20余国使用，Google Scholar引用超过22,000次。但Visible Learning也持续受到方法学质疑：效应量脱离情境、影响力定义与纳入元分析不透明、排名不等同于教育影响、不同研究设计与人群被混合、质量差研究未排除、平均效应掩盖年龄/学科/能力差异等。既往批评多针对具体错误或个别影响力，缺乏对全部影响力的系统评估，因此无法判断问题是孤立还是系统性。André Kalmendal Bruns、Rickard Carlsson、Thomas Nordstr?m等因此在《Educational Research Review》发表研究，对Visible Learning的文献综述方法、编码质量、元分析结果可重复性及教育相关性进行穷尽、系统、预注册评估，以判断其能否作为教育决策证据基础。

主要技术方法（不超过250字）：研究采用预注册协议，以Corwin Visible Learning Plus数据库version 1.2中322项影响力为总体，检索到1375项元分析，其中646篇缺失、395项重复；在APA PsycInfo、ERIC、Web of Science、Google Scholar等数据库检索。第一作者阅读全部可得元分析，以12个二分问题编码PICO、研究设计、发表年份与发表类型；两位资深作者验证55.1%的影响力，评分者间一致性为86%与83%。相关性评估邀请5名教育研究者独立评分，ICC_2K = 0.60，95% CI [0.53, 0,67]。可重复性评估按随机顺序复现效应量、研究数、参与者数与效应数，直至失败；数据分析使用R及Shiny应用呈现。数据来源为Visible Learning全球研究数据库及检索到的元分析。

研究结果：共评估301项影响力（1375项元分析），21项未找到元分析。通过系统编码与复现，结果如下。
1. 纳入元分析的PICO与影响力定义的相关程度：仅18.6%（n=56）影响力通过全部PICO标准，24.6%（n=74）全部失败；干预型15.8%、暴露型23.4%通过全部标准。人口、干预/暴露、比较、结局分别53.2%、46.5%、40.9%、41.2%通过。常见问题包括错误人群、非元分析、干预/暴露不匹配、比较组为两种干预而非对照、结局混合动机/行为/IQ等。
2. RCT、QES与观察性研究的混合程度：仅1.3%影响力仅基于RCT（randomized controlled trials；随机对照试验），9.3%仅QES（quasi-experimental studies；准实验研究），24.6%仅观察性研究；35.9%混合RCT与QES，27.2%将RCT/QES与观察性研究混合，后者因果解释存疑。
3. 不同设计效应量的混合程度：29.6%仅组间设计，0.7%仅组内设计，17.6%仅相关研究；10.0%混合组间、组内与相关研究，16.9%混合组间与组内，23.6%混合组间/组内与相关研究，1.7%信息不足。结论为不同设计效应量常被不原则混合。
4. 发表年份跨度较大的元分析混合程度：约50%纳入元分析发表于2010年后，但各影响力分布不呈最新证据代表；即使存在更新元分析仍纳入旧元分析，技术类影响力多基于1980年代研究，导致结果保守或过时。
5. 发表类型：期刊文章76.2%、未发表学位论文13.7%、会议论文5.0%、报告2.4%、书籍/章节2.2%、其他0.5%；纳入灰色文献（grey literature）总体是方法学优势，但24项影响力仅汇总非同行评议材料，如Middle school interventions仅基于2011年一篇学位论文，School size仅纳入1991年一篇学位论文。
6. 报告统计量可重复性：仅2/301影响力完全可复现（Student feeling disliked、Within-class grouping）；313次复现尝试中，效应量可识别179次（57.2%），匹配PICO 80次（25.6%）；效应量+研究数45次（14.4%），+效应数39次（12.5%），+研究数+学生数+效应数22次（7.0%）。常见错误为参与者数缺失/错误72.5%、研究数错误43.8%、效应数错误35.0%。结论为可重复性极低。
7. 专家小组感知相关性：72项影响力评分≥4/5；teacher estimates of achievement最高（均5分）；breastfeeding、visual perception programs、full- vs. pre-term/low birth weight、matching teaching to style of learning、chess instructions等最低（1—1.5分）；35项≤2分。23%高度相关、11%不相关，相关性呈两极。
探索性发现：影响定义不清、更像主题而非定义；未报告检索策略；并发现纳入原始研究、评论等非元分析出版物，但未系统记录其普遍性。

讨论与结论：讨论认为最严重问题为可重复性低于1%，使报告数值不可靠；第二严重为PICO不匹配，仅18.6%通过全部标准，说明影响力定义不能准确描述纳入元分析；旧元分析导致保守和过时；研究设计混合虽较轻但仍违反原则；发表类型总体较好但不均衡；相关性是亮点，Visible Learning可作为潜在影响力清单或元范围综述。对研究者而言，不能依赖其效应量开展研究或作为证据引用，应自行开展系统综述；对学校专业人员和政策制定者而言，几乎没有影响力方法质量足以指导政策，效应量与排名不可靠，应咨询经严格质量评估的系统综述。局限包括材料异质性、部分文献不可得、仅约55%评估独立验证。未来研究认为缺陷是系统性的，继续在Visible Learning基础上修补并非高效路径。结论部分翻译：Hattie的Visible Learning的提出堪称革命性。研究人员和学校专业人员终于能够获得关于哪些因素影响学生成就的确定性概览。研究人员赞赏这一大胆想法，并认为它应作为教育研究重大思想之一而获得肯定。然而，与许多创新一样，它并非没有早期缺陷。尽管Visible Learning的理念很有前景，但研究人员认为，对于任何用于指导教育实践的内容而言，其方法学质量与可重复性是不可接受的。距John Hattie推出首个大型研究已近20年。研究人员希望研究界最终接受这一整体理念是有用的，并迎接挑战，在保持最高水平方法学质量、可重复性和相关性的同时，提供易于理解的改善学生成就概览。