评估参与研究的定义、方法与策略:研究进展与未来方向

【字体: 时间:2025年08月06日 来源:New Directions for Evaluation CS2.8

编辑推荐:

  这篇系统性综述聚焦评估参与(engagement)的核心实践,通过范围综述方法(scoping review)梳理2011-2024年27项实证研究,提出四大未来研究方向:建立参与实证标准、优化合作伙伴选择条件、测量参与成果、创新评估研究方法(RoE)。研究强调参与作为提升评估质量与文化相关性的关键环节,需结合社区本土经验重构传统知识生产权力结构,为跨学科评估实践提供理论框架。

  

摘要

评估参与被视为提升评估质量、效用与文化相关性的核心实践,但当前缺乏针对不同社区设计有效参与方法的实证指导。本研究通过范围综述方法,在Brandon和Fukunaga(2014)系统性综述基础上,分析2011-2024年27项研究,提出三大目标:明确参与定义、描述研究方法特征、归纳参与策略,并探讨未来研究方向。

1 引言

评估参与(engagement)指社区成员作为关键学习伙伴全程参与项目生命周期,其价值在于整合在地经验、重构知识生产权力结构。尽管美国评估协会(AEA)将其列为核心能力,但现有实践多缺乏研究评估(RoE)的实证支持。Brandon和Fukunaga(2014)发现1985-2010年仅41项RoE研究聚焦参与,且存在策略细节缺失、伙伴动机不明等局限。本研究通过PRISMA-ScR框架扩展该领域证据,特别关注参与定义分歧与策略效果差异。

2 方法

采用五阶段范围综述流程:

  1. 定位与反思:团队通过批判性讨论明确社会身份对研究的影响;

  2. 研究问题:聚焦参与定义、方法特征及策略分类;

  3. 文献检索:覆盖Medline、Web of Science等数据库,纳入美国背景的英文实证研究;

  4. 数据提取:使用MAXQDA工具编码参与定义、方法、结果等要素;

  5. 主题分析:结合定向内容分析法归纳高频主题。

创新性体现在纳入协作评估方法(CEA)术语库,并采用开放科学框架(OSF)共享协议。

3 结果

3.1 参与定义

66%研究(18/27)提供操作定义,呈现四类视角:

  • 民主进程(39%):强调知识共生产与权力共享;

  • 情境维度(39%):关注参与程度、多样性及控制权分配;

  • 价值驱动(28%):视参与为联结科学与在地经验的道德义务;

  • 目标导向(11%):以提升评估效度为终极目的。

3.2 研究方法特征

  • 设计局限:仅15%采用准实验设计,48%依赖自陈式问卷,29%以项目员工为主要伙伴;

  • 影响因素:37%研究识别障碍(如评估者可信度)与促进因素(如补偿机制);

  • 成果测量:26%证实深度参与提升评估使用(evaluation use),但鲜少追踪关系质量等长期影响。

3.3 参与策略

41%研究系统检验策略,包括:

  • 参与式评估测量工具(PEMI):动态监测参与程度;

  • 影像发声法(Photovoice):适配残障群体需求;

  • 数据派对(Data parties):促进结果解读互动;

  • 概念图谱:支持多阶段协作优先排序。

值得注意的是,仅27%研究详述伙伴选择逻辑,且边缘化群体代表不足。

4 讨论

4.1 定义标准化需求

当前定义分歧导致实践偏差,建议采用德尔菲法(Delphi Method)建立共识框架,参考评估思维(evaluative thinking)定义开发经验。

4.2 伙伴选择科学化

批判量化研究(QuantCrit)指出“多样性”标签的局限性,需开发伙伴类型学(partner typology)指导针对性招募。

4.3 成果测量创新

超越传统效用指标,探索信任构建、能力提升等关系性成果。实施科学(implementation science)的信任理论模型可提供借鉴。

4.4 方法论突破

倡导混合方法设计,例如:

  • 实验模拟:检验不同参与强度对结果信度的影响;

  • 追踪研究:评估社区参与对长期政策改变的效应;

  • 元研究:通过OSF平台实现低成本证据合成。

5 结论

评估参与研究需向实证化、精细化转型。未来应着力开发参与质量标准、深化边缘群体协作机制、创新影响测量工具,最终实现评估研究与社区行动的良性互促。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号