评估专业性:美国情境下基于理论的评估工具的开发与验证

【字体: 时间:2025年05月28日 来源:Evaluation and Program Planning 1.5

编辑推荐:

  当前项目评估专业化缺乏有效框架与评估工具。研究者开发 “评估者专业性自我评估工具(PATPE)”,基于社会学模型构建 expertise、innovation and research 等五维度,对 2000 名 AEA 成员调查验证,证实工具信效度,为评估实践提供关键支撑。

  
在项目评估领域,专业化进程虽受关注,但长期缺乏一个经过验证的、基于理论的框架来理解和实证评估专业评估者的属性。现实中,美国项目评估因缺乏认证、许可和预服务项目认证体系,导致不合格人员参与其中,客户面临不当操作和误导性建议的风险。同时,“专业化” 概念在美国存在争议,不同专业评估志愿组织(VOPEs)采用不同方法,且缺乏统一的实证评估方法,使得评估者难以明确职业所需的知识和技能,行业发展面临认知与实践的双重困境。

为解决这一关键问题,研究者以美国评估协会(AEA)为背景展开研究,旨在构建并验证一个基于理论的评估者专业性评估工具,明确评估者专业性的多维概念,为行业提供可操作的评估标准。研究成果发表在《Evaluation and Program Planning》,为项目评估领域的专业化发展提供了重要的理论与方法支持。

研究采用混合研究设计,先通过定性研究构建理论框架,再开发定量评估工具并验证。关键技术方法包括:基于社会学职业理论和 AEA 基础文件,构建包含 expertise(专业知识)、innovation and research(创新与研究)、professional autonomy(职业自主)、ethical dispositions(伦理倾向)、credentialing(资质认证)的五维度模型;设计 “评估者专业性评估工具(PATPE)”,对 2000 名 AEA 成员进行在线调查,运用探索性因子分析(EFA)检验模型结构,计算 Cronbach’s alpha 系数验证信度,通过结构方程模型等验证效度。

工具开发与维度构建


研究基于社会学职业理论(如 Wilensky 的五阶段专业发展模型),结合 AEA 的《项目评估标准》《指导原则》等文件,提炼出评估者专业性的五个核心维度:

  • 专业知识(Expertise):评估者需具备设计评估、分析数据和解读结果的专业知识与技能,确保服务的科学性。
  • 创新与研究(Innovation and Research):强调评估者参与研究、开发新方法的能力,推动行业方法论进步。
  • 职业自主(Professional Autonomy):评估者在工作中独立决策的能力,需平衡与客户、组织的协作和专业独立性。
  • 伦理倾向(Ethical Dispositions):以诚实、公正等伦理原则指导实践,通过行业规范保障公众利益。
  • 资质认证(Credentialing):通过专业协会认证确认资格,如学位、专业 designation(称号),确保从业者符合标准。

模型验证与信效度分析


对 2000 名 AEA 成员的在线调查数据显示:

  • 因子结构合理性:Kaiser-Meyer-Olkin(KMO)值为 0.76,Bartlett’s 检验显著(χ22[1711] = 2026.56,P<0.001),表明变量间相关性适合因子分析。探索性因子分析提取的五因子结构与理论模型一致,累计解释方差达 XX%(原文未明确具体数值,需根据上下文推断为合理范围)。
  • 信度可靠:整体量表 Cronbach’s alpha 为 0.810,各维度 alpha 值 0.661-0.909,显示内部一致性良好。
  • 效度支持:通过内容效度(专家评审)、结构效度(因子负荷均 > 0.5)验证,证实工具能有效测量评估者专业性的核心属性。

研究结论与意义


研究首次构建了基于社会学理论和行业实践的评估者专业性多维模型,并验证了 PATPE 工具的信效度。结果表明,该工具可用于新手和资深评估者的自我评估,帮助识别专业发展领域,推动行业标准化。

研究填补了项目评估领域专业化实证研究的空白,为 AEA 等组织制定资质认证、伦理规范提供了理论依据,也为全球评估行业的专业化路径提供了参考。尽管未涉及文化能力、社会公义等新兴议题(后续研究方向),但其建立的评估框架为提升评估服务质量、增强公众信任奠定了基础,标志着项目评估向成熟职业迈出关键一步。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号