一项关于评估新方向的元研究：对2010年至2024年出版特征的分析

《New Directions for Evaluation》：A Meta-Study of New Directions for Evaluation: An Analysis of Publication Characteristics From 2010 to 2024

该研究系统分析了《新方向评估》期刊2010-2024年发表的457篇符合标准的文章，发现女性作者比例显著提升（55%→73.8%），国际合作呈现先升后降趋势（17.9%→33.8%→18%），作者合作规模扩大（1.82人/文→3.09人/文）。研究内容呈现"三增三减"特征：国际发展、高等教育类文章增加，K-12教育类文章减少；定性研究（51%）与混合方法（27%）为主，定量研究（22%）占比较低；基础统计方法占87%，高级统计方法应用不足。但研究样本稳定性、研究设计类型、统计方法分布等呈现显著时间稳定性。建议加强干预性研究（仅6.4%）、提升统计报告规范性（仅2%研究报告效果量）及扩大国际作者群体。

　　从2010年到2024年，《New Directions for Evaluation》（NDE）作为美国评价协会（AEA）的旗舰期刊之一，其出版内容和作者构成经历了显著的变化。这项元研究通过分析NDE的作者和文章特征，揭示了评价领域在研究趋势、学术内容和方法论上的发展。研究结果不仅为评价研究者和从业者提供了关于研究严谨性、作者特征以及评价主题和语境的更深入理解，还为未来研究方向提供了启示。

在作者特征方面，NDE的女性作者比例显著上升，从2010–2019年的55%增长到2020–2024年的73.8%。这一趋势反映了性别平等意识在学术界的逐步提升，同时也可能与评价领域对多样性与包容性的重视有关。女性学者在学术研究中的参与度提高，意味着评价研究的视角和方法论可能变得更加多元。此外，文章的作者数量也在逐年增加，从2010–2014年的平均1.82人增加到2020–2024年的3.09人。这种增长趋势表明，评价研究正朝着更加协作和跨学科的方向发展，强调多角度、多领域的合作以增强研究的深度和广度。

在作者的地域分布方面，国际作者的比例在2010–2014年为17.9%，在2015–2019年达到33.8%，但在2020–2024年又回落至18%。这一波动表明，虽然NDE在鼓励国际研究方面有所努力，但其国际影响力仍有限，主要作者仍集中在美国本土。这一现象可能与学术资源的分布、国际交流的便利性以及期刊在国际学术圈中的知名度有关。然而，为了进一步拓展NDE的全球视野，期刊可以考虑通过邀请更多国际学者加入编辑委员会、设立专题栏目或与国际学术机构合作，来增强其在全球范围内的代表性。

在文章内容方面，NDE的主题分布呈现出明显的变化。国际发展和高等教育相关的文章数量显著增加，而基础教育（K-12）相关的文章比例则下降。这种变化可能反映了评价领域对全球议题的关注度上升，尤其是在应对社会变革、技术进步和跨文化研究等方面。同时，这也在一定程度上提示了评价研究可能需要重新审视基础教育领域的重要性，尤其是在全球范围内教育改革和政策调整不断推进的背景下。此外，NDE的研究文章占比一直维持在约10%的水平，尽管这一比例相对较低，但研究者认为，这表明NDE在保持学术严谨性的同时，也注重文章的实用性和可读性。然而，这种比例的稳定性也意味着NDE在推广基于实证研究的学术成果方面还有提升空间。

从研究方法的角度来看，NDE的研究文章在方法论上呈现出多样化趋势。定性研究占研究文章的51%，混合方法研究占27%，而定量研究则占22%。这种偏重定性研究的倾向反映了评价研究对复杂社会现象的理解需求，因为定性方法能够更好地捕捉参与者的态度、体验和主观感受。然而，值得注意的是，NDE的定性研究中缺乏对研究可靠性和可推广性的报告，这在一定程度上影响了研究的透明度和可信度。研究者建议，未来应加强对这些关键研究标准的报告，以提升评价研究的质量和影响力。

在定量研究方面，NDE的研究文章大多采用基础统计方法，如描述性统计和相关性分析。尽管这些方法在实际应用中具有较高的可操作性，但它们在提升研究的分析深度和严谨性方面存在局限。例如，仅有一项研究使用了因子分析，而另一项使用了t检验或方差分析。这表明，NDE在推动更复杂的统计方法方面仍有较大的发展空间。通过鼓励研究者采用更高级的统计技术，可以为评价研究提供更精确的分析结果，从而增强其科学性和实践价值。

此外，NDE的研究文章在样本特征方面表现出一定的稳定性。参与者类型主要以成年人为主，占研究文章的70%以上，而学生和非人类样本的比例相对较低。样本规模的分布也基本保持不变，从3人到1093人不等。尽管样本规模的多样性有助于研究的广泛适用性，但缺乏对样本可靠性和可推广性的报告，可能会对研究的可信度和实际应用价值产生影响。研究者建议，在未来的研究中，作者应更加注重对这些统计标准的报告，以确保研究结果的科学性和透明度。

在文章主题方面，NDE的研究内容更加关注国际发展和高等教育，而基础教育的研究比例下降。这种变化可能与全球社会对高等教育和国际议题的关注度提升有关，但也引发了对基础教育研究是否被忽视的担忧。尽管NDE在促进学术多样性和国际视角方面有所贡献，但其研究内容的聚焦点可能未能全面反映评价领域的需求。因此，未来的研究可能需要更加平衡地覆盖不同教育阶段和研究领域，以确保评价研究的全面性和代表性。

在研究设计方面，NDE的定性研究设计呈现出明显的趋势变化。例如，CQR（共识质性研究）方法的使用显著增加，而传统的访谈和内容分析方法则有所减少。CQR方法因其系统性和严谨性，能够更全面地分析参与者的态度和体验，因此其使用率的上升反映了评价研究方法论的进化。然而，这种变化并未伴随对研究可靠性和可推广性的报告，说明在定性研究中，仍需加强对研究方法的透明度和标准化。

在研究质量方面，尽管NDE在研究方法上有所创新，但在某些关键领域仍存在不足。例如，仅有两项研究报告了效应量，没有研究报告了样本的可靠性和有效性，这可能意味着研究者在数据呈现和分析方面仍需提升。缺乏这些统计指标不仅影响研究的科学性，也可能对研究结果的解读和应用产生一定的误导。因此，NDE在未来的研究中，应鼓励作者更加系统地报告这些关键指标，以增强研究的可信度和实用性。

从整体趋势来看，NDE的出版内容和作者构成反映了评价领域在理论和实践上的双重发展。一方面，评价研究越来越关注全球化和社会变革，尤其是在国际发展和高等教育领域；另一方面，评价研究也强调跨学科合作和多样性。然而，这种趋势的实现仍面临一些挑战，例如国际作者比例的波动、研究方法的单一性以及关键统计指标的缺失。这些不足可能会影响评价研究的全面性和深度，从而限制其在学术界和实践领域的影响力。

此外，研究还指出了一些可能的改进方向。例如，NDE可以考虑增加对定量研究方法的使用，尤其是在更复杂的统计分析方面。同时，期刊也可以通过鼓励更多关于基础教育的研究，来确保其内容覆盖的全面性。在作者构成方面，NDE需要进一步扩大国际作者的比例，并增强非美国机构的参与度。这不仅有助于提升期刊的全球影响力，也能为评价研究带来更多的视角和方法论。

综上所述，NDE作为评价领域的核心期刊之一，在过去15年中经历了显著的变化。这些变化不仅体现在作者的性别和地域分布上，也反映在研究主题和方法论的多样性上。然而，研究还指出了当前NDE在研究质量、方法论深度和统计标准方面的不足。未来，NDE可以通过加强国际合作、推广更先进的研究方法以及提升对关键统计指标的报告，来进一步推动评价研究的发展。这不仅能增强期刊的学术影响力，也能更好地服务于评价领域的实践需求，促进其在全球范围内的应用和推广。