英国的心理学与研究评估

《Cogent Psychology》：Psychology and research assessment in the United Kingdom

英国心理学研究在2021年研究卓越框架（REF2021）中的质量评估与学科偏见问题，通过潜在狄利克雷分配（LDA）主题建模分析9773篇提交论文的内容，发现定性研究相关主题与较低质量评分显著相关，揭示评估可能存在方法论偏见。

　　在英国的科研评估体系中，Research Excellence Framework（REF）扮演着至关重要的角色。自1986年以来，英国的高等教育机构每年都需通过这一框架接受对其研究成果的评估。REF不仅决定了研究资金的分配，也深刻影响着大学和研究机构的声誉建设。因此，科研单位对REF的评估结果高度重视，力求在提交材料时获得更高的评价。在2021年的REF评估中，心理学、精神病学与神经科学领域被归入一个单一的子评估面板，这一做法引发了广泛的讨论和质疑。一些学者认为，这种跨学科的评估方式可能对某些研究领域造成不利影响，尤其是那些以定性方法为主的研究。

研究者通过分析提交给该评估面板的论文，试图揭示这些评估结果是否反映了某种偏见。他们采用了一种称为“潜在狄利克雷分布”（Latent Dirichlet Allocation, LDA）的机器学习方法，对提交的论文内容进行主题建模。这种方法能够识别出论文中涉及的主要研究主题，并进一步分析这些主题与评估结果之间的关系。研究团队共识别出33个主题，这些主题共同概括了提交给该评估面板的论文内容。他们发现，这些主题的分布能够解释评估结果中很大一部分的差异。具体而言，那些提交了大量定性研究的单位，其论文在评估中获得的分数普遍较低，而以神经影像、法律与人类行为等主题为主的论文则更有可能获得较高的评分。

研究者指出，这种现象可能源于几个方面。首先，评估面板的组成和专业背景可能影响其对不同研究方法的偏好。在2021年的评估中，大多数评估专家可能更熟悉定量研究方法，而对定性研究的评估标准和方法论理解可能不够深入。这可能导致评估者在面对定性研究时，无法准确判断其科学价值和创新性，从而倾向于给予较低的评分。其次，某些研究领域可能在评估过程中被边缘化，例如社会心理学和定性研究。由于这些研究方法与主流的定量研究方法存在差异，评估者可能在潜意识中对它们抱有偏见，认为它们不够严谨或缺乏实证支持。

此外，研究还发现，评估结果的形成与研究主题的多样性密切相关。例如，在2014年的评估中，一些传统的认知心理学主题，如视觉认知与注意力、感觉处理与感知等，其在提交论文中的比例有所下降，而一些更具应用导向的主题，如法律与人类行为、系统性综述与元分析等，则比例上升。这表明，随着科研评估体系的变化，心理学研究的重心可能正在向更实用、更易于量化评估的方向倾斜。然而，这种趋势是否意味着对某些研究方法的系统性偏见，仍需进一步探讨。

值得注意的是，研究者在分析过程中也指出，由于数据的限制，他们的分析只能在单位层面进行，而无法直接评估每篇论文的评分情况。这意味着，他们的发现可能受到单位整体研究倾向的影响，而不是个别论文的质量。例如，一个单位如果提交了较多的定性研究，其整体评分可能受到影响，但这并不一定意味着每篇定性论文的质量都较低。因此，研究者呼吁对这一问题进行更深入的探讨，并希望未来能够获得更细致的评估数据，以便更准确地理解不同研究方法在科研评估中的表现。

在讨论部分，研究者进一步探讨了这些发现背后的可能原因。他们指出，科研评估过程中可能存在“生态相关性”（ecological correlation）的问题，即单位层面的数据与个体论文的数据之间可能存在差异。例如，某些单位可能因为研究方法的多样性而获得较低的整体评分，但这并不一定反映其每篇论文的质量。因此，研究者强调，在解释这些结果时，需要谨慎区分单位层面与个体层面的影响。

同时，研究者也提到，定性研究在心理学中的重要性不容忽视。许多定性研究在理论构建、方法创新和对复杂社会现象的理解方面具有独特价值。然而，在当前的科研评估体系中，这些研究可能未能得到应有的认可。例如，英国心理学会（British Psychological Society, BPS）的报告指出，78.5%的受访心理学研究者被提交到心理学、精神病学与神经科学子评估面板，而其余部分则被提交到其他相关学科的子评估面板。这一现象表明，一些心理学研究者可能因为研究方法的不同，而被归类到其他领域，从而影响了他们的评估结果。

研究者还提到，尽管存在这些挑战，定性研究在英国心理学界仍然具有重要的影响力。例如，一些定性研究在同行评审中获得了高度评价，其发表的期刊具有较高的影响因子。此外，一些在定性研究领域表现出色的心理学家也获得了英国心理学会的荣誉，这表明定性研究在学术界并不缺乏认可。因此，研究者认为，定性研究的评分偏低可能更多是由于评估体系的结构问题，而非研究本身的质量问题。

最后，研究者呼吁对英国科研评估体系进行反思，并建议采取措施以确保所有研究方法都能在评估中得到公平对待。他们指出，科研评估的目的是为了全面反映一个学科的研究成果，而不是偏袒某种特定的研究方法。因此，未来的评估体系需要更加注重方法论的多样性，以促进不同研究方法的协调发展。这不仅有助于提高科研评估的准确性，也有助于推动心理学研究的创新和多样性。