论文写作是评估批判性思维(CT)的公认方法。批判性思维被广泛定义为"旨在决定相信什么或做什么的合理反思性思考"(Ennis, 2011, 第10页)。与仅仅表达思想不同,论文作者在写作过程中进行反思,从而完善自己的想法(Wade, 1995)。写作涉及多种认知过程,包括回忆(检索相关信息)、计划(决定要包含的内容)、产出(构建论文)和批判(评估自己的想法),其中批判被认为是批判性思维的核心组成部分(Anderson & Krathwohl, 2001)。特别是论说文,其要求提出主张并用证据加以论证,是评估批判性思维的有效手段。论证使学生能够展示逻辑推理能力并构建有说服力的论点(Hirvela, 2017)。因此,该任务已被广泛用于评估学生的批判性思维(例如,Author, Year-b; Cheng et al., 2024; F. Liu & Stapleton, 2018)。
学者们已开发了各种评分标准,供教育者和研究人员通过学生的书面作品(包括论说文)来评估学生的批判性思维(例如,Abdelrahim, 2026; Awada et al., 2020; Nakkaew & Adunyarittigun, 2019)。这些评分标准通常评估多个与批判性思维理论上相关的写作方面。Saxton等人(2012)的批判性思维分析性评分标准(CTAR)包含六个标准——解释、分析、评估、推理、解释和倾向——基于Facione(1990)德尔菲报告中概述的认知技能。类似地,Dong(2017)基于Paul和Elder(2014, 2021)的框架开发了评估论说文中批判性思维的评分标准,涵盖清晰性、准确性、精确性、相关性、深度、广度、逻辑性、重要性和公平性等标准。这些评分标准已被后续实证研究采用(例如,X. Yin et al., 2024; Zhang et al., 2025),彰显了其在批判性思维文献中的影响力。
尽管现有评分标准具有理论严谨性,但批判性思维理论通常是该构念操作化的主要依据,对实证证据的依赖有限。虽然这些理论从概念上阐述了批判性思维的内涵(例如,Facione, 1990),但它们并不一定明确规定应纳入评分标准的具体维度或标准。因此,评分标准往往因所采用的理论框架不同而存在差异,由理论驱动的操作化能否准确且精确地反映论文中体现的批判性思维水平这一问题仍未得到解决。评分标准代表测试构念——即测试旨在测量的概念——必须包含与写作最相关且最重要的方面(Knoch, 2022)。纳入不恰当的标准或遗漏必要标准会威胁评估结果的有效性,正如Messick(1989)所强调的,构念无关性(测量了无关因素)和构念代表性不足(未能捕捉关键方面)构成了效度的主要威胁。这突显了评分标准开发不仅需要基于理论框架,还需要进行系统的实证研究的重要性。
因此,本研究通过实证方式识别定义第二语言(L2)论说文写作中批判性思维的标准。具体而言,它探讨了在日本大学环境中,影响批判性思维专家评估论说文中批判性思维的关键论文特征,该环境中学生同时发展学术写作能力和批判性思维技能。研究发现了一组实证衍生出的特征,这些特征按更广泛的维度进行组织,可为评分标准的开发提供参考。这些特征有助于减少构念无关变异和构念代表性不足,增强分数解释和使用的效度。