《以认识论为基础的研究:我们真的在遵循科学方法吗?》
迪戈·拉拉-哈罗(Diego Lara-Haro)、
亚历山大·哈罗-萨拉翁戈(Alexander Haro-Sarango)、
帕特里夏·洛佩斯-弗拉加(Patricia López-Fraga)以及
安赫尔·埃斯奎维尔-瓦尔韦德(Angel Esquivel-Valverde)
《Publications》:Research with Epistemology: Are We Really Following the Scientific Method?
Diego Lara-Haro,
Alexander Haro-Sarango,
Patricia López-Fraga and
Angel Esquivel-Valverde
【字体:
大
中
小
】
时间:2026年03月10日
来源:Publications 2.5
编辑推荐:
摘要:认识论为科学方法提供了基础,它明确了什么可以被视为知识,哪些形式的证据是可接受的,以及程序如何能够合法地支持结论。在加速发表的条件下,这些假设往往被隐含起来,这可能会削弱经过同行评审的手稿的推理一致性。本研究旨在将评审者感知到的认识论缺陷建模为一个多维结构,其中包含一个全局
摘要:认识论为科学方法提供了基础,它明确了什么可以被视为知识,哪些形式的证据是可接受的,以及程序如何能够合法地支持结论。在加速发表的条件下,这些假设往往被隐含起来,这可能会削弱经过同行评审的手稿的推理一致性。本研究旨在将评审者感知到的认识论缺陷建模为一个多维结构,其中包含一个全局性的组成部分。研究人员向来自拉丁美洲学术网络的183位同行评审者发放了一份包含14个项目的问卷。使用SEM(Lavaan)估计了二阶结构方程模型。该模型表现出极好的拟合度(CFI ≈ 1.00;RMSEA = 0.000;SRMR = 0.033),并显示出强烈的因子载荷,表明存在一个一致的全球性因子以及特定领域的独立成分。评审者的累积经验与全球性因子呈正相关(β = 0.047;p = 0.013),而最近的评审数量则没有统计学意义(p = 0.254)。这些结果表明,认识论的严谨性可能比短期的评审活动更能反映评价能力。该工具可以为编辑指南和评审者培训提供信息,以加强问题-理论-方法的一致性以及方法论的反思性。由于该测量工具仅涵盖了单一地区的网络,因此建议在跨学科和文化背景下进一步验证。
1. 引言
在当代科学中,认识论不仅仅是一个装饰性的哲学层面;它是规定什么可以被视为知识、什么有资格作为证据以及方法如何能够合法地支持结论的支柱。然而,在加速发表周期和日益标准化的编辑工作流程下,认识论推理常常被视为隐含的。当关于知识和推理的假设未被明确表达时,方法选择主要基于技术合规性进行评估,而不是基于其与研究问题的框架、理论承诺和证据标准的一致性。这一点不仅仅涉及哲学:推理一致性的减弱降低了论点的透明度,也使得研究成果在跨研究和学科间的积累变得更加困难。尽管关于严谨性、合理性和反思性的概念性讨论很多,但现有文献仍缺乏实证工具,无法衡量同行评审过程中认识论缺陷的感知和组织方式。在这项研究中,认识论缺陷指的是问题-理论-方法链中存在的感知差距,这些差距削弱了论点的合理性,例如不明确的本体论或认识论假设、理论与操作化之间的不匹配、证据与结论之间的弱推理联系,或方法选择缺乏充分的反思性论证。由于同行评审是科学质量控制的核心机制,理解这些感知到的缺陷对于改进评估实践和设计超越检查表要求的培训至关重要。
2. 文献回顾
2.1. 认识论作为合理性和推理架构
在当代学术研究中,认识论越来越被视为科学方法的合理性架构:它明确了什么可以被视为知识,什么有资格作为证据,以及为何某个程序可以合法地支持某个结论。与其说认识论是一个可选的哲学框架,不如说它是一种连接世界观、方法选择和解释限制的连贯性机制,确保方法与研究预设的现实和知识类型相称。这种架构作用很重要,因为认识论不仅指导了什么是可以纠正的,还决定了什么是可以复制的。信息科学和社会科学的研究表明,探究本质上是认识论的,因为它取决于“现实”在研究实践中是如何产生、稳定和解释的。批判性观点进一步指出,方法论惯例可能嵌入了狭隘的认识论默认值,这些默认值有时具有种族性或历史背景,这使得认识论的多样性对于研究革新具有重要意义,而不仅仅是哲学上的补充。总体而言,这些文献突显了当代科学的一个核心问题:当认识论的表述模糊时,方法选择就可能基于效率或程序合规性被选择和评估,从而削弱了论点的透明度,并限制了知识的累积。
2.2. 同行评审作为认识论过滤:问责制、经验和工作量
同行评审不仅是一个技术质量控制步骤;它还作为一种认识论过滤器,可以强化或削弱认识论的问责制。当评审者仅关注“作为程序的方法”而不探究“作为合理性的方法”时,认识论就成为出版决策中的一个隐含变量——隐含地决定了哪些证据标准、解释和概括方式会受到奖励。在评审文化中,这种风险会被放大,因为学科范围和机构期望决定了什么才算是合法的研究实践,从而影响哪些认识论假设在评估过程中会被关注或忽略。评审者的特征可能会影响这种过滤作用。累积的经验可能提高识别隐含假设、评估问题-理论-方法一致性和检测推理过度的能力;然而,经验也可能反映出对主导范式的深层次社会化,除非积极培养反思性,否则可能会无意中强化正统观点。应用领域的反思性案例表明,机构规范可能排斥替代性的认识论(例如,原住民方法),表明认识论的完整性不仅仅是“更多的批判”,还涉及到标准是如何实施的,以及哪些知识实践能够被认可为证据。同时,博士和专业培训路径可能会复制方法选择模式,这些模式反映了潜在的认识论承诺,而同行评审则通过反复的评估期望来强化这些模式。这些动态意味着一个核心 tension:同行评审可以增强认识论的一致性,但当评估规范变得僵化或以检查表为导向时,它也可能导致门户控制。
2.3. 多元化、去殖民化和情境化的认识论:在不强化正统性的同时增强一致性
第三种学术观点认为,认识论可以积极地引导科学方法朝着不同的伦理和实践目标发展。后批判性和解放主义方法强调,认识论的明确性不仅是批判;它是方法论创新和使探究与研究背景中的现实和价值相一致的条件。去殖民化和原住民学术研究特别指出了这一点,即当认识论的起点发生变化时,方法也必须相应改变——否则评估标准就会与它们声称要评估的知识实践不一致。气候和可持续性研究的相关论点强调,复杂的 societal 挑战通常需要多元化的认识论承诺和方法论多样性,将一致性转变为跨情境知识的协调问题。
2.4. 概念化认识论缺陷的四个维度(将理论与测量联系起来)
为了超越概念性讨论并实现实证评估,文献可以将认识论缺陷在手稿和评审者判断中的表现分为四个重复出现的方面。首先,问题-理论基础方面关注研究问题是否在概念上得到支撑,以及理论承诺是否足够明确,以支持研究的主张。其次,问题-方法一致性方面关注方法选择是否基于认识论假设,以及设计决策是否与研究声称要了解和解释的内容相匹配。第三,证据和合理性方面关注推理桥梁:什么可以被视为可接受的证据,如何解释这些证据,以及结论在证据限制下是否得到合理支持。第四,反思性和限制方面关注作者是否承认认识论边界、立场以及在何种条件下主张成立——这在多元主义或去殖民化视角下尤为重要,因为合法性取决于使知识条件明确化。
3. 材料与方法
本研究采用了定量、横断面和探索性的设计,旨在描述和建模大学讲师作为同行评审者对其所评审研究文章中的认识论缺陷的感知。虽然主要目标是探索性的-描述性的,但通过二阶结构方程模型(SEM)也纳入了验证性成分,以评估“认识论缺陷”这一概念的内部一致性和潜在结构及其与反映评审者学术经验的变量的关系。研究目标人群包括来自拉丁美洲学术研究网络的大学讲师-研究人员,确保所有潜在参与者都有实际评审科学手稿的经验。该小组共有338名研究人员(有限总体)。由于目的是在明确控制抽样误差的情况下估计总体参数(例如,感知到的认识论缺陷的平均水平),因此使用经典公式计算了最小样本量:n = (Z2pqN/(1-p)),其中n是所需样本量,Z是与所需置信水平(95%时Z = 1.96)相关的标准正态分布的临界值,p和q是预期的和互补的比例(此处p = q = 0.5),ε是最大允许的抽样误差(ε = 0.05),N是总体规模。代入这些值后得出:n ≈ 3.84 × 0.5 × 0.5 × 338 / (0.052 × (338-1) + 1.96 × 0.5 × 0.5) ≈ 324.71,四舍五入后得到最小样本量为n = 181名参与者。在方法上,当有效完成的问卷数量达到或超过181份时,研究才能进行,从而保证所需的精度。实际上,所有338名网络成员都被邀请参与(基于普查的邀请,包括拒绝回应的情况),分析样本由符合纳入标准的讲师组成(之前有评审研究文章的经验并且明确同意参与)。在全规模数据收集之前,该工具首先在25名与目标人群具有相似特征的大学讲师中进行了初步测试。该试点研究具有双重目的:首先,从最终用户的角度检验每个条目的语义清晰度和感知相关性;其次,观察响应的初步实证行为(频率分布、响应类别的使用情况、潜在的天花板或地板效应)以及所提出维度的初始内部一致性。试点分析表明,响应分布是合适的(没有极端聚集在某一类别中),讲师能够理解这些条目,并且初步的可靠性系数是可以接受的,可以继续进行主要应用。基于这些反馈,对一些条目的措辞进行了微调,同时保持了理论上的四维结构。最终的数据收集工具是一种结构化的、自我管理的数字问卷,通过在线表单平台(Forms)实施,允许安全和自动化地记录响应。问卷分为两个主要部分。第一部分收集关于审稿人的背景信息:作为研究文章审稿人的年数(A1)、过去两年内审阅的文章数量(A2)、目前在科学期刊中的角色(A3)、他们通常审阅的手稿的主要知识领域(B1)以及他们最常评估的研究类型(B2)。第二部分通过十四个李克特量表类型的条目来操作“研究文章中的认识论缺陷”概念,这些条目有五个响应类别(1=几乎从不,2=很少,3=有时,4=经常,5=几乎总是),分别标记为C1至C14。这些条目在理论上被分为四个一阶维度:问题与理论基础(PFT:C1,C2,C3)、问题与方法之间的认识论一致性(CEPM:C4,C5,C6)、证据与方法论合理性(EJM:C7,C8,C9)以及反思性、局限性和知识构建(RLC:C10,C11,C12,C13,C14)。提出了一个二阶因子“全局认识论缺陷(CEG)”,以捕捉审稿人感知到的认识论缺陷的总体水平。
除了实证试点之外,该问卷还接受了专家评估。一个由研究方法论和认识论专家组成的小组从清晰度、相关性和每个条目与其预定理论维度的匹配度方面对工具进行了评估。他们的反馈导致了措辞的改进,消除了潜在的歧义,并加强了四个维度的概念锚定。使用Cronbach的α系数来评估工具的内部一致性,既包括整体也包括每个维度。α系数的计算公式为:α = (k(k-1) * (1 - Σ(s2_i * s2_j)),其中k是条目数量,s2_i是每个条目的方差,s2_j是总分的方差。α值高于0.80被视为适合探索性和结构建模目的的充分可靠性证据,而接近0.90的值表明内部一致性较高,但不一定意味着存在问题性冗余。
数据收集完全在线进行,使用数字表单作为唯一的申请渠道。参与者通过WhatsApp收到个性化邀请,解释了研究的目的、问题的学术和非评估性质、参与的自愿性以及信息的保密性和汇总使用保障。在问卷开始时,会呈现一个知情同意部分;只有明确同意的人才能继续回答实质性问题。不收集任何直接识别个人身份的数据(如姓名或ID号),任何可能间接识别个人身份的变量也仅以汇总形式进行分析和报告。该研究采用单波段、横断面设计,在有限且同质的时间窗口内收集数据,以便在参与者之间比较背景条件。
数据分析策略分为几个连续阶段,以确保数据质量和可重复性。在第一阶段,从在线平台导出的数据库被清理,识别并排除响应模式明显不一致的案例(例如,所有条目缺失或只有一个条目被回答的问卷),并记录每个条目和每个案例的缺失数据百分比。由于条目C1–C14是序数的,因此在建模阶段将它们视为序数分类变量,并使用加权最小二乘法(WLSMV或DWLS)作为推荐的方法。还计算了条目间的多变量相关矩阵,以探索关系的实证结构,并再次估计Cronbach的α系数(整体和每个维度PFT、CEPM、EJM、RLC),作为可靠性的额外证据。在第二阶段,使用R语言中的lavaan包拟合一个二阶结构方程模型。测量模型正式表示为:Σ Tried = Σ C_i * X_i + Σ B_i,其中Each Tried_{i} 是观测指标向量,Σ C_i 是每个一阶维度的潜变量权重,Σ B_i 是每个项的权重。更一般地,测量组件可以用矩阵表示为:y = Λ^T * η + ε,其中y是观测条目向量(C1–C14),Λ^T是因子载荷矩阵,η是一阶潜变量向量,ε是测量误差向量。
模型的结构组件通过A1和A2派生出的连续变量将CEG与审稿人的经验联系起来。构建了两个数值变量:exp_num_u_m,代表基于A1类别的估计审稿经验年数;n_art,代表基于A2类别的过去两年内审阅的文章数量。主要结构方程表示为:CEG = β_1 * exp_num + β_2 * n_art + ε,其中β_1和β_2是捕捉时间经验和审稿强度对感知认识论缺陷整体水平影响的回归系数,ε是与CEG相关的结构误差项。使用广泛接受的全局拟合指标来评估模型拟合度,如比较拟合指数(CFI)、Tucker–Lewis指数(TLI)、近似均方根误差(RMSEA)及其90%置信区间以及标准化均方根残差(SRMR)。CFI和TLI值在0.95或以上,RMSEA值在0.06以下,SRMR值在0.08以下,被解释为理论模型与观测数据之间可接受的拟合度。此外,还检查了每个条目和每个一阶因子的标准化因子载荷、决定系数(R^2)以及结构参数β_1和β_2的统计显著性。
首先,样本来自一个拉丁美洲的学术网络,这意味着范围受到地域限制,并可能存在与共享的制度规范、学科惯例和编辑期望相关的网络相关偏见。由于参与是自愿的,因此无法排除一定程度的非响应偏差。选择参与的审稿人在动机、可用性或认识论敏感性方面可能与未响应者不同;因此,应谨慎解释所估计的感知认识论缺陷水平。相应地,应将这些发现解释为特定情境下的感知模式,而不是适用于所有同行评审系统的普遍可推广的估计。未来的研究应该通过在不同网络和国家中应用该工具,按学科分层,并正式测试测量的不变性,以检验潜在结构在不同文化和制度设置中的稳定性。
其次,条目与构建的映射(例如,C1–C3→PFT;C4–C6→CEPM;C7–C9→EJM;C10–C14→RLC)基于来自认识论合理性和问题-理论-方法一致性的文献中的理论驱动和语义一致性原则。条目被分组,以反映每个领域内的收敛概念内容,并保持测量模型的可解释性。虽然当前研究通过拟合的二阶模型提供了强有力的支持证据,但后续的验证可以通过结合专家评审和适当的探索性因子分析(EFA)来进一步增强内容和维度有效性——特别是在跨学科和跨文化应用中。
最后,“认识论缺陷”的感知可能受到文化和制度环境的影响,包括出版传统、学科论证风格以及审稿人所处的方法论培训环境。因此,该构念被明确界定为捕捉审稿人对缺陷的感知,而不是对手稿质量的客观审核。为了更好地区分审稿人的敏感性和文本特征,未来的工作可能包括跨情境比较和不变性测试,并在可行的情况下使用标准化材料(例如,专家评定的手稿摘录)进行校准练习,以提供额外的有效性证据。
为了可重复性和内容有效性评估,文章提供了一个专门的支持链接,其中包含了完整的工具(条目C1–C14)、分析代码(lavaan中的SEM/DWLS)和补充文档。这些资源在本文的补充材料中报告。图1显示了认识论缺陷量表中条目C1–C14之间的相关矩阵。总体而言,所有相关性都是正的,大多落在低到中等范围内(大约0.30–0.60),表明这些条目倾向于同向变化且不冗余。此外,在每个理论块内(PFT:C1–C3;CEPM:C4–C6;EJM:C7–C9;RLC:C10–C14),相关性略高,为存在四个不同但内部连贯的维度提供了实证支持。同时,不同维度之间的相关性仍然为正且具有意义,表明存在一个跨越所有指标的共同成分,可以解释为“全球认知剥夺”的总体水平。综合来看,这种模式支持一个层次结构:一方面是代表具体剥夺类型的特定因子(PFT、CEPM、EJM和RLC);另一方面是总结审稿人感知到的认识论缺陷整体程度的二阶因子(CEG)。表1总结了估计模型的特征。分析使用lavaan 0.6–20软件进行,采用了DWLS估计器和NLMINB优化方法,这两种方法都适用于序数条目。模型在41次迭代后正常收敛,估计了76个参数和183个可用观测值。存在一个缩放校正因子(0.694)和一个偏移参数(30.475),表明应用了稳健的调整来计算拟合统计量和参数方差,从而增强了推断的稳定性。关于内部可靠性,Cronbach的α系数表明所有维度的值都令人满意:PFT = 0.80,CEPM = 0.80,EJM = 0.82,RLC = 0.89(四舍五入)。所有值都超过了传统的0.70阈值,证明了每个因素内条目的充分内部一致性。特别是RLC维度显示出非常高的α值,接近0.90,表明一组高度一致的项目,用于捕捉与反思性、局限性和知识构建相关的剥夺。这些结果支持将这四个维度作为结构方程模型中的不同潜在结构使用。
表2表明所提出的二阶结构具有极佳的全球拟合度(χ2(99) = 40.15,p = 1.000;CFI = 1.000;TLI ≈ 1.00;RMSEA = 0.000,90% CI [0.000, 0.028];SRMR = 0.033)。尽管这些接近完美的拟合值支持了模型的适当性,但在具有序数指标的二阶DWLS模型中,这样的指数应谨慎解释,并始终结合理论一致性、参数可解释性和更广泛的证据模式。除了统计适当性之外,这种模式还具有实质意义:审稿人对14个条目的评分与一个层次结构一致,在这个结构中,四个不同的认识论缺陷领域凝聚成一个总体“全球”感知(CEG)。表3对应于基线(独立性)模型,在该模型中假设条目是不相关的。χ2统计量在其标准形式(χ2(91) = 7463.22,p < 0.001)和缩放形式(χ2(91) = 2957.96,p < 0.001)中都非常大,表明变量独立的假设被明确拒绝。这种与用户指定模型的对比表明,所提出的结构(包括一阶和二阶因子)显著更好地捕捉了观测到的协变。在实际应用中,基线模型较差的拟合与估计模型的极佳拟合之间的巨大差距正反映了前表中报告的最大CFI和TLI值。
标准化条目载荷在各个领域中始终很强(约0.75–0.89),支持每个一阶因素的清晰测量。为了便于阅读,完整的条目级载荷表作为补充表S1提供,而表4总结了因子层面的关键心理测量证据(载荷范围、可靠性和收敛有效性)。在二阶层面,CEG在四个维度上的载荷非常高(约0.81–0.97),表明一个共同的全球成分强烈地塑造了跨领域对认识论缺陷的感知。为了便于理解:(PFT)反映了问题框架构建薄弱且理论基础不足的频繁发现;(CEPM)捕捉到了研究问题与所选择的设计/分析策略之间的感知不一致;(EJM)表达了对证据如何用于支持主张(例如,推理上的跳跃或证据不足)的担忧;(RLC)指出了在反思性、边界条件以及对局限性和知识构建的明确讨论方面的不足。相反,低分数表明手稿在该领域内通常被认为是认知上连贯的(例如,理论扎实、设计合理、推理有据、且有明确的限制)。表5显示,审稿人的累计经验与全局因素(CEG)呈正相关(β = 0.047,p = 0.013;标准化β = 0.267),而最近的审稿数量在统计上并不显著(β = 0.008,p = 0.254;标准化β = 0.121)。从实质上讲,认识论审查似乎更符合长期的评估能力,而不是短期内的审稿强度。这一发现对编辑实践有实际意义:期刊可以考虑(i)在分配认知上复杂的稿件时优先考虑具有累计审稿经验的审稿人,(ii)使用该工具作为审稿人培训中的诊断工具,以加强问题-理论-方法的一致性和反思性,(iii)结合基于工作量的审稿人选择和以认知评估为导向的标准。表5显示,项目C1-C14的标准化残差方差适中(Std.all ≈ 0.21–0.44),这意味着每个项目的约56%到79%的方差由其潜在因素解释(这与先前报告的高R2值一致)。实际上,这表明这些项目与其相应的维度(PFT、CEPM、EJM、RLC)紧密相关,同时仍保留了一定的特异性变异性,这是为了避免指标之间的过度冗余所必需的。例如C9和C12等项目的残差最低,进一步证实了它们作为特别稳健指标的作用。表6显示,PFT、EJM和RLC的残差方差在统计上是显著的,表明即使在考虑了二阶因素(CEG)之后,这些维度仍保留了未被全局结构吸收的特定成分。相比之下,CEPM的残差方差很小且不显著(p = 0.216),表明这一维度几乎完全由CEG解释。最后,CEG本身的方差(Std.lv = 0.868,p < 0.001)证实了审稿人在感知到的认知剥夺程度上的显著差异,即审稿人发现手稿中认知缺陷的强度存在显著差异。表7显示,项目C1-C14的R2值很高,大约在0.56到0.79之间。也就是说,每个项目的56%到79%的方差由其对应的潜在因素(PFT、CEPM、EJM或RLC)解释。这证实了这些指标与其旨在测量的理论维度高度一致,并且该量表能够一致地捕捉不同领域的特定认知缺陷(问题和理论、问题-方法一致性、证据/理由以及反思性/限制)。在潜在层面,PFT(0.663)、CEPM(0.932)、EJM(0.871)和RLC(0.825)的R2值表明二阶因素CEG解释了这四个维度中很大一部分方差,尤其是CEPM和EJM。换句话说,全局的认知缺陷程度强烈影响了子维度中缺陷的组织方式。相比之下,CEG相对于其预测变量(exp_num和n_art)的R2值(0.132)要低得多:只有大约13%的审稿人之间在整体感知到的认知缺陷上的变异性可以由年数经验和最近的审稿量解释,这表明模型中未包含的其他因素也影响审稿人对认知缺陷的批判程度。图2、图3和图4提供了模型结构的整体视图以及全球认知缺陷(CEG)在审稿人中的分布情况。图2显示,CEG位于系统的中心:它强烈概括了四个特定维度(所有维度的标准化载荷都非常高),并且受到累计审稿经验(exp_num)的积极影响,而最近审稿的文章数量(n_art)的影响较弱。在此基础上,图3确认了潜在的CEG得分大致呈单峰分布并且接近正态分布,大多数审稿人的得分位于正值范围内,从轻微的认知缺陷检测到更严格的评价结果。换句话说,审稿人对认知问题的感知程度存在实质性差异,但没有极端聚集或上限/下限效应。图2显示,LavaanPlot中的(*)表示估计系数达到了统计显著性。图3显示了全球认知缺陷(CEG)的分布情况。图4按审稿人的主要专业领域分解了这种总体变异性。跨学科看,CEG的中位数高于零,表明无论领域如何,审稿人都经常识别出认知缺陷。然而,不同领域之间存在明显的差异:如自然科学/精确科学、人文学科以及工程和技术领域的中位数较高且分散度较大,表明这些领域的审稿人或情境中对认知问题的感知更为强烈。相比之下,教育和跨学科/多学科领域的中心水平较为适中,但仍为正值。综合来看,这三个图表表明CEG结构由四个特定维度强有力地定义,在审稿人中呈现出广泛且连续的分布,并显示出学科间的描述性差异,为未来跨知识领域的比较分析打开了可能性。5. 讨论结果强化了这样的观点:认识论作为“架构”,组织了证据、推理和科学程序有效性之间的关系。与先前的论点一致,即可行的研究依赖于明确表达认知假设(Hothersall, 2025;Johnstone, 2024;Scotland, 2012;Berryman, 2019),识别出一个连贯的层次结构——四个具体维度由一个总体全球组件构成——表明认知缺陷通常不会以孤立缺陷的形式出现。相反,它们是作为模式化的配置出现的,当手稿在问题到方法、证据和解释性限制的链条中显示出薄弱环节时,审稿人能够识别出这些配置。重要的是,项目之间的正相关性没有过度冗余,这与一个实质上有所区分的构建相兼容:缺陷可以在不同领域共存,同时仍然代表每个子领域内认知批评的具体目标。这种模式直接支持将同行评审视为一种能够增强或削弱认知责任感的认知过滤器的观点。在成熟的学科文化中,评估可能依赖于合法化的方法论库,这些库有助于快速决策,但也有可能变得像检查清单一样,只检测技术错误而忽略更深层次的认知不一致性(Robertt & Lisdero, 2016)。从这个角度来看,观察到的二阶结构具有重要意义,因为它正式化了评审判断可能如何编码——无论是明确还是隐含地——关于什么是适当的理由以及哪些推理限制是合理的标准。换句话说,结果支持将同行评审不仅视为质量“测量”,而且视为一种实施和稳定认知规范的机制。模型的强度和维度的内在一致性也与这样的论点一致,即方法论的可信度取决于认知清晰度,特别是在研究格式在没有完全阐述的哲学基础的情况下迅速扩增的背景下(Thomas et al., 2020;Varpio & MacLeod, 2020)。从实质上讲,这四个领域可以理解为对理由的结构化评估:(i)问题是否在概念上和理论上都有依据,(ii)问题和方法是否一致,(iii)主张是否由证据支持而没有推理上的跳跃,以及(iv)反思性和限制是否被明确表达。从这个角度来看,该工具捕捉了一种有序的认知评估形式,而不仅仅是审稿人的个性化偏好。一个关键发现是,累计审稿经验与全局因素的较高得分相关,而最近的审稿数量则没有显示出类似的效果。这种模式与这样的观点一致,即较长的审稿经历可能增强了识别隐性假设和评估问题-理论-方法链接一致性的能力;然而,这也可能反映了更深入的制度化,这可能会强化正统观点,除非积极培养反思性实践(Pride, 2025;Wardiono et al., 2024)。因此,应将经验关联谨慎地解释为认知敏感性的提高和/或更严格的评估阈值,而不是因果关系的证据。与最近的工作量无关进一步表明,“审稿数量”并不自动转化为更强的认知审查,特别是在时间紧张和评估压力常规化的情况下。同时,必须认识到潜在的风险。如果将操作化认知批评的工具用作僵化的把关工具而非反思性评估的指南,可能会无意中导致认知封闭。过分强调一致性可能会误用,从而惩罚方法论多样性、新兴方法或非主导的认识论——特别是当审稿人将“严谨性”等同于学科熟悉度时(Hunter, 2002;Binimelis-Espinoza & Roldán-Tonioni, 2017)。去殖民主义、原住民和黑人认识论观点强调,当认知起点不同时,严谨性的标准可以合法地重新定义,评估标准应保持对多样知识传统的敏感性,而不是强制执行单一的规范模板(Grande, 2022;Speight Vaughn, 2020)。因此,认知审查应被视为提高理由的透明度,而不是缩小可接受探究的范围。实际的缓解措施包括故意多样化审稿人队伍(学科、方法、地区),采用明确的关于认知标准的多元主义指导,并使用结构化评分标准来支持一致性,同时防止个性化监管。这些考虑为编辑实践提供了具体的操作性建议。首先,该工具可以转化为符合四个领域的非惩罚性诊断清单/评分标准,使编辑和审稿人能够记录手稿的合理性链强或弱的地方(问题/理论基础;设计与问题的契合度;证据支持;反思性和限制)。其次,期刊可以使用这些领域作为审稿人培训模块的基础,重点关注认知理由(例如,识别推理跳跃、澄清边界条件、区分方法论新颖性和不一致性)。第三,编辑团队可以实施校准实践(使用匿名摘录的简短跨编辑对齐会议),以减少认知阈值中的变异性,并澄清期刊认为可接受的理由。第四,可以通过向审稿人提供结构化的、基于领域的反馈(他们强调的内容、他们遗漏的内容)来加强反馈循环,这有助于专业发展并提高编辑决策的透明度。最后,鉴于此处观察到的经验关联,编辑在分配具有高认知复杂性的手稿时可能会优先考虑具有累计审稿经验的审稿人,同时确保认知视角的多样性,以避免强化正统观点。观察到的全球得分的变异性和按知识领域的描述性差异与这样的观点一致,即认识论往往作为一种“隐藏变量”,塑造了什么是确定性、严谨性和推理界限(Al-Mohammad, 2011;Baron, 2020)。然而,由于这些判断基于感知并且位于特定的学术网络中,结果应被视为特定背景下结构化评估模式的证据。因此,未来的工作应测试跨学科和跨文化的稳定性,并检查差异是否反映了真正的认知多样性、不同的培训制度或编辑规范。在这种意义上,明确认知承诺可以发挥双重作用:它可以在保证理由连续性的同时促进方法论创新,而不牺牲严谨性(Schildermans et al., 2024;Milián Bernal, 2024)。6. 结论研究结果表明,审稿人感知到的认知缺陷可以建模为一个结构化且层次化的构造,而不仅仅是一种模糊或纯粹直觉的判断。具体来说,这些缺陷通过四个连贯的一阶维度表达——理论基础、问题-方法一致性、证据和理由以及反思性和限制——这些维度汇聚成一个更广泛的二阶因素,捕捉审稿人对手稿的整体认知评估。这一结果很重要,因为它将同行评审中主要是一种隐含的关注转化为一个可经验识别和概念上可解释的框架,从而将认知质量的研究从抽象批评推进到系统评估。研究还表明,累计的同行评审经验与全局因素呈正相关,而最近的审稿数量则没有显示出类似的解释价值。从实质上讲,这种模式表明认知审查可能更多地反映了成熟的评估能力,而不是短期内的审稿强度。同时,这些预测因素的解释贡献仍然是有限的,这表明审稿人对认识论缺陷的敏感性也可能受到其他 contextual(情境)、disciplinary(学科性)和 professional(专业性)因素的影响。由于研究采用横断面设计且参与者为自愿参与,因此这些关系应谨慎解读,不得被视为因果关系。从应用角度来看,该工具为以透明和建设性的方式加强同行评审流程提供了实际依据。它可以被改编为编辑评估标准或结构化检查清单,帮助审稿人和编辑识别问题所在,从而减少对隐含或不一致应用的评审标准的依赖。该工具还可以通过提供一个统一的框架来识别推理漏洞、边界条件和连贯性问题,从而支持审稿人的培训与能力提升,同时不损害合理的方法论多样性。从这个意义上说,该工具不仅是一种测量工具,也是连接认识论反思与编辑实践的桥梁。未来的研究应通过跨学科、跨国界以及不同同行评审文化的广泛验证来深化这一探索方向,包括对测量稳定性的正式测试。纵向研究和多波设计对于探究认识论审查能力是通过经验、培训还是编辑社会化过程形成的尤为重要。此外,通过将审稿人的评分与标准化的手稿摘录或专家外部标准联系起来,还可以获得更多证据,以便更清楚地评估所感知的缺陷与文本可观察到的认识论特征之间的对应关系。总体而言,该研究表明同行评审不仅是一种质量控制机制,也是一个认识论标准得以实施、协商和稳定的场所。使这些标准更加明确和可量化,有助于提高科学评估的质量,同时维护知识生产所需的多元性。
补充材料
以下补充材料可在以下链接获取:https://github.com/aharo8014/Research-with-Epistemology(访问日期:2025年12月13日):
- 数据集S1:本研究中使用的匿名调查数据集;
- 文件S1:西班牙语版本的调查工具及使用说明;
- 文件S2:英语版本的调查工具及使用说明;
- 脚本S1:用于复现分析结果的R代码。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号