波兰科学质量评价体系的设计缺陷:潜在属性的技术分析

《Journal of Informetrics》:Design flaws in the Polish science quality evaluation system: A technical analysis of latent properties

【字体: 大 中 小 】 时间:2026年02月03日 来源:Journal of Informetrics 3.9

编辑推荐:

  托马什·P·帕瓦拉克,波兹南技术大学计算科学研究所,波兰波兹南皮奥特罗沃2号,邮编60-965 摘要:2018年,波兰的科学与高等教育领域进行了改革,引入了一套新的科学计量体系,用于定期评估约300家机构的研究质量。该体系主要依赖参数化评估,专家意见的参与有限。评估结果会影响这

  托马什·P·帕瓦拉克,波兹南技术大学计算科学研究所,波兰波兹南皮奥特罗沃2号,邮编60-965

摘要:2018年,波兰的科学与高等教育领域进行了改革,引入了一套新的科学计量体系,用于定期评估约300家机构的研究质量。该体系主要依赖参数化评估,专家意见的参与有限。评估结果会影响这些机构的政府资助力度,以及其授予学术学位和开设专业领域的权限。该体系于2022年开始应用于2017–2021年的评估,而在2026年对2022–2025年的评估中基本保持不变,这更多是出于政治不稳定因素,而非对其有效性的认可。

本文从统计学、决策科学和运筹学的角度探讨了波兰的科学评估体系。我们发现了四个设计缺陷,这些缺陷导致了违背常理的结果:通过巧妙的报告方式,机构甚至可以将评分提高60%;评估标准存在规模歧视;利益冲突方可能操纵评估结果;此外,该体系还严重偏离了当前决策科学的标准。我们的理论观点得到了2022年和2026年评估数据的验证,文中还提出了改进该体系的建议。

1. 引言
1.1 背景与动机
科学研究成果为社会带来了诸多益处,比如技术进步、工作效率提升、环境改善以及安全保障。确保较高的科学质量对于维护研究的完整性、可靠性和有效性至关重要,它有助于增强人们对科学结果的信任,为资金和政策决策提供依据,同时推动研究方法的改进。

不同国家和大学在这一领域的成功程度因资金水平、法律和经济成熟度以及地缘政治状况等因素而异。这些国家的成功程度可通过全球大学排名来体现,如《上海世界大学学术排名》(Sha, 2025)、《泰晤士高等教育》(Education, 2025)以及《QS世界大学排名》(Symonds, 2025)。尽管这些排名的方法各不相同,但它们都依赖于高被引论文、顶尖研究人员、专利数量、研究项目价值以及国际化程度等指标。

这些排名使用的是通用术语来评估科学水平,与任何国家的研究战略并不完全契合。因此,各国会根据自身需求和目标制定相应的研究政策和评估方法。典型的评估工具包括英国的“研究卓越框架”(REF, 2029)、中国的“中国科学引文数据库”(汤森路透,2008)、澳大利亚的“澳大利亚研究卓越计划”(澳大利亚研究委员会,2023年已终止,目前正在开发新计划,Nat, 2023),以及波兰的“科学质量评估体系”(Ord, 2022b)。关于研究评估框架的更全面介绍,可参考(Hicks, 2012;Ochsner, Kulczycki, Gedutis, Peruginelli, 2021)。

虽然机构评估方法并非专门为这一目的而设计,但它们仍会影响研究人员的选择。例如,中国研究人员非常重视影响因子,而这些因子的变化会立即反映在论文投稿率上(Kwon, 2024;Zhao, 2025)。在波兰,机构评估标准常被用于学术晋升和科研项目申请等流程。不过,只有那些表述清晰且稳定的指导方针才能真正影响研究人员的发表行为(Korytkowski和Kulczycki, 2019a)。结果就是,现代主流研究更注重绩效指标,而非研究成果的重要性(Kulczycki, 2023b)。

评估方法通常分为参数化评估和基于专家的评估两类。尽管DORA组织提出了相关建议(DORA Steering Committee, 2012),并且已有166个国家的3400多个组织认可这些建议,但由于成本效益较高,人们仍然倾向于使用论文和期刊指标来评估研究,中国(Zhao, 2025)和波兰(Ord, 2022b)便是如此。相反,专家评估则成本高昂,例如悉尼大学每次进行评估就需要投入40,000员工工作小时和200万澳元(Nat, 2023)。

本研究聚焦于波兰的“科学质量评估体系”(Ord, 2022b),该体系是在2018年的科学与高等教育改革中推出的,预计至少会持续到2026年。目前的评估规则是长期逐步发展的结果,相关研究可见Kulczycki等人(2017)以及Korytkowski和Kulczycki(2019b)的著作。大约300家波兰科研机构每四到五年接受一次评估,2022年的评估涵盖了2017–2021年的情况,2026年的评估则针对2022–2025年。共有56个科学学科(2022年为47个),每家机构在其开展的每个学科中都会独立接受评估。评估结果会为每对“机构-学科”组合赋予A+(最高)、A、B+、B、C(最低)等等级。这些等级会影响政府的资助力度(Ord, 2022a)——例如,A+级别的“机构-学科”组合所获得的科研预算可能是相同规模B级组合的两倍多。只有达到B+级别,机构才有资格授予学术学位和开设新专业。在2022年的评估中,1145对“机构-学科”组合中有10.5%获得了A+等级,36.5%为A级,46.4%为B+级,4.1%为B级,2.0%为C级(RAD, 2025)。

评估过程分为两个阶段。首先,所有“机构-学科”组合都会经过参数化评估,并被划分为A到C等级。之后,那些满足额外参数化标准的A级“机构-学科”组合还会接受专家评估,以确定是否可获得A+等级。在2022年的评估中,有1145对组合中的175对(15.3%)接受了专家评估,最终有120对获得了A+等级,许多学科没有机构能达到A+级别。专家评估在参数化评估中也起着次要作用,用于确认研究结果是否符合相应学科的要求,以及根据预定的评估表格来评估其社会经济影响。总体而言,专家评估在评估过程中所占比例较小。

1.2 研究贡献
本研究运用统计理论、决策科学和运筹学方法,分析了波兰科学质量评估体系中的参数化评估方面问题。我们用2022年和2026年的实际数据来支撑我们的理论发现。具体而言,我们发现了四个导致评估结果不合理或不公平的设计缺陷:

第一,科学成果报告容易被优化。在第3节中,我们指出,C1指标的得分不仅取决于机构的论文数量和知识产权情况,还与其向相关部门提交报告的方式有关。我们将报告问题视为一个组合优化问题,并找到了最优解决方案,相比直接根据真实数据提交报告,这种方法通常能使得分提高10–40%。值得注意的是,对于某些研究成果,选择不提交报告或将其归类到与实际所属学科不同的类别中,反而更有利。

第二,机构规模存在偏见。在第4节中,我们通过统计理论证明,机构的规模——以员工总数来衡量——会以一种出人意料的方式影响C1指标的得分。大型顶尖机构的得分往往受到很大限制,导致它们不如一些规模较小但实力较弱的机构。相反,那些表现不佳的大型机构却能获得不应有的高分。我们的结论得到了2022年评估数据的支持。

第三,标准汇总存在主观偏差。在第5节中,我们结合决策科学理论和2022年的评估数据,指出C1、C2和C3这三个标准的汇总算法可能会纳入决策者的主观偏好,从而导致“机构-学科”组合的等级分配几乎可以随心而定。

第四,存在利益冲突。在第6节中,我们揭示了这样一种情况:有些人在评估机构和被评估机构中同时任职,这就形成了利益冲突。我们有充分的统计证据表明,评估结果的等级与参与评估人员的就业情况之间存在关联。

针对每一个设计缺陷,我们都提出了修改评估体系的法律建议,以避免出现不良现象。

本研究并未涉及对研究政策本身的分析,也未对评估因素进行详细审查,或者探讨如何让波兰的评估体系与国家研究战略相衔接,更没有对研究成果本身进行评价。这些问题都需要通过政治层面的讨论来解决,需要综合考虑当前的需求和机遇。相反,我们重点是对所采用的评估方法进行技术分析,指出其中存在的缺陷,以便及时加以修正,避免对机构进行错误分类。

第2节介绍了波兰的评估体系,并总结了目前对该体系的一些批评意见。第3–6节则提供了有关上述缺陷的实证证据。第7节对研究结果进行了全面分析。第8节则给出了结论。

2. 波兰的科学评估体系
2.1节概述了参数化评估的方法,重点阐述了波兰的相关原则和科学背景,为便于理解,省略了一些细节。第3–8节则介绍了理解该体系设计问题所需的一些具体细节。该体系的完整描述分散在多部法律文件中(Act, 2018;Act, 2024;Ord, 2020;Ord, 2022b;Act, 2024),其中Ord, 2022b是最主要的文件。2.2节则回顾了以往关于该评估体系的研究。

2.1 行为准则
研究人员的声明
研究人员和博士生必须正式声明自己所从事的学科领域,需向所在的工作单位或教学机构提交相关声明:
- 学科声明:员工最多可以同时从事两个学科的研究,且不能在超过两所机构工作。他们可以自行决定在每所机构申报哪些学科,只要在任何时候涉及的学科总数不超过两个即可。员工可以在同一所机构申报两个学科,只需将工作时间按75%、50%或25%的比例分配给这两个学科,确保比例之和为100%。学科声明在之前的声明两年后才能修改,不过时间比例可以随时调整。博士生则只需声明一个学科,或者整个知识领域,后者由一组预先确定的学科构成(参见Tra, 2024)。
- N值声明:N值表示某机构在某一特定学科中聘用的全时当量人数,这一数值被视为该机构在该学科的主要工作力量。每位员工在任何时候都只能在一家机构中声明属于N值范围。员工可以随时修改自己的N值声明。博士生则无需进行N值声明,也不计入N值中。
- 成果授权:研究人员需授权所在机构使用他们在特定学科中的论文成果和知识产权。作者只能声明在评估期间自己参与研究的学科。而且,作者只能在一个学科、一家机构中声明某一项具体的研究成果。不同的合著者可以选择声明不同的学科。作者并非必须授权所有的研究成果。

虽然这些声明是由研究人员正式提交的,但实际上,各机构会对声明的内容进行严格审核。

机构进入评估范围的依据
如果截至评估期最后一年的12月31日,某机构在所有学科中的全时当量人数总和(包括那些不在N值范围内的)达到12人及以上,那么该机构就需要接受评估(Act, 2024, Art. 265.4)。机构可以通过制定自身的招聘策略来决定哪些学科需要接受评估。在2022年的评估中,每家机构接受的评估学科数量从1个到29个不等,平均为8个(RAD, 2025)。

高级评估算法
评估首先从参数化评估开始,此时各个学科仍然是独立的,但机构之间会使用相同的学科特定评估标准进行比较。评估结果会为每对“机构-学科”组合赋予A(最佳)、B+、B或C(最差)等等级。那些满足额外要求的A级“机构-学科”组合还会接受专家评估,以确定是否可以获得A+等级。

参数化评估主要包括三个核心标准:C1为科学水平,C2为经济效益,C3为社会经济影响。C1标准着眼于机构研究人员发表的论文和拥有的知识产权。C2标准则考虑来自外部资助机构的资金以及企业委托的研究项目带来的收入。C3标准则根据专家的打分来评估研究的社会经济重要性、研究成果的传播范围以及跨学科特性。不同学科中这些标准的权重各不相同(Ord, 2022b)。在所有学科中,C1标准的权重最高,占比从50%(如工程科学领域)到70%(如人文科学领域)不等;C2标准的权重在10%(如人文科学领域)到35%(如工程科学领域)之间;C3标准的权重则在15%(如工程科学领域)到20%(如人文科学、医学科学领域)之间。各项标准的得分会与科学评估委员会设定的参考值进行对比,该委员会是波兰科学部的下属机构,负责为A到B等级设定参考值。每对“机构-学科”组合会获得其在对比测试中通过的最高等级。关于对比测试的具体流程,可参考第5节。

C1. 科学水平
C1标准要求分别统计研究人员在每个学科和每家机构发表的论文及获得的知识产权所对应的分数。如果论文的最终出版日期或知识产权的授予日期落在评估期内,就可以获得相应分数。

波兰科学部偶尔会公布各类期刊和会议名单(Ann, 2024;Ord, 2020),以及出版商名单(Ann, 2021;Ord, 2020),同时还会给出这些期刊、会议和出版商的得分,以及它们所属的学科类别。期刊和会议分别可获得20、40、70、100、140或200分,而出版商则可获得80分或200分。虽然论文的得分通常取决于其发表的期刊,但具体的计算方法更为复杂,需要考虑多种因素,具体详见表1。每篇论文都会确定两个系数:•k:授权该机构在某一学科中使用这篇论文的作者总数;•m:作者总数。表1展示了C1类别中论文的得分情况;作者份额和得分仅适用于属于k范畴的作者;如果所有作者的份额都被使用,则该学科可获得上限分数;关于k和m的定义,请参考正文。为简化表述,此处省略了(Ord, 2022b)中提到的特殊案例。

期刊、会议或出版商得分 作者份额 作者得分 学科得分
200 1/k 200/k 200
200(HFST、书籍) 1/k 300/k 300
200(HFST、编辑内容) 1/k 150/k 150
200(章节) 1/k 50/k 50
200(HFST、章节) 1/k 75/k 75
140 1/k 140/k 140
100 1/k 100/k 100
80 1/km 80/km 80
km 80(章节) 1/km 20/km 20
km 80(HFST) 1/km 120/km 120
km 70 1/km 70/km 70
km 40 1/km 40/km 40
km 20 1/m 20/m 20
k/m 20(章节,不在列表内) 1/m 5/m
k/m 5(不在列表内) 1/m 5/m
k/m 评论、翻译 文章价值的50%

各作者的份额和得分是通过表1中的公式确定的。如果所有作者的份额都符合3.1节中规定的限制,那么该学科就能获得最后一列所示的分数,不过实际获得的分数可能会更低。对于属于多个类别的论文,比如由列入部级名单的出版商收录在会议论文集中的会议论文,其分数分配取决于文献条目向部级系统报告的方式。这类书籍的编辑工作和作者身份被视为不同的成果,因此该机构可以同时为这两方面获得分数。表2列出了知识产权对应的得分。只要至少有一名研究人员授权该机构使用某项知识产权,该机构就能在所有相关学科中获得相应分数。

表2 C1类别中知识产权的得分
知识产权类型 得分
在波兰专利局获得认可的欧盟专利或经合组织成员国专利 100
波兰专利 75
由该机构的研究人员共同撰写的、授予公司的专利 50
由欧盟植物品种办公室或波兰作物测试研究中心授予的植物品种培育者专有权 50
实用新型 30

最终的C1得分是通过将论文和知识产权所获得的分数相加后除以N来计算的,同时需遵循3.1节中规定的各种限制条件。对于大多数学科而言,C1得分的范围在0(最差)到大约700?730(最佳)之间;而人文、家庭、社会及神学(HFST)科学领域的得分则在1000?1030之间(参见Tra, 2024)。不过在2022年的评估中,仅有1%的机构学科得分超过445分。由于具体数值取决于N以及Ord (2022b)中的四舍五入规则,不同机构的得分存在差异。需要注意的是,不同学科之间的得分分布差异很大。

C2. 财务影响
C2包括三个与研究财务影响相关的子标准:研究项目的价值、合同研究工作的价值,以及研究成果商业化带来的收入。项目评估时,需将表3中所列的该项目以波兰兹罗提计价的数值,除以表4中列出的资助机构指定的特定除数。货币兑换为波兰兹罗提时,需使用波兰(2025年)在资金拨付当日提供的平均汇率。在HFST领域,最终得到的总分数还需再乘以2。需要注意的是,Ord (2022b)中提到的实际除数有所不同;不过在表4中,我们已根据其他段落中的说明对相关内容进行了调整和补充。

表3 C2项目中用于计算得分的基准值
角色 独立负责人 非学术负责人
基准值(波兰兹罗提) 是 是 否 全部价值 是 否 否 全部价值 否 否 否 机构内的价值 否 否 是 机构内价值的2倍

表4 C2项目中用于计算得分的除数
资助机构 除数
波兰机构:ABM、FNP、NCBR、NCN、NPRH、NAWA+NCN 50000
欧洲研究委员会 10000
欧盟委员会 16666.67
其他外国机构 33333.33
波兰机构:NAWA、MNiSW ∞

公司委托的研究项目所对应的波兰兹罗提价值以及研究成果商业化带来的收入,需除以10000才能得出相应分数。所有合同研究及商业化活动所产生的总分数上限为10N。C2得分是所有子标准所得分数之和除以N。C2得分的最小值为0,没有上限。在2022年的评估中,仅有1%的机构学科得分超过90分。

C3. 社会和经济影响
在C3评估中,专家们会根据机构提交的文字描述以及标准化的评估表格,对研究的社会和经济影响进行打分。根据不同机构的规模N,它们需要准备2到5份描述材料。表5详细介绍了C3的三个子标准,说明了各自的评估维度及对应分数。每份描述都会单独进行评估,得分计算方式为(影响力+重要性)×跨学科系数,得分范围在0到120之间。如果某份描述缺失、与所在学科或研究无关,或者影响力或重要性为0,则得分为0。整体C3得分则是各份描述得分的算术平均值。在2022年的评估中,仅有1%的机构学科获得了最高的C3得分,即为120分。

表5 C3的子标准细分
影响力 分数 重要性 分数
跨学科 多元 国际或整体层面 50 突破性 50 是 1.2
国家或广泛层面 40 显著性 25 否 1.0
区域或部分层面 30 有限性 10 地方或局限层面 20 可忽略不计 0
边缘性 0

2.2 批评意见
目前关于波兰评估体系的技术性研究文献十分匮乏,大多数研究都集中在哲学层面的分析以及非技术性的定性评价上。下面,我们将先介绍现有的技术性研究,然后再探讨那些更具哲学色彩的分析观点。

计算C1得分实际上是要解决一个多重背包问题1(Pisinger, 1999),这是一种组合优化问题,属于众所周知的强NP完全问题(Pisinger, 1999, Wojtczak, 2018)。因此,目前还不存在能在确定性多项式时间内精确求解该问题的算法。政府部门用于解决这一问题的具体算法并未公开,包括其精确度或近似误差的相关信息(Horla, 2025)。正因如此,包括Horla(2025)以及本文作者在内的不少人,都开发了自己的软件来估算或优化评估结果。

表1中基于作者份额来分配发表得分的方法,会在机构排名中引入偏差2,从而导致排名结果与其他常见排名方法存在较大差异。Korytkowski和Kulczycki(2019b)指出,这种偏差的强度会因不同学科的合作模式而有所差异。在物理学、医学、考古学、历史学和数学等领域,由于普遍存在大量共同作者的情况,这种偏差会比其他学科更为明显。

哲学层面的批评主要针对参数化方法在评估科学本质的定性特征时的不足之处(Skrendo和Wo?niak, 2025)。此外,还有其他一些质疑,比如存在鼓励在不良期刊上发表文章的隐性动机(Hensel, 2023),以及缺乏衡量财政支出效能的定性指标(Kieraciński, 2023)。

Bujnicki等人(2024)在提出一个新的评估框架时,虽然没有提供实证证据,但也指出了在科学成果汇报过程中可能存在不公平优化的现象。在第3节中,我们将基于来自波兰机构的实际数据,展示有关汇报优化应用的实证研究结果。Musia?-Karg和Itrich-Drabarek(2025)抱怨称,存在一种有悖事实但缺乏方法学依据的倾向,即更倾向于小型机构而非大型机构。在第4节中,我们将从统计学角度证明存在基于机构规模的偏差。2024年的一项行业调查显示(Rep, 2024),人们普遍对通过将参数化得分与评估委员会设定的、标准不透明的参考值进行比较来划分科学类别的做法感到不满。在第5节中,我们将从技术层面说明基于参考值直接控制类别分配的可能性。同一项调查还提到了波兰科研机构中从事评估工作的研究人员可能存在利益冲突的问题。在第6节中,我们将通过统计方法证明这种冲突确实存在,并且与评估结果之间存在关联。

3. 科学成果汇报的优化
在这里,我们指出了C1参数化评估设计中的缺陷,这一缺陷使得机构可以通过对研究成果进行巧妙的会计处理来提升自己的得分。第3.1节用运筹学术语给出了该问题的正式表述,以此补充第2.1节中对C1的描述。第3.2节从理论上阐述了提升C1得分的方法。第3.3节则利用真实数据展示了这种提升的潜力。第3.4节提出了相应的法律修订建议,以防止此类滥用行为。

3.1 正式问题表述
计算C1得分实际上是要解决一个多重背包问题(Pisinger, 1999),其核心是在各种研究成果中分配不同的份额给不同研究人员的“容量有限的背包”,同时还要满足其他各种约束条件。该问题可以通过混合整数线性规划(MILP,Williams, 2013)来形式化表达,具体如下:

定义1 C1得分
设RE和RS分别表示员工和博士生群体,统称为研究人员R=RE∪RS;研究人员可能同时承担两种角色,在这种情况下,某些针对员工的约束条件会有所放宽(详见下文)。设P(r)表示研究人员r∈R所撰写的论文集合,I(r)表示该研究人员参与的知识产权(共同)创作集合,二者统称为研究成果O(r)=P(r)∪I(r)。设Y表示评估年度的集合,例如Y={2022,2023,2024,2025}。设D(r, y)表示在年份y∈Y的12月31日时,研究人员r∈R所涉及的学科集合,而DS(r, y, d)∈{0.25, 0.5, 0.75, 1.0}则表示在年份y∈Y的12月31日时,研究人员r∈R在学科d∈D(r, y)中所占的学科份额。设D(r)=?y∈YD(r,y)表示研究人员r∈R涉及的所有学科。设FTE(r, y)∈(0, 1]表示在年份y∈Y的12月31日时,员工r∈RE在该学科中的全时当量。那么,

N(d)=1|Y|∑r∈RE:risincludedinNDS(r,y,d)

FTE(r,y)是指学科d中的平均全时当量,通常被称为N值。

设ar,o,d∈{0, 1},如果研究人员r∈R授权该机构在学科d∈D(r)中使用成果o∈O(r),则为1,否则为0。那么,sr,p,d∈[0, 1]表示研究人员r在学科d中的论文p中所占的作者份额,而vr,p,d∈[0, 300]表示该作者份额对应的得分,这两项都是根据表1中的规则计算得出的。设vi,d∈[0, 100]表示根据表2中的规则计算得出的、知识产权i在学科d中的价值。设ur,o,d∈{0, 1}是一个二元变量,如果对于研究人员r∈R来说,成果o∈O(r)被用于计算学科d中的C1得分,则该变量取值为1,否则为0。设1(x)是一个指示函数,当x为真时返回1,否则返回0。

那么,学科d中的C1得分可由下式给出:

(1) max1N(d)(∑r∈R:d∈D(r)∑p∈P(r)ar,p,d·vr,p,d·ur,p,d︸论文+∑i∈I(r):r∈R,d∈D(r)vi,d·1(?r∈R(ar,i,d·ur,i,d=1))︸知识产权

同时需满足以下约束条件:

(1) 研究人员r∈R在所有论文中的作者份额总和,不得超过Ord, 2022b, §17.1–4中规定的个人限额lr,该限额对于员工而言为1到4之间的实数,而对于博士生则为4:

3?r∈R:d∈D(r)∑p∈P(r)sr,p,d·ur,p,d≤lr

(2) 员工r∈RE所撰写的、得分不超过120分的专著,以及这类专著中的章节和编辑内容中所对应的作者份额总和,不得超过Ord, 2022b, §17.1,3a,4中规定的个人限额lmr,该限额也为1到2之间的实数:

4?r∈RE:d∈D(r)∑p∈P(r):pismonograph,chapter,oreditorialsr,p,d·ur,p,d≤lmr

(3) 所有论文中的作者份额总和,不得超过学科d的限额3N(d)减去各项处罚后的数值:∑r∈R:d∈D(r)∑p∈P(r)sr,p,d·ur,p,d≤3N(d)?pa?pN?pD,其中p*为各类处罚项:pa用于惩罚那些未授权使用至少一篇论文的员工,pN用于惩罚那些在某个学科工作但未被纳入任何机构N名单中的员工,pD则用于惩罚那些未声明所属学科的员工:

pa=3|{r∈RE:d∈D(r),??ar,p,d=1}|
pN=6|{r∈RE:d∈D(r),risnotincludedinNinanyinstitution}|
pD=6|{r∈RE:D(r)=?}|

(4) 员工r∈RE所撰写的、得分不超过120分的专著,以及这类专著中的章节和编辑内容中所对应的作者份额总和,不得超过Ord, 2022b, §17.7中规定的限额,该限额根据学科d的不同而分别为0.15N(d)或0.6N(d):

∑r∈R:d∈D(r)∑p∈P(r):pismonograph,chapter,oreditorialsr,p,d·ur,p,d≤0.15N(d)or0.6N(d)

(5) 博士生以及未被纳入N名单中的员工在所有论文中的作者份额总和,不得超过0.6N(d):

∑r∈R:d∈D(r),r∈RS∨risnotincludedinN∑p∈P(r)sr,p,d·ur,p,d≤0.6N(d)

定义1中的问题在涉及ur,p,d时是线性方程,不过目标函数中的1(x)和?这两个非线性项除外,不过通过添加辅助约束和变量,这些非线性项也可以很容易地转化为线性形式,此处为简化起见未作处理。因此,对于拥有数千名研究人员的机构而言,要在不同学科中处理这个问题,使用配备Gurobi Optimization, LLC(2025)求解器的现代个人电脑,通常只需数十秒即可完成。

C1得分取决于研究人员r∈R的成果集合O(r),以及通过ur,o,d变量所体现的成果选择方式。这一点并无争议:成果越好,该机构的研究质量就越高。C1得分会受到个别研究人员的限制、学科限制以及各种处罚措施的约束。在其他条件相同的情况下,如果成果在所有研究人员之间分配较为均匀,那么C1得分就会比那些成果集中体现在少数顶尖研究人员手中的情况更高。这种设计本身就是有意为之的(Jus, 2018)。

3.2研究成果的虚假核算我们发现,C1评分会受到与研究质量无关的因素影响,比如研究人员在特定年份y所从事的研究领域D(r, y)以及他们所获得的授权ar,o,d。尽管2024年的法律第343.9条要求研究人员的研究领域应与其最新学位及当前科研贡献相匹配,但这一规定实际上较为宽松,研究人员通常会遵循所在机构的研究政策。而获得授权的标准则更为模糊,仅规定了没有授权时的处罚措施(上述约束条件3),并且每项授权最多只能涉及两个研究领域(2024年法律第265.12条),这就使得研究人员同样倾向于遵守机构政策。随后,我们将定义1中的D(r, y)和ar,o,d从参数转变为变量,并将目标函数从针对单个研究领域的C1评分改为对机构内所有评估研究领域的平均值。这样的转变使得模型变为非线性模型,不过大部分部分仍可有效线性化为混合整数线性规划问题,每个研究领域仅剩一个二次约束。具体的技术转换过程不在本研究的范畴之内。为简洁起见,我们未展示该模型的结构,实际上该模型包含58种变量类型和101种约束类型,在中型机构的实际应用中,变量数量可多达数十万,约束数量则可能超过一百万。我们将这个模型称为广义模型,以区别于原始模型。使用相同的优化工具(Gurobi Optimization, LLC, 2025),广义模型可在几小时内得到最优解,若D(r, y)为常数,则求解速度还会更快。由于保密原因,我们无法分享该软件的源代码,但会在下文中展示其效果。广义模型的解决方案包括:•每位员工在每一年度所从事研究领域的声明;•每位员工在每一年度被纳入N组的声明;•每位研究人员在特定研究领域使用研究成果的授权,同时需满足机构内所有评估研究领域的C1评分平均值不能过高的要求。通过调整以下各项即可得到最优解:•授权分配ar,o,d:研究人员r可以授权在不同研究领域d使用某项研究成果o。同一项研究成果o可以为多个研究领域的C1评分带来贡献,而对于那些有100篇以上论文以及所有知识产权的研究人员来说,他们的所有研究领域都能因此获得该成果的评分。这是为支持跨学科研究而设计的机制(Jus, 2018)。•论文的k系数:只要不同研究领域中k值的总和不超过该机构作者总数,同一篇论文在不同领域可使用不同的k值。这些k值会影响表1中所显示的作者贡献比例,从而能够根据每位研究人员的限制精确调整论文的“规模”。•研究领域分配D(r, y):研究人员r可以在不同年份将工作时间分配到不同的研究领域,这样他们的研究成果就可以在多个领域中被统计。•处罚分配:通过在不同研究领域之间重新分配研究人员和研究成果,那些规模更大(或实力更强)的研究领域可以承担更多的处罚,从而降低处罚对其造成的影响。由于研究领域声明和纳入N组的声明无法追溯调整,因此必须每年使用现有数据来进行优化,这会导致结果并非最优。而授权则可以在评估期结束后很快下达,并且可以自由修改,等到所有数据收集完毕后进行最终计算,从而确保得到最优结果。3.3 实证分析我们利用2025年12月6日通过RADon系统(RAD, 2025)从波兰所有科研机构获取的公开数据,展示了在2026年的评估中,如何通过对研究成果的虚假核算来影响C1评分。RADon是POLon(POL, 2025)的公共接口,根据法律规定,波兰的科研机构必须提交科研和教学相关数据。RADon提供的是部分数据,会排除一些机密和敏感信息。例如,它会列出当前的在职科研人员,但不包括历史就业记录、全时工作比例、职位信息以及关于研究领域和N组归属的详细内容。它只列出已经开始攻读博士学位的学生,其他人员则不在其中。虽然RADon会公布研究人员使用知识产权的授权情况,但不包括论文相关的授权信息。对于所有缺失但必要的数据,我们采用了合理的默认值,例如:•所有员工的全时工作比例均为1。•所有当前的工作关系都持续到评估期结束为止。•所有确定了研究领域的员工都在从事科研或科研教学工作,而没有确定研究领域的员工则从事其他类型的工作。•所有宣布了研究领域的员工都被纳入N组。•所有的研究领域和N组归属声明都是在员工入职时确定的,之后不会更改。•对于那些拥有两个研究领域的员工,他们75%的工作时间用于主要研究领域,25%用于次要研究领域。这些假设会导致计算误差。通过使用POLon提供的多家未公开机构的完整数据,我们发现了以下偏差:N组的数值通常被高估了约13%,因缺乏论文而产生的处罚被高估了大约500%,而C1评分则通常被低估了20%-30%。尽管这些误差的幅度看起来很大,但在这项研究中,其绝对值的重要性并不大,只有趋势和相对增幅才是有意义的。我们对所有波兰机构在三种不同情况下的C1评分进行了估算:•不进行优化:按照输入数据中的设置来授予研究人员使用论文的授权,同时尽量减少因没有论文而产生的处罚,而知识产权的授权则保持不变。这是默认设置。•优化k值:授予研究人员使用研究成果的授权,目的是使平均C1评分达到最高,这其中也包括对论文k系数的优化。•同时优化k值和研究领域:调整研究人员在2023年至2025年期间所申报的研究领域,再结合对授权的优化,共同提升平均C1评分。完整的分析结果可作为补充材料存在于相关数据库中。表6展示了一家具有代表性的波兰大学的C1评分概况。在研究人员和研究成果保持不变的情况下,仅通过调整授权情况,C1评分的平均增幅为4%,最高增幅可达17%;而如果同时调整授权情况和研究领域声明,评分的平均增幅为13%,最高增幅可达67%。这表明,除了研究质量之外,还有其他因素也可能显著提升参数化评估的得分。表6. 一家具有代表性的波兰大学在未经优化和经过优化后的C1评分及N组数值估算。空白单元格表示无相应数据。不进行优化优化研究领域k值增幅k值,研究领域增幅考古学237.25246.424%278.4517%民族学与文化人类学297.76298.200%302.362%哲学332.16336.841%295.22-11%历史学278.88279.450%290.124%语言学208.65209.520%212.332%文学研究221.71223.261%216.13-3%文化与宗教研究223.58224.220%250.7312%艺术研究253.95255.781%266.765%信息与通信技术351.14373.746%414.4918%药理学与药剂学309.58350.0313%438.3142%医学科学228.70267.8817%264.2916%健康科学210.65227.978%352.4167%经济学与金融学294.43304.393%366.7825%社会经济地理与空间管理264.09270.933%315.2219%安全研究313.49312.610%315.581%社会传播与媒体研究197.04199.081%214.389%政治与行政科学280.55285.432%306.799%管理与质量研究309.56317.433%328.986%法学247.26250.661%249.661%社会学224.00233.324%291.8130%教育科学231.33235.062%251.039%心理学321.20346.858%342.647%国际关系350.90351.820%332.33-5%天文学291.12328.2813%442.2052%计算机与信息科学317.44318.460%387.0322%数学311.31319.923%313.471%生物科学300.41334.6311%342.8614%化学科学384.45412.597%425.0711%物理科学375.10393.135%397.246%地球与环境科学278.13298.547%308.6411%3.4 改进建议这种滥用现象的根源在于将某项研究成果的分数分配给不同作者及不同研究领域的机制:每位作者都可以授权机构将同一项研究成果归入不同的研究领域,而所有被授权的研究领域都可以获得该项研究成果对应分数的100%。在论文中,作者的贡献比例还取决于该研究领域内的授权数量,因此取消部分授权有助于让作者的贡献比例保持在合理范围内。防止滥用的一种有效方法 adalah建立一种不受作者授权影响的分配机制。例如,我们可以将某项研究成果在某一研究领域中作者的贡献比例定义为twk,其中t是根据现行规则计算出的该研究成果的总分值,w∈{25%、50%、75%、100%}表示该作者在研究开始时在该领域的工作时间占比,k则是该机构内作者的总数。这种方法可以通过以下方式有效确定C1评分:•避免多个研究领域都获得同一项研究成果全部分数的情况。每个研究领域获得的分数应与该领域内作者的总工作时间成正比。•防止研究成果在不同作者之间的贡献比例出现变动。每位作者在某项研究成果中的贡献比例应保持一致,这样才能符合其自身的贡献上限。•避免事后调整研究领域声明。研究成果应与作者在成果产生时所申报的研究领域相对应。4. 机构规模的偏差第4.1节提供了理论依据,第4.2节则利用2022年的评估数据给出了实证证据,表明C1评分存在偏向大型机构的倾向,导致顶尖的大型机构评分被低估,而普通小型机构的评分则会被大幅提高。第4.3节介绍了相应的改进措施。4.1 统计依据如定义1中所所述,C1评分是一种加权截断均值,当某些研究成果的分数达到上限时就会发生截断。实际上,这种机制会剔除整个研究领域以及个别研究人员中表现最差的成果,因为C1评分是所有符合上限条件的成果子集中的最大值。一旦确定了最优的成果子集,C1评分就会被计算为该子集内各成果对应的分数值按照一定权重计算出的算术平均值。具体来说,方程式(1)中的所有ar,i,d和ur,i,d都会被设定为0或1,只有当ar,i,dur,i,d为1时,对应的分数值vr,p,d才会被计入。权重是隐含的,因为分母N(d)已经考虑了全时工作比例、不同研究领域的贡献占比以及研究人员的类型(雇员或博士生)。定理1学科d中的C1评分遵循正态分布N(μ,σ/N(d)),其中μ和σ分别是d所涉及的各类机构中C1评分的学科特定均值和标准差。证明我们的证明基于林德伯格-莱维中心极限定理(CLT,Ruppert, 2011)。首先,我们需要证明CLT的前提条件成立:•研究人员各自的分数贡献都是独立同分布的随机变量,而且•这些随机变量的方差σ2是有限的。假设Pr,d是一个随机变量,代表研究人员r在学科d中的分数贡献,该贡献需符合定义1中所规定的上限,即0≤Pr,d≤c,E(Pr,d)=μ,E((Pr,d?μ)2)=σ2,其中c、μ和σ均为常数,但具体数值未知,μ∈R≥0,σ∈R≥0。设f(Pr,d)为波兰各机构中该学科所有研究人员对应的Pr,d的概率密度函数。那么,所有的Pr,d都是同分布的随机变量。对于任意两位研究人员r1和r2的分数贡献Pr1,d和Pr2,d,有f(Pr1,d)=f(Pr2,d)=f(Pr,d),且f(Pr1,d)f(Pr2,d)=f2(Pr,d)=f(Pr,d,Pr,d),同时所有的Pr,d都是独立同分布的。根据方差的性质,有E((Pr,d?μ)2)=E(Pr,d2)?E2(Pr,d)。第一项是有限的,因为E(Pr,d2)≤E(c2)=c2<∞。第二项也是有限的,因为E2(Pr,d)=μ2<∞。因此E((Pr,d?μ)2)=σ2<∞。最后,根据上述结论,学科d中的C1评分可以表示为C1=1/N(d)∑r∈R:d∈D(r)Pr,d。根据中心极限定理,当N(d)趋于无穷大时,C1评分近似服从正态分布N(μ,σ/N(d))。在实际应用中,对于足够大但仍然有限的N(d),C1评分的分布仅近似服从N(μ,σ/N(d))。并没有普遍适用的规则来判断N(d)何时足够大,通常的经验法则是取30到50之间。定理1的一个直接后果是,C1评分的分布以均值μ为中心,而且随着N(d)的增大,这种集中趋势会愈发明显。本质上,C1评分与均值μ的偏差δ∈R的大小会随着δ和N(d)的增大而减小。因此,那些拥有较大N(d)且研究成果出色的顶尖机构,其C1评分只会略高于μ,而那些N(d)较大但研究成果较差的机构,其评分则会略低于μ。相反,那些规模较小但研究成果优异的机构,其C1评分会显著高于μ,而那些规模较小且研究成果不佳的机构,其评分则会远远低于μ。有关这些假设背后统计依据的更多细节,可参阅本文末尾的局限性部分。4.2 实证证据我们利用从相关部门通过公开渠道获取的2022年评估数据,来验证我们的理论研究成果。图1展示了各学科C1评分的直方图,以及正态分布概率密度函数的估算值。与中心极限定理的预测一致,某个学科接受的评估机构越多,直方图与概率密度函数的匹配度就越高。除了那些评估机构数量较少的学科外,大多数学科的数值分布趋势都非常明显。下载:下载高分辨率图片(864KB)下载:下载完整尺寸图片图1. 2022年评估中所有学科的C1评分直方图;横轴表示C1评分,纵轴表示概率,曲线则表示估算得到的正态分布概率密度函数。图2展示了2022年评估中各学科的C1评分分布与N(d)之间的关系。这一结果表明定理1在实际情况中同样成立:N(d)越大,C1评分越集中在均值附近。阴影区域表示95%置信区间,即C1得分落在此范围内的概率为95%——只有5%的机构得分会超出这一范围。下载:下载高分辨率图片(906KB)下载:下载完整尺寸图片图2. 2022年所有学科中C1得分相对于N的概率分布;纵轴对应C1得分,横轴对应N;点代表各个机构;阴影部分为95%置信区间。表7列出了不同学科d下各N(d)值对应的95%置信区间上限。当机构得分低于这些数值时,其概率为97.5%,而高于这些数值的概率仅为2.5%。因此,这些数值与机构规模无关,概率均等。例如,对于考古学领域,当N(考古学)=120时,机构获得C1=314.62或更高分数的概率为2.5%。若机构规模缩小十倍,即N(考古学)=12,由于规模较小,它获得C1=392.45或更高分数的概率仍为2.5%。总体而言,当N=60时,机构获得与N=12时相同或更高C1得分的概率为5.86×10??,降低了四千倍;当N=120时,这一概率为2.86×10?1?,降低了八千七百万倍;当N=180时,这一概率仅为1.59×10?1?,降低了1.5万亿倍(按较小比例计算)。表7. 不同学科d下,以97.5%概率可达到的最高C1得分。学科N=12N=60N=120N=180考古学392.45329.53314.62308.02哲学290.45239.15226.99221.61历史297.86257.30247.69243.43语言学299.92242.27228.60222.55文学研究285.02240.18229.56224.85文化与宗教研究274.45226.40215.02209.97艺术研究279.89235.50224.98220.32建筑与城市规划320.10224.86202.30192.30自动化、电子与电气工程545.12393.42357.47341.55信息与通信技术515.64398.83371.15358.89生物医学工程544.07435.19409.39397.96化学工程568.61458.85432.84421.32土木工程与交通557.21393.87355.17338.02材料工程597.96467.70436.84423.16机械工程616.50446.94406.77388.97环境工程、矿业与能源588.16419.74379.83362.15药学与制药564.72428.60396.35382.06医学科学496.80383.69356.89345.01体育科学380.82332.33320.83315.74健康科学480.76362.78334.82322.43林业461.94374.72354.05344.89农业与园艺529.29401.31370.98357.55食品与营养技术524.35424.58400.94390.47兽医科学483.59376.22350.77339.50动物科学与渔业431.54365.07349.32342.34经济学与金融369.31290.04271.26262.94社会经济地理与空间管理333.81277.65264.34258.44安全研究298.66241.78228.30222.33社会传播与媒体研究269.44228.96219.36215.11政治与行政科学294.06252.45242.59238.23管理与质量研究366.20282.31262.43253.62法律304.78255.22243.48238.28社会学284.00241.40231.30226.83教育研究282.59228.54215.74210.06教会法239.65216.94211.56209.17心理学384.79306.87288.40280.22天文学456.81406.05394.02388.69计算机与信息科学699.86499.58452.13431.11数学432.69322.36296.22284.64生物科学510.49406.29381.60370.66化学科学537.13449.79429.10419.93物理科学506.16412.24389.98380.12地球与环境科学459.65358.80334.91324.32神学286.53253.39245.53242.054.3. 修改建议偏差的根本原因在于不同机构所评估的研究人员数量存在差异。均值以及其他集中趋势量度,如中位数,都有一个基本特征:样本大小N与该量度观测方差C1之间存在负相关关系。最简单的修正方法可能是设定一个固定大小的样本X,只有排名前X的研究人员会影响C1得分,其余的则被忽略。对于那些N(d)<X的机构,可以通过重新排序研究人员来填补这一限制。这种简单的方法可以确保C1得分不会受到机构规模的影响。不过,这种方法似乎更有利于大型机构,因为它们更容易用顶尖研究人员填满X这个名额。根据所采用的政策,这可能是可取的,也可能不可取,因为大型机构相比那些拥有类似比例顶尖研究人员的小型机构,往往能产生更大的影响。另一种方法是根据N的值对C1值进行重新缩放,从而得到一个无偏指标:(2)C1′=C1?μsN,其中μ是某一学科内所有机构的平均C1得分,s是标准差的无偏估计值。由于C1′呈正态分布N(0,E(C1′2)),因此没有上限,这不利于解读。实际上,应将其标准化到期望的范围,比如[0, 1]。不过这种方法也存在一些缺点:任何机构的C1′得分都会受到其他所有机构得分的影响,这些影响通过μ和s体现出来;而且,依赖于复杂计算的公式很难被利益相关者接受,因为它难以理解。5. 标准聚合的主观偏差第5.1节介绍了将C1-C3标准下的参数化得分聚合为科学类别的算法。第5.2节基于决策理论,说明了该算法如何纳入评估者的主观偏差。第5.3节利用2022年的评估数据展示了这种偏差。第5.4节则提出了修改建议。5.1. 将标准得分聚合为类别Ord(2022b)的附录2概述了将C1、C2和C3得分合并为A、B+、B和C四个类别的流程。该算法针对每个学科和类别独立运行,将C1、C2和C3得分与评估委员会规定的预设参考值以及排名阈值进行比较,通过三项测试来确定相应的类别:定义2 标准聚合设Ci?≥?0为第i项标准上的得分,i∈{1, 2, 3}。设Ri,c?≥?0为第i项标准在类别c∈{A,B+,B}下的参考值。设0%?≤?G?≤?100%为排名阈值。则比较结果定义为:(3)Vc=W1P1,c+W2P2,c+W3P3,cPi,c={?1若Ci≤Ri,c1+G2(1+G)Ci?Ri,cG(Ri,c+Ci)?1若Ri,c1+G≤Ci≤(1+G)Ri,c1若(1+G)Ri,c≤Ci其中0%?≤?Wi??某一机构所处的特定前沿决定了它与其他机构的偏序关系。处于较高前沿的机构优于处于较低前沿的机构。处于同一前沿的机构则无法比较,或者如果在所有标准上得分相同,则视为同等优秀。处于不同前沿的机构也可能因为彼此不存在支配关系而无法比较。以下基于支配关系的算法可确保为各机构客观分配类别:1.利用支配关系找出所有的帕累托前沿。2.为各个帕累托前沿分配类别时需满足:•处于同一前沿的机构获得相同的类别(一致性)。•处于后续前沿的机构所获得的类别不得优于前序前沿的机构(单调性)。该算法以2022年信息与通信技术领域的评估结果为例进行说明,而补充材料则涵盖了所有学科的情况。图4用二维投影中的彩色点展示了39家机构在七个帕累托前沿上的分布情况,这些投影是从原来的三个维度C1、C2、C3中提取的C1、C2维度,因此不同前沿之间可能会出现重叠。该图还显示了类别边界以及根据定义2计算出的各类类别。需要说明的是,最终的类别分配在申诉之后发生了变化。类别边界的坐标取决于机构的C3值:对于类别c,其参考值为C3=R3,c;如果C3??R3,c且未超出另一上限,则坐标向左下方移动。下载:下载高分辨率图像(671KB)下载:下载全尺寸图像图4. 2022年信息与通信技术领域的帕累托前沿,以及根据定义2为C1?C3计算的类别边界和类别本身,不过仅在C1和C2维度上展示;边界位置取决于机构的C3值(详见文字说明);机构名称已匿名处理。基于支配关系的类别分配是一种完全有序的分配方式;通过将处于同一前沿的机构都分配到同一类别,消除了它们之间的不可比较性。这种分配完全依赖于机构之间的相对得分以及专家在处理不同前沿之间的类别调整时的主观判断。虽然对于这些决策没有严格的指导原则,但专家们可以考虑其他因素,比如波兰科学在世界上的地位。重要的是,所有决策都必须遵循C1?C3的顺序要求。6. 利益冲突评估人员来自被评估的机构,他们是活跃的研究人员,这就可能产生利益冲突。6.1节展示了第5.1节中提到的算法参考值与那些聘请了该机构及相关机构成员的机构的绩效指标之间的统计关联,这些指标既包括方程(3)中的数值,也包括所分配的类别。6.2节则提出了相应的解决建议。6.1. 统计评估我们确定了三个参与确定参考值及最终类别分配的机构:•科学评估委员会:负责开展评估工作、提出参考值并向政府部门提供类别建议的咨询机构。•科学与高等教育部(原教育与科学部):负责做出最终类别决策的监管机构。•国家信息处理研究所(OPI PIB):为评估工作提供信息技术支持的辅助机构。科学评估委员会的成员由该部门任命,任期为四年,他们都是来自那些同样要接受评估的波兰科研机构的活跃研究人员。因此,所有委员都应是这些机构内的活跃研究者。此外,该部门还会雇佣活跃研究人员担任部长、国务秘书等职务,这就导致了评估人员与被评估机构之间存在利益冲突。另外,由OPI PIB开发的SEDN(SED,2025)、POLon(POL,2025)和PBN(2025)等信息技术系统也带来了另一种利益冲突。由于OPI PIB能够独家访问这些系统的内部数据以及其他机构上报的数据,它因此拥有显著的优势。而且,OPI PIB的理事会还会从不同机构中挑选活跃研究人员,任期也为四年,这进一步加剧了利益冲突。我们基于2022年的评估数据,以及2022年6月23日从教育部(MSH,2022)、科学评估委员会(SEC,2022)和OPI PIB(OPI,2022)网站上下载的活跃研究人员名单,进行了统计分析。研究人员的身份及其所在机构的信息已在RADon系统(RAD,2025)中得到核实。根据这些数据,我们共确定了48个姓名,相关信息见附带的电子表格。图5根据定义2展示了Vc的对比结果,将那些雇佣存在利益冲突人员的机构标记为红色,其他机构标记为绿色。Vc?≥?0表示属于c类或更高级别的类别。存在利益冲突的机构的数值分布明显偏向右侧,说明其表现更好。其中0?≤?VA?
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号