《Frontiers in Research Metrics and Analytics》：Beyond league tables: a multidimensional and rank-aggregation assessment of Saudi universities under vision 2030
编辑推荐：
全球大学排名日益影响高等教育政策和机构基准制定，然而主要排名体系在其指标、权重、标准化和聚合程序上存在显著差异。这引发了对单一排名表所得结论稳健性的质疑。这一问题对沙特阿拉伯尤为关键，因为沙特愿景2030下的人力能力发展计划设定了增加沙特大学进入全球前100和
全球大学排名日益影响高等教育政策和机构基准制定，然而主要排名体系在其指标、权重、标准化和聚合程序上存在显著差异。这引发了对单一排名表所得结论稳健性的质疑。这一问题对沙特阿拉伯尤为关键，因为沙特愿景2030下的人力能力发展计划设定了增加沙特大学进入全球前100和前200名的目标，并引用了QS、泰晤士高等教育（THE）和上海软科排名。本研究考察了QS、THE和世界大学学术排名（ARWU）在2022至2025年对齐期间内代表沙特大学的一致性。跨排名覆盖范围和位置一致性通过杰卡德重叠系数、斯皮尔曼相关系数和肯德尔相关系数进行评估。采用博达计数法、中位数排序法和科普兰聚合法构建共识排名，并结合跨排名轮廓分析和帕累托评估，以及在替代权重和排名区间设定下的敏感性分析。总体而言，QS和THE显示出较强的位置一致性，2025年斯皮尔曼相关系数达到0.932，而同一年QS与ARWU的一致性较弱（ρ = 0.437）。三种聚合程序产生了大致一致的共识结构，尽管领先地位在2025年对方法敏感：博达计数法将沙特国王大学排在首位，而中位数排序法和科普兰聚合法则将法赫德国王石油矿产大学列为第一。跨排名轮廓分析进一步显示，阿卜杜勒阿齐兹国王大学、沙特国王大学和法赫德国王石油矿产大学在2024年和2025年均同时处于帕累托前沿的非支配状态，表明单一的共识排序可能掩盖不同排名体系输出之间的差异。政策阈值分析同样在三个体系中产生了不同的前100名和前200名数量及机构身份。总体而言，QS、THE和ARWU提供了相关但不等效的大学地位表征。因此，结合跨排名比较、排名聚合和跨排名轮廓评估，可以支持在沙特愿景2030下对基于排名的机构和政策结果进行更透明的监测和解读。
论文解读文章
研究背景与问题提出
全球大学排名已成为高等教育治理中的重要工具，深刻影响着机构声誉、学生择校、国际合作、战略规划乃至国家政策制定。然而，排名的表面简洁性往往掩盖了其背后复杂的决策过程。指标选择、数据来源、标准化方法、权重分配以及聚合程序都会对最终的排名表产生实质性影响。因此，排名不应被视为对某种普遍定义的“机构质量”的中立测量，而是体现特定大学卓越性概念的评价框架。这一区分在使用排名作为机构和国家政策绩效指标时尤为重要。
QS世界大学排名、泰晤士高等教育世界大学排名和上海软科世界大学学术排名体现了这种方法的多元性。尽管三者都在全球范围内评价大学，但它们所测量的内容以及组合指标的方式存在巨大差异。ARWU主要侧重研究导向，强调国际公认的科学成就和研究产出；QS则结合文献计量指标与大量的声誉、就业能力、国际化等相关指标；THE从教学、研究环境、研究质量、国际视野和产业五个维度评价大学。因此，同一所大学在不同体系中可能占据截然不同的位置。
对于沙特阿拉伯而言，这些问题具有特殊的政策意义。沙特愿景2030下的人力能力发展计划（HCDP）明确将提高教育机构的排名列为其目标之一，并设定了增加沙特大学进入全球前100和前200名的具体指标。重要的是，该政策框架指定QS、泰晤士高等教育和上海软科排名作为衡量这一目标的国际体系。这就产生了一个独特的评估问题：国家的进步正在通过三个定义和衡量大学卓越性方式不尽相同的排名体系来考量。一所大学可能在某一体系中满足政策相关阈值，而在另一体系中却处于截然不同的位置。
研究方法概述
研究人员采用纵向、非干预性的定量研究设计，数据完全来源于QS、THE和ARWU三大排名系统在2022至2025年间发布的公开机构层面数据。研究框架包含四个互补组成部分：跨排名覆盖率和一致性分析、机构排名变异的纵向评估、共识排名聚合、以及跨排名轮廓与帕累托评估，辅以稳健性和敏感性分析。关键技术方法包括：使用杰卡德系数量化机构覆盖重叠度；采用斯皮尔曼相关系数和肯德尔相关系数评估位置一致性；应用博达计数法、中位数排序法和科普兰聚合法三种结构不同的程序构建共识排名；通过跨排名轮廓分析和帕累托优势识别保持多维度信息的机构；以及通过离散和连续权重空间分析、排名区间端点分析等方法进行稳健性检验。
研究结果
3.1 各排名体系的机构覆盖情况
三大排名体系在2022至2025年间对沙特大学的覆盖范围存在显著差异。QS的沙特上榜机构数从2022年的14所增至2025年的20所，THE从15所增至26所，而ARWU则始终保持较高的选择性，2022年仅收录7所，2025年为13所。能够同时在三个体系中进行直接比较的机构数量远少于单个体系，三体系交集在2022年仅为4所，2023年和2025年为9所，2024年为8所。杰卡德系数证实，各排名并未包含相同的机构群体。QS与THE的重叠度从2022年的0.381提升至2025年的0.704，而QS与ARWU的重叠度始终较低，介于0.235至0.474之间。
3.2 跨排名位置一致性
成对排名相关性显示，三个体系呈正相关但不可互换。QS和THE整体上表现出最强且最持久的一致性，其斯皮尔曼相关系数在2022年高达0.982，2025年为0.932，但在2023年和2024年则较为温和，分别为0.726和0.626。ARWU与其他体系的相关性普遍较弱。QS与ARWU的斯皮尔曼系数范围为0.437至0.632，THE与ARWU则为0.480至0.816。值得注意的是，在2025年QS与THE高度一致的同时，QS与ARWU的一致性却相当弱，表明即使覆盖重叠最大，三个体系作为一个整体也并未实现趋同。
3.3 纵向变异与机构分歧
对重复观测机构的纵向审查显示，公布的名次轨迹在不同排名体系间并不一定一致。研究选取了三所展现最明显持续性跨排名分歧的机构进行详细说明：沙特国王大学（KSU）在ARWU中的相对位置远强于在QS或THE中；法赫德国王石油矿产大学（KFUPM）则呈现相反模式，其在QS和THE中的位置远优于ARWU；阿卜杜勒阿齐兹国王大学（KAU）不仅在不同排名体系间存在分歧，在2023至2024年的方法论过渡期也出现了明显的变动。这些案例表明，跨排名分歧并非仅限于位置相近机构间的微小差异，同一机构有时在全球排名分布中占据截然不同的区间，且部分差异持续多年。
3.4 共识排名聚合
针对每年被三个体系共同排名的机构分别计算了共识排名。三种替代聚合方法总体上高度一致，博达与中位数的斯皮尔曼相关系数在四年间介于0.928至0.950，博达与科普兰的相关系数介于0.949至0.970。然而，领先地位并非完全独立于方法。KAU在2022和2023年是所有三种程序下的共识领先者，并在2024年保持博达和科普兰的第一位。但在2025年，博达将KSU排在第一位、KFUPM第二位，而中位数和科普兰则将KFUPM排在第一位、KSU第二位。这一差异源于ARWU与QS/THE之间显著的排名分歧。
3.5 跨排名轮廓与帕累托评估
跨排名轮廓分析将三个体系输出分别保留为独立维度而非压缩为单一共识位置。帕累托优势分析用于识别跨排名轮廓明确更强的机构。结果显示，KAU、KSU和KFUPM在2024年和2025年均同时处于帕累托前沿，意味着这三所机构各自在某些排名体系中表现更优，彼此之间无法被另一方完全支配。这表明单一的共识排序会掩盖这些重要的跨体系权衡信息。
3.6 稳健性与敏感性分析
稳健性分析考察了聚合方法、权重分配和排名区间处理三个方面的敏感性。三种聚合方法间的共识排序高度相关，表明整体共识结构较为稳定。权重敏感性分析显示，在等权重基线场景下，KAU在2022至2024年保持领先，但在2025年，领先地位对权重分配极为敏感。连续权重空间分析揭示，KSU和KFUPM各自占据了相当大的权重区域成为领先者，而KAU仅在ARWU权重较高时才成为领先者。排名区间端点分析表明，使用区间的下限或上限替代中点不会改变主要的共识排序结构。
3.7 沙特愿景2030下的政策解读
政策阈值分析发现，关于满足前100和前200标准的沙特大学数量和身份的判断在不同体系间存在显著差异。例如，2025年仅有KSU在ARWU中进入前100名，而没有任何沙特大学在QS或THE中进入前100名。在前200名方面，KSU在ARWU中达标，KFUPM在QS和THE中达标，而KAU则在所有三个体系中均未进入前200名。这表明，政策阈值达成情况是体系依赖的。
总结与结论
研究人员指出，QS、THE和ARWU提供了相关但不等效的大学地位表征。虽然三种聚合程序产生了大致一致的共识结构，但领先地位在2025年对方法敏感，且跨排名轮廓分析揭示了单一共识排序所掩盖的重要差异。政策阈值分析进一步证明了判断的体系依赖性。研究结论认为，结合跨排名比较、排名聚合和跨排名轮廓评估，可以支持在沙特愿景2030下对基于排名的机构和政策结果进行更透明的监测和解读。该方法旨在作为监测和解释工具，帮助政策制定者和机构领导识别结论是否跨排名体系保持稳定，区分稳健共识与方法敏感结果，并更透明地解读基于排名的政策阈值。
