《Publications》:A Hybrid BWM-GRA-PROMETHEE Framework for Ranking Universities Based on Scientometric Indicators
编辑推荐:
基于科学计量指标的大学排名常依赖补偿性聚合模型,使得极端值主导评价,且对离群值与不稳定赋权程序敏感,降低了排名可靠性与可解释性。研究人员提出一种混合BWM–GRA–PROMETHEE(BGP)框架,结合基于判断赋权的最佳-最差法(Best-Worst Meth
基于科学计量指标的大学排名常依赖补偿性聚合模型,使得极端值主导评价,且对离群值与不稳定赋权程序敏感,降低了排名可靠性与可解释性。研究人员提出一种混合BWM–GRA–PROMETHEE(BGP)框架,结合基于判断赋权的最佳-最差法(Best-Worst Method, BWM)、抗离群归一化的灰色关联分析(Grey Relational Analysis, GRA)与非补偿性超越排序法偏好排序组织方法(Preference Ranking Organization Methods for Enrichment Evaluation II, PROMETHEE II)。该框架应用于专家验证的科学计量指标体系,生成更稳定且行为基础的排名。结果表明,所提方法在权重与阈值扰动下保持稳定性,即便在离群污染情景下亦维持排名一致性。对比实验进一步证明BGP优于加性比率评估(Additive Ratio Assessment, ARAS)、多属性边界近似面积比较(Multi-Attributive Border Approximation Area Comparison, MABAC)与理想解相似度排序技术(The Technique for Order of Preference by Similarity to Ideal Solution, TOPSIS),取得最高Spearman秩相关。本研究贡献了统一评价框架,协同解决科学计量排名中三大方法学挑战:离群敏感、补偿效应与数据依赖赋权的不稳定性,为研究人员与政策制定者提供更可靠且严谨的研究绩效评估基础。
研究背景方面,研究绩效评价已成为大学质量与成功的关键指标,Scimago机构排名(SIR)、URAP、NTU与莱顿排名等全球系统多以发表量与引文数等科学计量指标为核心,但统计聚合方式难以处理多维、重尾且含离群值的科学计量数据,且缺乏一致性校验与敏感性分析。现有多准则决策(Multi-Criteria Decision-Making, MCDM)研究多引入教育、财务或调查指标,或采用熵权、CRITIC、MEREC等客观赋权与ARAS、TOPSIS、MABAC等补偿性聚合,前者受离群与偏态干扰,后者允许单指标极高表现掩盖其他维度缺陷。为同时克服赋权不稳、归一化离群敏感与补偿扭曲,研究人员开展本研究。
研究人员开展的研究为:以2020–2024年Scopus与SCImago Journal Rank(SJR)门户获取的100所印度尼西亚大学期刊论文数据为例,经Delphi法(7位专家,1–9 Likert,Aiken’s V≥0.80、中位数≥7、IQR≤1)筛出5项标准指标——SJR分数、国际协作、总引文数、Q1期刊发文数、发文生产力;以最佳-最差法(BWM)由专家判断得权重(SJR 0.3366、Q1 0.2473、引文 0.2185、生产力 0.1050、国际协作 0.0637,群体一致性Kendall’s W=0.730,p<0.001,个体CR≤0.0305);以灰色关联分析(GRA,分辨系数ζ=0.5)将原始矩阵转为灰关联系数(Grey Relational Coefficient, GRC)矩阵(值域0.33–1.00);以PROMETHEE II采用V型线性偏好函数(无差异阈值q=10%、偏好阈值p=60%各指标极差)计算离开流?+、进入流??与净流?=?+???得完整排名。结论为:BGP在权重±90%扰动与(q,p)阈值扰动下排名前序不变;在引文与SJR乘8离群污染30情景下,Spearman ρ=0.9985、SRD=98.7、SR@5=0.99、Max ΔRank=5.73、RIR=0.52,Friedman χ2=82.03(p=1.13×10?17),Nemenyi检验BGP均显著优于ARAS、MABAC、TOPSIS。该文发表于《Publications》,意义在于为科学计量排名提供同时抵御离群、抑制补偿、脱离数据依赖赋权的统一方法学底座。
主要关键技术方法概括:研究人员采用Scopus API与SJR门户抽取2020–2024年100所印尼大学期刊论文(剔除会议、书籍等非期刊类型)构成样本队列;以Delphi法+Likert+Aiken’s V+Kendall’s W完成指标筛选与专家共识验证;以BWM(1–9标度、BO/OW向量、minimax优化、CR≤0.1)获专家驱动权重;以GRA(min-max初归一、理想参考序列、全局偏差界、ζ=0.5求GRC)做抗离群关系化变换;以PROMETHEE II(V型偏好函数、统计化q/p阈值、聚合格式指数、?+/??/?)做非补偿超越排序;最后以权重与阈值敏感性分析、×8乘性离群污染30情景、Spearman/SRD/SR@k/MaxΔRank/RIR及Friedman–Nemenyi统计检验完成稳健性比对。
研究结果部分,4.1节“指标构建结果”经Delphi保留5指标,Kendall’s W=0.730(p<0.001)证专家一致;4.2节“BWM赋权结果”七专家BO/OW矩阵得个体权重均CR≤0.0305,AIP聚合后SJR最高权0.3366,证质量导向甚于数量/协作;4.3节“GRA结果”原始引文177–130951经初归一与GRC压缩至0.33–1.00,UNIV-1等多近理想,证GRA抑离群且保序;4.4节“PROMETHEE II结果”以GRC与BWM权入V型函数(q=10%、p=60%极差),UNIV-1(?=0.97703)、UNIV-4(0.782374)、UNIV-2(0.7292)居首,末位?+=0、??≈0.0378,K-means依?分高/中/弱三类,散点?+–?显示非补偿结构;4.5节“验证”中4.5.1敏感性分析示权重10%–90%变、引文(q,p)三水平变均不改前列,4.5.2比较分析在引文/SJR×8污染30情景下BGP各项稳健指标最优,Friedman–Nemenyi证差异显著非随机。
讨论部分总结:研究人员指出BWM使权重脱钩数据方差,反映战略优先;GRA以ζ压缩极端值同时保留序关系,优于min-max/z-score/log;PROMETHEE II的q/p与超越逻辑防单指标掩瑕,非替代性成立;BGP三阶段序贯(优先权重→抗离群变换→非补偿排序)在理论与实证上令Spearman高、SRD低、SR@k稳,可供科研监测与政策资源配置。结论部分译文:BWM所得权重CR低于阈值,证指标间判断一致,SJR、引文、生产力、Q1、国际协作五指标权重合理论;GRA将极端值与量纲异质压缩至0.33–1.00关系空间,免离群扭曲;PROMETHEE II取V型函数q=10%、p=60%极差限偿得均衡排名;稳健分析证BGP结构稳定与非补偿性显著。局限为仅Scopus/SJR源、仅印尼样本、ζ=0.5未做专门敏感;未来可扩WoS/Dimensions/OpenAlex、跨国样本、增撤稿等成本型指标、调ζ、迁其他MCDM域。BGP为科学计量大学排名提供稳定、透明、可支持研究绩效提升决策的框架。