《Orthopaedics & Traumatology: Surgery & Research》：Is “Top 100 most cited” reliable to identify influential articles? Example of OTSR
编辑推荐：
背景：基于“Top 100高被引”文章的文献计量学评估常被用于识别在特定领域具有重大影响的出版物，并突出趋势和进展。在Web of Science中，近900篇出版物标题中包含“Top”和“Cited”一词。然而，这种识别方法倾向于偏袒较早的文章，因为引用次数
背景：基于“Top 100高被引”文章的文献计量学评估常被用于识别在特定领域具有重大影响的出版物，并突出趋势和进展。在Web of Science中，近900篇出版物标题中包含“Top”和“Cited”一词。然而，这种识别方法倾向于偏袒较早的文章，因为引用次数是累积的。假设：使用规范化引用指标更能识别高影响力文章。方法：提取了2009年至2024年间发表在OTSR期刊上的文章和综述，研究人员比较了三种文献计量指标：总引用次数（Times Cited）、类别规范化引用影响力（Category Normalized Citation Impact, CNCI）和全球Top10%指标。结果：共分析了OTSR的3404篇出版物。16篇出版物位居全球Top1%，280篇位居全球Top10%。不同选择模型之间观察到中度一致性（Ka=0.54）。讨论：这些结果与先前研究一致：使用按出版年份和学科领域规范化的引用指标提供了一种更可靠的方法来识别特定研究领域内有影响力的出版物。证据级别：IV；回顾性研究。
1. Introduction
引言部分指出，在临床医生、研究人员和医院部门中，“发表或灭亡”的压力空前增强，这源于个人目标（职业晋升、研究经费、学位）和集体目标（患者招募、领域可见性、研究活动资金）。科学产出显著增加，例如PubMed中索引的文章数量在2016年至2022年间增长了约47%。因此，识别在领域内具有强大影响力的期刊和文章变得至关重要。传统上，期刊声誉基于影响因子（Impact Factor, IF），该因子由过去两年发表的文章获得的引用次数计算得出，例如OTSR在2024年的IF为2022和2023年发表文章和综述在2024年的平均引用次数。然而，该指标存在局限性：作为平均值，它无法反映引用的变异性（一些文章被高度引用，而另一些从未被引用），且在不同学科间差异很大。尽管如此，同一学科内高IF期刊通常被视为最具可见性和影响力。引用次数也常用于识别学科内有影响力的文章，基于长期“Top被引”文章的文献计量评估被广泛用于识别在特定领域有重大影响的出版物，并突出趋势和进展。在Web of Science（WoS）中，近900篇出版物标题包含“Top”和“Cited”。然而，这种方法导致选择和解释偏差，因为引用次数是累积的，较早的文章更可能积累大量引用。为减少原始引用次数的偏差，提出了多种替代指标，包括CiteScore（将引用窗口延长至四年）、SCImago期刊排名（SCImago Journal Rank, SJR，根据期刊声望加权引用）和来源标准化每篇论文影响力（Source Normalized Impact per Paper, SNIP，实现跨学科公平比较）。还开发了按出版年份和学科领域调整的规范化引用指标，如类别规范化引用影响力（Category Normalized Citation Impact, CNCI）以及Top 1%和Top 10%指标，这些指标评估文章相对于同一学科全球平均水平的相对影响力，从而允许跨长时间段比较国家、机构或研究主题。尽管有国际建议（DORA, Leiden），文献计量指标仍有时用于评估研究人员。h指数衡量生产力和影响力：研究人员的h指数为H，表示其发表了H篇每篇至少获得H次引用的文章。为减少职业生涯持续时间的影响，提出了m指数和g指数等变体。在骨科领域，文献计量分析相对较少，尽管对此类评估的兴趣正在增加。因此，使用客观且方法论稳健的工具来评估文章影响力，同时最小化潜在偏差，显得重要。本研究的目标是：（1）介绍并比较用于识别最具影响力文章的不同方法；（2）将这些方法应用于OTSR上发表的高影响力文章。假设是规范化指标减少了原始引用次数的偏差，并提供了更稳健的文章影响力评估。
2. Material and methods
在材料与方法部分，详细描述了数据提取和统计分析过程。由于OTSR于2009年创刊，研究人员识别了自2009年以来在Web of Science中索引的所有出版物。由于近期出版物的引用次数在发表后第一年内高度不稳定，仅纳入2009年至2024年间发表的原创文章和综述。然后使用InCites平台（Clarivate Analytics, London, UK）提取文献计量指标。对于每篇出版物，收集以下数据：总引用次数（Times Cited）、类别规范化引用影响力（Category Normalized Citation Impact, CNCI），该指标按出版年份和学科领域调整引用次数，学科领域由期刊的Web of Science类别（WoS Category）定义（WoS包含254个主要学科类别），CNCI为2表示该出版物获得全球平均引用次数的两倍；以及百分位排名，指示文章是否属于全球Top 1%（全球引用次数最高的前1%，按出版年份和学科调整）或全球Top 10%（全球引用次数最高的前10%）。基于这些数据，研究人员识别了：引用次数前10%的出版物（Top10Cit）、CNCI值前10%的出版物（Top10CNCI）以及OTSR在骨科类别中全球Top 10%的出版物（Top10%）。在统计分析中，由于文献计量指标不服从正态分布，数据以中位数和四分位距呈现。三种排名方法之间的一致性使用Cohen's Kappa系数评估，Kappa值在0.81-1.00之间视为极好，0.61-0.80视为良好，0.41-0.60视为中度，0.21-0.40视为弱，0-0.20视为可忽略，负值视为差。统计分析使用SAS软件版本9.4（Cary, NC, USA）进行。
3. Results
结果部分包括原始和规范化引用的分析、指标间的一致性以及OTSR全球Top 10%文章的特征。首先，对每篇文章原始引用次数的分析显示，根据出版年份呈明显下降趋势。在2009年至2024年间识别的3347篇出版物中，每篇文章的平均引用次数从2009年的31.6下降至2024年的3.1，降幅近90%，最新文章下降明显。中位引用次数在同一时期从19降至2，第一和第三四分位数（Q1和Q3）也分别从9降至1和从35降至5，进一步支持这一趋势。相比之下，使用CNCI对同一时期进行分析显示出不同模式。所有文章的中位CNCI仍低于全球参考阈值（CNCI=1），表明至少一半的OTSR出版物低于国际平均水平。然而，CNCI在2009年至2024年间有所改善，从0.54增至0.80。第三四分位数在几乎所有年份都超过阈值1.0，因此约25%的文章达到或超过规范化引用的全球平均水平。Q3也呈上升趋势，2024年达到1.61，反映了发表文章质量及其全球影响力的逐步提升。原始引用指标（Top10Cit）与按领域和出版年份规范化的引用指标（Top10CNCI）之间的比较分析突出了显著的时间演变。2018年之前，基于原始引用次数排名前10%的出版物数量明显多于使用Top10CNCI指标识别的数量，例如2013年有39篇原始引用文章，而CNCI文章仅有14篇。从2019年开始，这一趋势逐渐逆转：Top10% CNCI的文章数量显著增加，2022-2024年间达到35-36篇，而基于原始引用的Top10%文章数量几乎可忽略不计。图3展示了不同指标下Top10%文章数量的不同时间模式：基于原始引用次数的Top10%文章主要集中在2009-2016年，而Top10% CNCI文章相对稀少；相反，在2020-2024年期间，Top10% CNCI文章数量多于基于原始引用的Top10%文章。2017-2019年似乎是两个指标之间的过渡期。这些发现证明了基于原始引用次数的指标存在强烈的时间效应，而CNCI测量则相反，似乎与发表文章数量呈正相关。关于指标间的一致性，Top10Cit与Top10CNCI之间显示中度一致性（Ka=0.547; 95% CI: [0.500-0.594]），确认这些指标虽然部分收敛，但捕捉了科学影响的不同维度。在346篇Top10Cit文章中，204篇也出现在Top10CNCI中，而138篇存在于Top10CNCI中的文章未出现在原始引用排名中，说明了指标规范化的独特贡献。Top10Cit与Top10%之间的一致性与前一种情况相当（Ka=0.540; 95% CI: [0.490-0.589]），反映了这两种基于引用量的方法之间的一致性。相反，Top10CNCI与Top10%之间的一致性显著更高（Ka=0.890; 95% CI: [0.864-0.917]），表明这两种规范化指标几乎完全一致，意味着Top10%和Top10CNCI测量了非常相似的文献计量现实。因此，这些一致性分析论证了在评估文献科学影响时，应明确区分原始和规范化指标。在OTSR全球Top 10%文章的特征方面，从WoS数据中识别出280篇在研究期间内发表且符合全球Top 10%标准的文章。其中205/280（73.2%）来自至少包含一位法国作者的工作，其余75/280（26.8%）来自英国、中国、日本、瑞士、美国、加拿大和德国等国家。在205篇有法国作者的文章中，192篇（93.7%）有法国通讯作者。对CNCI等规范化指数的分析显示，这280篇文章对全球文献有显著影响，其CNCI范围从2.10到10.3，意味着某些文章的引用率比全球骨科文献高十倍。对这些文章的分析也证明了使用规范化指标的必要性，因为一些高CNCI（>8）的文章的引用次数低于其他较老的文章。这280篇文章中有16篇（5.7%）在文献计量影响方面被视为Top 1%，其中11篇由至少一位法国作者发表。
4. Discussion
讨论部分总结了研究目标，即识别OTSR中在引用方面影响最大的文章。文献综述显示，Web of Science中有超过1100篇“Top最被引”文章。然而，文献计量专家知道原始引用次数存在许多偏差：（1）引用是累积的，较早的文章积累更多引用；（2）引用次数取决于出版物类型：综述和建议通常被高度引用；（3）引用次数取决于学科领域。2016年，Haunschild等人重申了这些偏差。因此，使用原始引用次数作为影响衡量标准是不合适的。2021年，Pech等人比较了原始引用次数与规范化指标，对92,593篇属于WoS“信息科学与图书馆科学”类别的出版物进行研究，得出了相同结论。PubMed数据库现在通过iCite门户提供自1990年以来在PubMed索引的出版物的引用指标。2016年，Hutchins等人描述了一种规范化引用指标——相对引用比（Relative Citation Ratio, RCR），该指标按出版年份和学科领域规范化引用次数。在回顾的文献中，大多数文章描述的是“Top 50最被引文章”或“Top 100最被引文章”，这些截断值完全是任意的，不能反映一个领域的科学产出。本研究未使用Pech或Hutchins提出的指标，而是选择评估另外两个指标的相关性：CNCI和全球Top 10%。这两个指标均按出版年份和学科领域调整；CNCI是参数性的，因为它涉及引用的平均值，而Top 10%是非参数性的，因为它仅基于引用百分位数。结果显示，按原始引用次数选择明显偏向较早的文章，且原始引用次数排名与基于CNCI和Top 10%的排名仅中度一致。最后，应注意到CNCI或全球Top 10%所使用的规范化是在学科层面进行的（在本例中，跨越整个WoS类别“骨科”），而非仅基于OTSR期刊。因此，建议放弃原始引用次数，转而使用基于百分位数的规范化指标（Top 1%、Top 5%、Top 10%等）。这些指标在文献计量学中被广泛使用，因为它们稳健且反映了学科的发表数量，并在一些国际排名中应用，如莱顿排名。应用于OTSR期刊，这些规范化指标突出了几个反复出现的主题，反映了法国在骨科和创伤学研究方面的历史。OTSR克服了之前限制法国创新国际可见性的语言障碍。在2010-2024年期间，OTSR的影响因子（IF）持续显著增长，表明国际认可度不断提高，从2010年的0.5增至2012年超过1.0，2020年超过2.0，2021年达到峰值2.425，随后在2024年下降至2.2。这一上升轨迹代表了该指标在十年内增长近五倍，且似乎与CNCI相关，而与原始引用次数相反，后者似乎与之呈负相关。关于OTSR发表的全球Top 1%文章，不出所料，包含一些综述文章，这些文章通常被更频繁地引用。较新的贡献涉及患者报告结局指标（Patient Reported Outcome Measures, PROMs）的评估，这些指标越来越多地用于研究以衡量功能结局，并计算最小临床重要差异（Minimal Clinically Important Difference, MCID），以评估评分变化。最后，在这些全球Top 1%出版物中，有骨科护理的革命性变化，如“拯救半月板”运动或Alain Charles Masquelet的诱导膜技术结果。
5. Conclusion
结论部分明确表示，“Top 100最被引”方法不适合识别“有影响力”的文章，因为它偏向较早的文章。因此，建议放弃原始引用次数，转而使用基于百分位数的规范化指标（Top 1%、Top 5%、Top 10%等）。
