《Journal of Informetrics》:Who gets seen in the age of AI? Adoption patterns of large language models in scholarly writing and citation outcomes
编辑推荐:
生成式AI工具的快速扩散正在重塑学者生产与传播知识的方式,引发关于谁受益、谁被落下的疑问。研究人员分析了超过23万篇Scopus收录的计算机科学文章(2021–2025),以描述学术写作中AI相似性(AI-likeness)风格标记如何随地区与学术可见度共同演
生成式AI工具的快速扩散正在重塑学者生产与传播知识的方式,引发关于谁受益、谁被落下的疑问。研究人员分析了超过23万篇Scopus收录的计算机科学文章(2021–2025),以描述学术写作中AI相似性(AI-likeness)风格标记如何随地区与学术可见度共同演化。使用零样本检测器Binoculars作为AI相似度的代理,研究人员记录了写作中的风格变化,并检查其与ChatGPT于2022年11月30日公开发布前后引用计数、期刊 placement(放置)及全球引用流的关联。研究人员强调,Binoculars分数捕捉的是与LLM输出在风格上的相似度,而非确认的AI使用,所有报告关系均为关联而非因果。研究人员记录了若干模式:2022年末后各地区写作的AI相似度上升(在检测器分数、二分类及独立于检测器的词汇标记指数中皆然),全球东部(Global East)作者偏移更明显;在控制期刊与期刊声望特征后,AI式写作与更高引用计数相关,该关联在控制或排除生成式AI主题论文后仍持续,并在第二个神经检测器下复现,但在较粗的词汇度量下衰减;更具人类风格写作反而与更高层级期刊placement相关;全球引用网络显示可见度轻微向东倾斜,同时区域内聚类更紧,而国家层面AI相似度变化与网络位置变化无关。这些模式与生成式AI扩散下学术写作与认可的重配置一致,但无法排除同期主题转移、生产力效应及计算机科学内生成式AI研究兴起等替代解释。
研究背景方面,2022年11月30日ChatGPT的公开发布标志着知识生产方式的拐点。既有的两派解释框架包括“语言均衡器”透镜(认为AI工具降低非英语母语作者的风格劣势,从而提升其可见度)与“把关/本真性”透镜(认为精英期刊持续奖励“人类式”写作,使AI辅助文本被视为不够本真或严谨)。已有文献多基于预印本,且常只测采用率或单一结果(如引用溢价),未能在经同行评审的期刊层级内联立考察采用、引用、跨区引用流、期刊层级与国家级网络位置。计算机科学领域全球东部作者份额大幅增长,且是生成式AI风格文本扩散的领头学科,因此研究者选取Scopus收录的2021年1月至2025年1月计算机科学(COMP)文献,以描述性、条件关联设计回答三个研究问题:RQ1考察AI相似度风格标记在东西部与各大洲的演化;RQ2考察AI相似度与引用计数、跨区引用流、高层级期刊placement的关联及地区/前后期异质性;RQ3考察ChatGPT引入后国家级引用网络的中心性、连通性与传导性变化。该研究发表于《Journal of Informetrics》。
关键技术方法方面,研究人员通过Elsevier开发者门户Scopus Search API与Abstract Retrieval API,按月检索计算机科学文章(DOCTYPE(ar)),获238,218篇去重文章;链接2024 SJR(Scimago Journal & Country Rank)得155,177篇期刊匹配子集,完整案例回归样本96,012篇。AI相似度采用零样本检测器Binoculars(Hans等2024)对摘要打分,低分更似LLM输出、高分更似人类;并以独立词汇标记指数作辅证。地区划分采用Global East/West二分(含八大陆细分),首作者隶属国作归属。回归以OLS预测binoculars_score,并控制Post-GPT时期、SJR四分位、期刊h-index等;引用与期刊层级关联用条件关联模型;国家级引用网络用238,218篇元数据构建,计算中心性等指标前后对比。
研究结果部分,引言(1. Introduction)提出两透镜与三RQ,明确设计为描述性条件关联而非因果。相关工作(2. Related work)回顾AI检测器(Binoculars、RAIDAR、Verma等)与AI在学术中的语料级证据(Geng & Trotta的35% CS arXiv摘要LLM风、Liang等的17.5%峰值、Cheng等的引用溢价、Lin等的非母语词汇差距缩小)。方法论(3. Methodology)给出数据收集与Binoculars检测细节,表1显示Post-GPT系数约?0.0039(p<0.001),West hemisphere系数+0.0017(p<0.01),Post-GPT×West +0.0013(p<0.05),SJR Q2–Q4系数负向,说明后期整体风格更AI化、西部基线更人类化、低SJR期刊风格更AI化。RQ1相关结果显示2022末后各洲AI相似度上升,全球东部偏移幅度更大。RQ2相关结果显示控制期刊声望后AI式写作与高引用计数正相关(排除生成式AI主题仍稳,第二神经检测器复现,粗词汇度量衰减),但更具人类式写作与高SJR层级期刊placement正相关,跨区引用流无单向倾斜而网络可见度略向东聚。RQ3相关结果显示国家级引用网络中心性略有向东移,区域内聚类增强,但国家AI相似度变化与网络位置变化不相关。
讨论与结论翻译浓缩如下:研究人员强调所有发现为观察性条件关联,Binoculars低分不等同确认LLM使用,零样本检测器对非母语英语有已知偏差,西部作者前期humanness更高与本底偏差一致。AI相似度上升与引用溢价并存、但与高层级期刊placement负相关,这一背离支持“语言均衡器”在引用侧部分成立、“把关/本真性”在期刊侧仍生效的混合解读;全球东部写作风格更快AI化伴随引用网络轻微东倾与区内聚类收紧,但国家级风格偏移不直接预测网络位置变化。无法排除同期计算机科学内生成式AI主题自身兴起、生产力效应与选题迁移等混淆。贡献在于用同行评审期刊语料联立五类结果、按Global East/West拆分、以SJR层级桥接编辑把关机制,补预印本单结果研究之缺;局限为Scopus相关性排序前5000抽样非均匀、首作者国归属简化跨国合作、检测器风格偏见未校正。结论上,生成式AI扩散正同时重配置学术写作风格与认可结构,但尚不能断言特定机制起作用,需后续因果设计区分。