利用大语言模型评估交通运输领域的开放科学状况
《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:Measuring the state of open science in transportation using large language models
【字体:
大
中
小
】
时间:2026年10月23日
来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4
编辑推荐:
- 首次对交通运输研究领域的开放科学实践进行的大规模评估。
- 一套可扩展的流水线,利用大语言模型(LLM)提取交通运输研究中的代码和数据可用性信息。
- 基于大语言模型提取的特征已通过人工标注数据集进行验证。
- 基于证据的建议,以加速交通运输研究中的开放科学。
引言
- 首次对交通运输研究领域的开放科学实践进行的大规模评估。
- 一套可扩展的流水线,利用大语言模型(LLM)提取交通运输研究中的代码和数据可用性信息。
- 基于大语言模型提取的特征已通过人工标注数据集进行验证。
- 基于证据的建议,以加速交通运输研究中的开放科学。
引言
开放科学倡议加速了众多学科的研究进展,包括计算科学(Peng, 2011)、心理学(Open Science Collaboration, 2015)和统计学(Stodden, 2014)。近年来,开放科学实践在交通运输研究社区中获得了越来越多的关注,这一点体现在《交通运输研究》期刊引入数据可用性声明中(Transportation Research Part C, 2025a)。值得注意的是,《交通运输研究C辑》在其宗旨与范围中明确强调并推广开放科学,指出"特别强调开放科学倡议以及推动大规模数据集的开放,以支持不同方法的可迁移性和基准比较(Transportation Research Part C, 2025b)"。然而,尽管在政策上取得了进展,开放科学实践在交通运输研究中被采纳和实施的程度仍然缺乏系统性的考察。
开放科学的理念(Woelfle et al., 2011)旨在使科学知识公开可用、可获取且可复用,正如联合国教科文组织(UNESCO)所定义的那样(UNESCO, 2022)。随着开放科学获得越来越多的认知(Gentemann, 2023; Winker et al., 2023),开放科学监测(OSM)已作为一项研究方向出现,并得到了联合国教科文组织的认可。开放科学监测不仅仅是记录台账:透明、负责任的度量是推动、评估和加速研究实践变革的实用机制。2025年,开放科学监测的核心原则得以确立(Bobrov et al., 2025),强调(i)相关性与重要性,(ii)透明性与可复现性,以及(iii)自我评估与负责任的使用。
开放科学涵盖了科学中可重复性和可再现性的概念(National Academies of Sciences et al., 2019),其中可重复性指使用相同数据和方法获得相同结果的能力,而可再现性指使用不同数据或方法获得相似结果的能力。使数据和代码公开可得是实现可重复性和可再现性的第一步,也是最关键的步骤(Crüwell et al., 2019),因为它使其他研究人员能够验证并在此基础上进行后续研究。人工智能研究社区近期的一项研究表明,就成功再现而言,共享代码的质量相比于其可用性本身是次要因素(Gundersen et al., 2025)。这凸显了开放代码和数据在促进可重复性和可再现性方面的关键作用,也促使我们对交通运输研究中的开放科学实践进行系统性测量,重点关注发表在《交通运输研究》期刊上的论文中数据和代码的可用性。这些动机促使我们构建一个可重复、低成本的系统,用于监测交通运输研究中的开放代码和数据实践,帮助该领域朝着更广泛的开放科学采纳方向稳步、基于证据地推进。
衡量开放科学实践的现状是一项复杂且资源密集型的工作(Stagge et al., 2019; Yang et al., 2020; Youyou et al., 2023)。传统做法是逐篇手动审查论文以评估数据和代码的可用性(Stagge et al., 2019),以及验证所提供资源的有效性。此类人工流程耗费大量人力和时间(Olszewski et al., 2023; Pineau et al., 2021; Seibold et al., 2021; Stagge et al., 2019),无法高效地扩展到大规模研究文章语料库。而且,在缺乏适当培训和明确指令的情况下,人工标注——尤其是涉及多名标注者时——很容易产生不一致且不准确的结果。近期一项研究(Riehl et al., 2025)开发了基于关键词和链接提取的自动化方法,以提高可扩展性。Riehl et al.(2025)提出的流水线具有可复现性和可扩展性,因此我们也在本研究中对其进行基准比较。然而,正则表达式往往无法捕获上下文信息,从而产生误报,例如将参考文献中的基准仓库或GitHub链接误判为共享的证据。表1总结了准确性与可扩展性之间的权衡关系。
此外,交通运输研究在衡量开放科学实践方面面临着独特的挑战,因为"数据与代码可用性"往往在概念上定义不明确,因此难以操作化。特别是,使用公开可获取的资源与使研究成果可供使用之间的界限经常模糊不清。例如,许多研究依赖于广泛使用的公开数据集,如NGSIM(美国交通部联邦公路管理局, 2016),但并未发布其为车辆跟随模型或换道模型校准等任务所创建的特定处理数据集或衍生数据集。在这种情况下,研究虽然受益于开放数据,但复制分析所需的研究就绪数据可能并不可用。相反,即使原始数据是专有或敏感的,研究人员通常也可以分享经过后处理的或聚合的衍生数据,从而实现部分或大幅度的复用。这些场景引发了一个测量难题:一篇论文应当被认定为"使用了公开可获取的数据"、"提供了数据"、两者兼有,还是两者皆无?这种模糊性意味着,交通运输研究中的数据和代码可用性并非二元对立的,而是涵盖了一个从最少依赖现有开放资源到主动传播可复用成果物的连续谱系。在采用任何方法进行测量之前,都需要预先正式化这些定义,以确保透明度和可复现性。
为解决这些挑战,本研究首先正式化了区分"使用或引用现有公开数据集"、"发布处理后的研究数据"和"发布研究代码"所需的操作性定义和决策规则。然后,我们引入一个兼顾准确性与可扩展性的自动化框架,用于测量交通运输研究中的开放科学实践。我们聚焦于全文论文中代码和数据可用性这一可观察成果物,开发了一套利用大语言模型提取流水线,以捕获关键词搜索和正则表达式无法获取的上下文信号。该流水线可处理10,000篇论文规模的Elsevier XML文件,识别成果物链接、分类可用性,并与人工验证数据集进行对比评估。
基于这些大规模提取的特征,我们回答以下研究问题:
(i)提供代码和数据可获取性的论文占比是多少?
(ii)哪些因素与代码和数据的可用性相关?
(iii)代码和数据可用性是否仅仅是时间问题,即开放科学行为在多大程度上受到激励驱动,还是外部政策是必要的?
本研究更宏大的愿景是为监测交通运输研究中的开放科学实践建立一个框架。我们并非强调当前的差距,而是将开放科学实践的衡量视为一种催化剂,使社区能够识别共同挑战、认可已有进展,并培育一种促进合作和可重复性的文化,从而推动交通运输研究的科学严谨性和创新。
本文的贡献总结如下:
(i)我们开发并实施了一套可扩展的流水线,利用大语言模型提取《交通运输研究》全文论文中代码和数据可用性及其相关因素。
(ii)我们用人工标注数据集验证了所有大语言模型提取的特征,并仅保留符合既定评分者间一致性标准的特征用于下游分析。
(iii)我们提供了首个大规模、全领域分析,揭示了交通运输研究中开放科学实践的现状,捕捉了时间、主题和地理因素对代码和数据可用性的影响,并概述了加速该社区开放科学的启示。交互探索器可在项目页面 https://www.rerite.org/MOST 上找到。
我们的工作范围聚焦于通过在线仓库分享研究中使用的代码和数据。开放学术术语的完整词汇表见Parsons et al.(2022)。开放科学和可重复性还有许多其他维度不在本文范围内,例如付费墙、机构访问权限、文档质量、计算可重复性等。我们希望这些内容能在未来工作中进一步探索。
本文其余部分组织如下。第2节将本研究置于交通运输开放科学和开放科学监测的相关工作中。第3节定义了用于识别数据和代码可用性的术语和操作性标准。第4节概述了全文数据集的整理和人工标注程序。第5节展示了自动特征提取流水线,包括元数据解析、主题建模、基于大语言模型的提取、一致性分析和后处理。第6节报告了描述性发现,并估计选择模型以考察与数据和代码可用性相关的因素。第7节讨论了结果和性能。第8节提供了实施指导和建议。第9节总结全文、概述局限性并指出未来研究方向。
节段摘要
开放势头初现
开放科学实践,包括开放获取出版、开放数据和开源软件,通过使研究材料透明和可获取来支持可重复性。交通运输研究中对开放科学原则的认知——特别是关于可用性、透明度和可重复性——在2010年代逐渐浮现。为解决现代交通运输研究中"数据洪流"问题、遵守美国政府政策变化并最大化研究投资回报,
定义与术语
开放科学代表了一种整合了众多概念的综合愿景(Parsons et al., 2022; Vicente-Saez and Martinez-Fuentes, 2018)。然而,使用如此宽泛的术语——涵盖从开放获取出版到一般知识共享等概念——会给本研究和相关特征提取带来不必要的歧义。因此,我们将开放科学实践的范围缩小,专门聚焦于与论文相关的数据和代码可用性。
交通运输研究各辑的全文论文数据集
我们整理了一个包含Elsevier《交通运输研究》期刊(具体为A辑至F辑,全文中以TR-A、TR-B至TR-F表示)以及《交通运输研究交叉视角》(TR-IP)在2019年至2024年间发表的研究论文数据集。
总共初步提取了10,990篇出版物。该数据集由XML格式的全文论文组成,通过Elsevier API自动检索。
自动特征提取
如图3所示,我们的流水线处理Elsevier XML文件以生成特征集。我们解析结构标签(例如xocs:meta、ja:head)以获取直接特征,同时采用统计方法和大语言模型提取派生特征。此外,我们通过Scopus Search API查询引用次数,作为我们的外部特征。
描述性统计与双变量检验
分析数据集包含10,480篇报告定量研究的论文(is_quantitative_study),属于全文长篇文章。表6提供了这些论文的描述性统计,按代码可用性组织。数据集中有528篇论文提供代码,略高于数据集的5%。总体而言,约29%的论文引用了可用数据,但只有4%的论文共享了数据仓库;其余69%的论文既未引用数据也未包含仓库。
图4
主要发现
本研究的结果为理解交通运输研究中的开放科学实践提供了领域级基线。分析不仅将代码和数据可用性视为总体指标,还展示了这些实践在不同出版场所、研究领域、地区和时间上的变化。这些发现有助于识别开放科学采纳正在兴起的地方、仍存在障碍的地方,以及研究生态系统的哪些部分可能需要针对性支持。
均值 代码
建议
我们从开放科学的视角提供基于证据的建议——不是将其视为目的本身,而是将其作为加速研究进展和加强科学诚信的推动力。因此,我们的建议侧重于务实性,并使期望行为与研究者激励相一致。总体而言,由于研究者的主要激励是发表论文和获得引用,我们认为出版商在影响交通运输领域的开放科学实践方面拥有最高的杠杆,因此我们
结论
我们的工作凸显,交通运输研究中采用开放科学实践的论文比例极低,仅有5%的论文共享代码仓库,4%的论文共享数据仓库。鉴于开放科学的益处以及众多其他领域已经采纳此类实践,交通运输研究领域进行改进既是必要的也是可能的。鉴于开放科学实践与引用或减少等激励因素之间没有显著关联,
生成式人工智能使用声明
在本工作准备过程中,作者使用了Google Gemini 2.5从科学论文中提取开放科学特征。在使用该工具/服务后,作者对内容进行了审查和编辑,并对所发表论文的内容承担全部责任。
致谢
本研究使用了通过Elsevier API访问的数据,并遵守Elsevier的文本与数据挖掘政策。
我们感谢交通运输工程可重复研究(RERITE)工作组为我们提供了建设和加强这一合作团队的机会。我们感谢同事们的反馈与支持,包括昆士兰大学的 Zuduo Zheng、国立公共工程学校(ENTPE)的 Christine Buisson。代码可用性:我们的代码公开可用,位于 https://github.com/RRinTransportation/OpenMOST,涵盖全文提取、基于大语言模型的特征提取以及统计分析。作者贡献声明:Junyi Ji:撰写——审阅与编辑、撰写——初稿、可视化、监督、软件、方法论、调查研究、形式化分析、数据整理、概念构思。Ruth Lu:撰写——审阅与编辑、撰写——初稿、可视化、软件、方法论、调查研究、形式化分析。Linda Belkessa:撰写——初稿、软件、方法论、调查研究、形式化分析、数据整理。Liming Wang:撰写——审阅与编辑、撰写——初稿,Junyi Ji|Ruth Lu|Linda Belkessa|Liming Wang|Silvia Varotto|Yongqi Dong|Nicolas Saunier|Mostafa Ameli|Gregory S. Macfarlane|Bahman Madadi|Cathy Wu。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号