《PROTEOMICS》：Quantifying Data Reuse in Proteomics Using PRIDE Downloads Statistics and a Semi-Supervised LLM-Based Framework
编辑推荐：
摘要专业翻译
理解科学数据集如何被访问和复用，对于资源规划和影响评估至关重要。本研究展示了PRIDE档案下载追踪基础设施，并对来自PRIDE蛋白质组学数据库（2021–2025年）的1.593亿条下载记录进行了全面分析，涵盖来自235个地点的35,528个数据
摘要专业翻译
理解科学数据集如何被访问和复用，对于资源规划和影响评估至关重要。本研究展示了PRIDE档案下载追踪基础设施，并对来自PRIDE蛋白质组学数据库（2021–2025年）的1.593亿条下载记录进行了全面分析，涵盖来自235个地点的35,528个数据集。该基础设施包括nf-downloadstats（一个用于处理下载日志的可扩展Nextflow流程）和DeepLogBot（一个将流量分类为机器人、机构下载中心（institutional download hubs）和独立用户下载的机器学习框架）。DeepLogBot将启发式种子选择与多LLM注释（Claude和Qwen3）相结合，生成LLM辅助共识标签，在保留测试集上实现了92.2%的机器人分类准确率。在分离机器人流量后，分析揭示了来自214个国家/地区的下载、249个机构下载中心，以及高度集中的复用分布，其中排名前五的国家（美国、英国、德国、中国和加拿大）占独立用户下载量的54%以上。这些发现为存储库基础设施规划提供了可操作的见解，并强调了在科学数据资源中区分自动化访问与个人访问的重要性。
论文解读文章
一、研究背景与问题
PRIDE数据库是基于质谱的蛋白质组学领域全球领先的数据存储库，作为ProteomeXchange联盟的创始成员，PRIDE使研究人员能够全球共享和访问蛋白质组学数据集，促进透明度、可重复性和数据复用。理解公共数据集被复用的程度对于评估数据资源的科学影响和制定数据驱动政策至关重要。虽然学术出版物中的引用提供了复用的一种指标，但数据下载统计可以提供对任何数据资源数据需求的更细粒度视图。
然而，系统地追踪数据集下载在生物信息学资源中仍然是一个重大挑战。主要障碍包括：缺乏标准化的访问事件记录基础设施、在分布式和异构传输系统（如FTP、HTTP）中聚合使用数据的技术复杂性，以及与用户隐私和数据保护相关的持续关切。此外，自动化机器人流量污染下载统计数据——研究估计机器人占所有互联网流量的30%–70%，而科学存储库因其开放获取政策和有价值的内容而成为特别有吸引力的目标。如果不考虑这种污染，任何存储库使用分析都可能得出膨胀和扭曲的指标。因此，开发稳健的下载分析工具对于测量影响和实现更智能、以用户为导向的开放数据平台开发都至关重要。
二、研究内容与主要技术方法
研究人员开发了PRIDE档案下载追踪开放基础设施，包含两个核心组件。nf-downloadstats是一个大规模Nextflow工作流，用于处理大量流量日志，将原始匿名日志文件处理为包含159,327,635条下载记录的整合Parquet文件。DeepLogBot是一个半监督四阶段机器学习分类框架，将下载流量分类为机器人、机构下载中心和独立用户访问。该框架结合了启发式种子选择、双LLM盲注释（Claude Opus 4.6和Qwen3-30B-A3B）、梯度提升融合元学习器（200个估计器，最大深度5）以及后分类结构规则。此外，研究人员还开发了将下载统计直接整合到PRIDE档案网页界面的基础设施，使用户能够按总下载量对数据集进行排序并进行基于百分位的分析。
三、研究结果
3.1 全球PRIDE使用模式：在2021–2025年研究期间，记录了1.593亿次单个文件下载，涵盖35,528个数据集，来自235个国家/地区。分类后，48.2%的流量被识别为来自27,063个自动化机器人地点。独立用户下载增长了62%，而中心下载增长了五倍（从840万增至4210万），主要由中国的新机构中心（重庆、长沙、无锡、南通、六安）驱动。用户下载覆盖214个国家/地区，前五名国家（美国、英国、德国、中国和加拿大）占独立用户下载量的54%以上。
3.2 下载集中度：数据集用户下载呈高度偏斜分布，具有重尾系统特征。排名前20的最多下载数据集显示，社区基准资源和组织图谱数据集占主导地位。最多下载的数据集为PXD010154（来自43个国家/地区的31.4K用户下载），而ProteomeTools合成肽库（PXD004732，排名第八）反映了作为机器学习模型和谱库搜索引擎训练数据的广泛使用。排名前25的数据集大多在5年中的至少4年保持活跃下载。
3.3 文件传输协议使用：2025年之前，PRIDE下载几乎完全依赖HTTP和FTP。2025年Aspera（FASP）出现，尽管仅从7月才开始，却占所有非机器人下载的10.5%（450万次下载）。Aspera使用在2025年9月达到峰值（320万次下载），主要由中国的机构中心驱动，特别是重庆的一个中心（总下载量510万，70%通过Aspera）。Aspera采用的时间与2025年3月发布的pridepy一致。
3.4 下载中心：识别出249个机构下载中心，其特征是用户数量少但人均下载率极高、使用专用批量传输协议（Aspera、Globus、FTP）以及持续多年活动。中心的地理分布跨越六大洲，表明机构数据复用是全球现象。
3.5 文件类型下载模式：原始仪器文件在所有地区的下载中占主导地位，东亚和北美占72%–73%的流量。中低收入国家（LMIC）的原始文件比例较低（54%），结果文件和已处理谱图（峰列表文件）相应增加。这凸显了大多数用户目前需要从头下载和重新处理原始数据，即使提交中已存在搜索引擎结果，表明需要更好的基础设施使分析结果更易发现和独立下载。
3.6 PRIDE下载统计可视化：聚合的下载统计存储在MongoDB和Elasticsearch中，在PRIDE档案网页界面中实现快速搜索和可视化。每个数据集显示总下载数和指示其下载百分位的渐变条，并提供年度趋势图。数据集可按总下载量和考虑文件数量的归一化指标排序。
四、讨论与结论
研究人员发现，48.2%的PRIDE下载流量来自27,063个自动化机器人地点，这凸显了在将下载量作为科学影响指标之前分离机器人流量的必要性。PRIDE下载量在5年内大幅增长，确认了跨地理广泛用户群（214个国家/地区）的数据访问加速。2025年总下载量的激增主要由中国机构下载中心的快速扩张驱动，中国中心在2025年贡献了2240万次下载，占当年所有中心流量的53%。这一扩张反映了蛋白质组学数据基础设施投资的增长，以及缺乏中央化PRIDE镜像导致各机构独立下载和缓存大量数据。研究人员建议建立正式镜像协议以协调复制、减少冗余传输并改善数据访问延迟。
用户下载呈集中分布，社区参考数据集（如ProteomeTools）显示持续多年下载，而长尾中较少下载的数据集可能通过元分析、机器学习应用或多组学研究获得未来价值。LMIC地区对已处理结果的较高依赖表明计算能力和带宽限制塑造了数据下载模式。研究人员正在开发专门基础设施，使研究人员能够独立于完整原始数据集发现、浏览和下载结果与分析文件。此外，PRIDE团队将优先为最多下载和社区相关数据集进行SDRF样本元数据注释，并积极寻求与LMIC研究组的合作和培训计划。
总之，本研究展示了PRIDE数据库下载追踪基础设施，包括nf-downloadstats和DeepLogBot，并对2021–2025年间的1.593亿条记录进行了首次全面分析。分类流程在保留测试集上以92.2%的准确率分离机器人流量、机构下载中心和独立用户访问。去除自动化流量后，剩余合法下载跨越35,528个数据集和214个国家，揭示了全球分布的用户群、变化的协议偏好、集中的下载分布和多样化的数据复用模式。该工作流和分类器目前正在部署到其他EMBL-EBI资源，包括MetaboLights和BioStudies，为更广泛的生物信息学资源提供了可复制的下载分析基础设施。
