《BMC Bioinformatics》：ENflorA: a flexible tool for the bulk submission of next generation sequencing data to the European Nucleotide Archive
编辑推荐：
背景：随着测序技术的进步以及组装和注释工具质量的提高，研究产生的生物学序列数据量快速增长。为保持这些数据可供潜在再分析，通常将其存储于公共在线数据库，如欧洲核苷酸档案库（European Nucleotide Archive，ENA）。然而，数据增加导致元数据
背景：随着测序技术的进步以及组装和注释工具质量的提高，研究产生的生物学序列数据量快速增长。为保持这些数据可供潜在再分析，通常将其存储于公共在线数据库，如欧洲核苷酸档案库（European Nucleotide Archive，ENA）。然而，数据增加导致元数据整理和上传所需时间增加。研究人员提出一种工具，以简化和自动化实验数据及元数据向公共仓储库的上传。结果：研究人员开发了ENflorA，一组脚本，通过该脚本能够以简单且标准化的方式将样本、序列读取和（带注释的）组装数据上传至ENA。该软件允许通过电子表格轻松录入元数据，适用于来自不同来源数据的批量上传，并可完全整合至生物信息学工作流。其平台独立，可在高性能计算机（High Performance Computers，HPC）上原生运行，集成针对大文件的lftp上传选项和测试上传选项。结论：通过简化ENA提交过程，ENflorA有助于使高通量测序数据可发现、可访问、可互操作和可重用。
研究背景：高通量测序技术使人类和非人类基因组数据大量产生，尤其推动生物多样性基因组学发展。尽管单碱基测序价格持续下降，数据生产的总成本、投入及其信息价值仍使长期保存和再利用具有充分理由。除需专用基础设施存储PB级DNA序列外，数据管理日益成为瓶颈：为使数据符合可发现、可访问、可互操作和可重用（FAIR）原则，需以完整元数据记录、上传至可自由访问和检索的在线数据库，并符合既有数据标准。随着测序项目持续增长，这些耗时且相互关联的任务已难以“手工”管理，需要自动化以减少错误并在既定时间内完成。公共在线数据库是现代遗传研究的基石；1982年成立的国际核苷酸序列数据库协作组织（International Nucleotide Sequence Database Collaboration，INSDC）协调ENA、GenBank和DNA Data Bank of Japan（DDBJ）等伙伴档案库之间的全球交换和长期保存。欧洲DNA序列数据主要通过欧洲分子生物学实验室（EMBL）基础设施、现由欧洲生物信息研究所（EBI）管理的ENA进行中介和维护。ENA提交通常要求按自身元数据模型一致处理多种关联对象，包括生物样本（Biosamples）、原始读长文库（Experiments/Runs）和基因组组装/注释（Analyses），每类均有严格元数据要求和验证约束。ENA自带提交工具呈二分特征：Webin Portal提供直观图形界面，但对批量操作功能上不可扩展，导致重复手工元数据录入和高错误率；Webin-CLI提供适合批量数据的稳健验证环境，但要求用户为每个数据对象以程序生成结构化清单文件（manifest），需脚本技能，数据整理仍有相当部分留给用户。大型测序中心或项目可有定制自动化管线向INSDC节点推送数据，但较小或地理分散研究组常难以应对提交接口的技术复杂性。COPO（Collaborative OPen Omics）或GFBio（German Federation for Biological data）等平台提供集中数据经纪服务，但通常要求用户在特定网络生态中操作并依赖外部基础设施和支持，未必普遍可及；数据分析软件可包含INSDC提交功能，但常针对NCBI而非ENA，或受成本及用途狭窄限制。这可能导致“提交缺口”：提交及发表显著延迟，或既有数据尤其是元数据、大原始序列文件及进一步分析结果因省时省力被遗漏而丢失。因此需要一种“中间件”方案：在用户机器或高性能计算（HPC）集群本地运行，通过电子表格整合标准科研采集和实验室工作流中的元数据处理，自动化与ENA提交应用程序编程接口（API）的低层交互，即使批量数据也无需完整平台采用开销。ENflorA即为帮助弥合NGS数据提交缺口而开发，尤其面向但非仅限无定制内部提交管线的中型项目。它提供轻量脚本工作流，将用户表格标准化转换为ENA生物样本、运行/实验和分析提交产物；自动化数据密集提交步骤，不包含Bioproject创建本身，后者每项目仅需一次且更易通过ENA网页门户完成；保持Excel/TSV界面，提前执行模式约束，自动处理暂存、压缩、清单生成和结构化日志。其意义在于帮助研究组以可重复、可审计过程从本地研究数据存储中的“元数据和序列文件”转为“提交就绪数据包”，缩小提交缺口并促进高通量测序数据符合FAIR原则。
关键方法：采用模块化Python 3脚本构建平台独立工具，含biosamples.py、runs.py、analysis.py及resolve_accessions.py；以Excel/TSV表格解析元数据并进行提交前语法与文件校验；调用Webin-CLI生成清单文件并验证、计算MD5校验和；集成lftp断点续传；提供ENA测试服务器及--demo合成数据测试；支持本地和SLURM/HPC；测试数据来自FU Berlin的Arnica montana和Weinmannia L.项目。
研究结果：Implementation：通过将ENflorA实现为模块化Python 3脚本套件，研究人员得到可平台独立部署于Windows、macOS、Linux个人电脑及使用SLURM任务管理器的机构HPC集群的工具；三个主要模块biosamples.py、runs.py和analysis.py对应ENA层级对象模型，可独立使用，不假定所处理数据对象间存在双射关系，并可用resolve_accessions.py在连续运行脚本时把项目内部实验室代码和读长文件名转换为前一步新获得的ENA登录号；大文件可通过更稳定的lftp连接传输。Environment management：通过包含包装脚本自动初始化运行时环境，创建专用Python虚拟环境并安装pandas、pyyaml、openpyxl和Biopython等依赖，同时管理ENA Webin-CLI Java归档（.jar）的获取和路径配置，使验证始终针对兼容版本。Metadata parsing and validation：通过接受Excel（.xlsx）或制表符分隔值（.tsv）文件，按列名映射ENA字段，runs.py和analysis.py列名直接遵循Webin-CLI清单字段名，biosamples.py按配置文件中指定的ENA检查表实施，默认附带植物样本元数据检查表ERC000037，并可通过下载相应.xml并运行make_table.py创建模板；调用时各脚本进行包括语法检查和文件验证的“预检”，检查必需列、必填字段、日期ISO 8601格式、文件类型一致性、每行仅指定FLATFILE或FASTA之一、组装水平有效及引用数据文件存在且可读。Module breakdown：通过biosamples.py生成XML提交文件、批量注册生物样本并记录SAMEAxxxx登录号；通过runs.py处理原始读长数据，触发Webin-CLI对大型FASTQ文件的自动验证和MD5校验和计算，构建定义Run、Experiment与Sample关系的清单文件并返回登录号；通过analysis.py处理基因组组装和注释等派生数据，创建ENA Analysis对象，并借助Biopython将GenBank文件转换为符合INSDC标准的EMBL平文件；三个模块均将ENA分配的登录号写入各自提交文件夹内的纯文本文件并追加、去重、标记测试服务器条目，同时打印至标准输出以便SLURM .out日志可见。ID transfer：通过resolve_accessions.py在连续运行多个提交模块时，将Biosamples元数据表“isolate”字段中的项目内部标识及分析元数据表“NAME”等临时替代项转换为正确ENA登录号；若新提交数据完全来自既有ENA对象或相关登录号可从多次先前提交文件中找到，则该脚本不是提交流程默认部分。Robust data transfer with lftp：通过集成lftp，针对标准HTTP或基本FTP连接传输TB级原始测序数据易因网络不稳定失败的问题，提供独立于三个主要Python模块的lftp辅助脚本，将本地暂存目录镜像至ENA的FTP服务器webin2.ebi.ac.uk，使中断传输可从最后成功字节自动恢复。Testing：通过允许向ENA Webin测试服务器进行“测试”提交，数据不公开并在数日后自动删除；--demo模式使用捆绑的合成测试数据（生物样本元数据、双端FASTQ读长及FASTA和EMBL平文件组装）提交至测试服务器并生成详细日志，使新用户可在准备真实数据前端到端验证凭证、Python环境和Java Webin-CLI；所有演示序列随机生成、无生物学意义，因通过格式验证而被测试服务器接受，并于次日自动删除；研究人员还在FU Berlin多个研究项目产生的多种数据上测试ENflorA，包括药用植物Arnica montana的亲缘地理研究和Cunnoniaceae属Weinmannia L.的系统发育研究，涉及新的和已入库样本/读长数据以及新原始序列和质体基因组组装，上传在本地计算机和FU Berlin HPC系统Curta上均进行测试。
讨论总结：讨论指出，基因组研究快速扩展需要能够弥合数据产生与数据归档之间差距的工具；ENflorA针对产生高价值生物多样性数据但缺乏大型测序中心专用生物信息学工程支持的个人、团体及中小型项目。通过将元数据定义（电子表格）与提交技术机制（XML/清单生成）解耦，ENflorA使研究人员能够使用熟悉工具保持对数据的控制，同时确保符合INSDC标准；与手工门户提交中用户常为省时省略可选元数据不同，其模板化方法鼓励在提交前完成地理定位、采集日期和标本凭证等丰富元数据字段，使数据可发现并可未来荟萃分析再利用，促进FAIR数据目标；通过自动化注释文件转换（如GenBank格式转为ENA兼容EMBL平文件）和复用标准NCBI Taxonomy标识符，工具确保高水平互操作性。与现有方案相比，ENflorA占据独特生态位：Webin-CLI提供验证“金标准”，但主要作为验证器和上传器而非工作流管理器，本身不原生处理将数百样本与其各自运行和组装关联所需的批量逻辑；COPO等集中平台提供优秀向导式界面，但引入对外部服务器和网页工作流的依赖，可能不符合本地HPC数据存储政策；ENflorA作为轻量中间件，将命令行工具批处理能力与电子表格驱动工作流易用性结合，完全在用户本地基础设施内运行。其模块化而紧凑、每类提交一个脚本的设计，对处理不同数据来源的项目具有价值：先前已提交样本和/或原始序列可容易地在下游数据类型提交中被引用，并与来自新野外或实验室工作的对应数据一起提交；脚本也可容易用于地理分散研究项目，或分散提交至同一项目，或从多个小组汇集序列文件和格式兼容元数据表由数据管理员集中提交，从而显著减少数据存储时间，释放资源用于更充分验证或关联额外元数据；脚本还可完全整合入生物信息学数据分析工作流，改善文档记录和可追溯性。尽管ENflorA的“植物学”名称反映其起源，其架构对提交数据的分类学来源根本不可知；biosamples.py的元数据要求可适配任何ENA元数据检查表；analysis.py当前对染色体水平提交默认单个环状质体染色体，其他类型组装/分析也可通过调整元数据文件提交；但无法通过Webin-CLI提交的额外分析数据类型可能需要更深入修改或使用其他更专门工具。
研究结论翻译：ENflorA为NGS数据的批量提交提供精简、用户友好的解决方案，有效消除常延迟或阻碍基因组数据存入公共仓储库的技术障碍。通过自动将标准实验室电子表格转换为ENA兼容格式，该工具有助于研究人员在无需大量生物信息学专业知识的情况下遵循FAIR数据原则。随着生物多样性数据量持续增长，像ENflorA这样的轻量级中间件工具对于确保这些数据不仅被存储，而且保持可发现、结构化并对全球科学界有价值将至关重要。
