《Brain Structure and Function》：Orchestrating neuroimaging data processing using the ‘Snakemake’ workflow manager
编辑推荐：
摘要：神经影像数据的处理通常涉及一系列复杂的操作，这些操作往往需要不同的软件包，并具有密集的计算和存储需求。尽管神经影像研究人员有多种选项可用来建立其首选的处理操作组合，但关于如何在一个连贯的数据处理工作流中编排此类操作的指导相对较少。本文通过描述一个简化神经
摘要：神经影像数据的处理通常涉及一系列复杂的操作，这些操作往往需要不同的软件包，并具有密集的计算和存储需求。尽管神经影像研究人员有多种选项可用来建立其首选的处理操作组合，但关于如何在一个连贯的数据处理工作流中编排此类操作的指导相对较少。本文通过描述一个简化神经影像处理工作流的构建过程，展示了成熟的全能型工作流管理器“Snakemake”如何用于促进神经影像数据处理。Snakemake允许研究人员使用基于Python的标记语言来描述输入文件如何转换为输出文件。随后，Snakemake利用这些规则来调度并执行生成输出文件所需的计算任务，而不会不必要地重新创建已有的输出文件。这使得整个处理工作流能够通过单条命令执行，并创建可解释、高效且可重复的工作流。
**论文解读：利用Snakemake工作流管理器实现神经影像数据处理的编排与可重复性**
**1. 研究背景**
神经影像数据处理是一项高度复杂的任务，通常涉及一系列环环相扣的操作步骤。这些操作往往依赖于多种不同的软件包，这些软件包可能基于不同的编程语言，并且对计算资源和存储空间有很高的需求。尽管神经影像研究人员拥有丰富的软件生态和教育资源来实现各种处理操作，但对于如何在一个统一的框架内有效编排和管理这些操作的执行顺序与条件，却缺乏足够的关注和指导。传统的做法通常是研究人员手动按顺序执行一系列命令，或通过编写自定义脚本实现部分自动化。然而，这些自定义方法存在显著弊端：一是高度依赖人工操作，耗时费力且易因操作不一致（如忘记修改某处参与者标识符）或工作流逻辑不一致（如无意中对部分参与者应用了不同设置）而损害工作流的完整性；二是其结果难以被第三方重复验证，因为其依赖特定的自定义程序和运行环境，这一问题在学术期刊开始要求论文必须具有可演示的可重复性背景下尤为突出；三是此类自定义管理器通常由少数开发者维护，难以持续更新和功能扩展。因此，亟需一种系统化的解决方案来应对这些挑战。将成熟的全能型工作流管理软件应用于神经影像处理，成为一种理想的替代方案。
**2. 研究内容与目的**
基于上述背景，研究人员旨在阐述如何利用开源工作流管理器“Snakemake”来应对神经影像数据处理的挑战。Snakemake起源于科学数据分析领域，在生物科学中已有广泛应用。研究人员认为，采用Snakemake管理神经影像处理工作流具有三大关键优势：第一，提升可重复性，允许通过单条命令执行整个工作流，并能适应不同的计算环境和存储方案；第二，提高效率，通过自动并行化处理，并能精确地仅执行维持工作流描述与其输出一致性所必需的操作，避免不必要的重复计算；第三，增强可理解性，使用一种标准化的领域特定语言来表达工作流，既提供了增强可读性的约束框架，又保留了容纳神经影像工作流中多样化操作（如使用不同软件包和编程语言）的灵活性。本文的核心目标是降低神经影像领域采用Snakemake的障碍，特别是帮助那些更习惯于手动或脚本命令式操作的用户，理解Snakemake以声明式规则为核心的运作概念。为此，研究人员构建了一个简化的示例工作流，该工作流处理来自Poldrack et al. (2016)研究中3名参与者的功能磁共振成像（fMRI）和结构磁共振成像（sMRI）数据，使用AFNI软件生成运动校正并与解剖像配准的BOLD图像，以此在相关领域背景下具体阐述Snakemake的操作和核心特性。
**3. 主要技术方法**
研究人员在概念阐述中，构建了一个包含三个核心处理步骤的示例Snakemake工作流：运动校正、时间平均和配准。每步对应Snakemake的一个“规则”（rule）。研究采用了以下关键技术方法：1) 基于Python的领域特定语言编写规则文件 (.smk)，用于声明式描述从输入文件到输出文件的转换过程；2) 利用通配符机制泛化处理不同参与者（sub_num）和任务类型（task）的数据路径；3) 通过输入函数实现跨多个运行（runs）或参与者的数据聚合；4) 使用shell指令或外部脚本（如Python）定义规则的执行机制，并可调用AFNI等外部程序；5) 采用容器技术（通过Apptainer，前身为Singularity），将AFNI等软件及其依赖环境打包成镜像，以提升可重复性和环境一致性；6) 通过定义`resources`和`threads`指令来声明计算资源需求（如RAM、CPU核心数），以优化任务调度和并行执行；7) 使用`Snakefile`作为工作流入口点，定义目标规则（通常为`all`），该规则通过`expand`函数将通配符解析为具体文件路径，从而驱动整个工作流的执行。
**4. 研究结果**
* **规则（Rules）的设置与执行机制**：研究人员详细阐述了Snakemake中规则（rule）是工作流的核心构建单元。每个规则通过`output`指令声明其产生的输出文件，路径可包含通配符以适应不同输入；通过`input`指令声明生成输出所需依赖的输入文件，并推荐直接引用上游规则的输出作为输入，以确保文件路径的唯一性。`mechanism`部分通过`shell`指令或`script`指令定义具体的执行命令或外部脚本。此外，`params`指令用于显式声明命令参数，`log`指令用于捕获输出日志，`container`指令则指定执行环境所使用的容器镜像。
* **工作流组装与调度（Snakefile）**：`Snakefile`作为工作流入口点，通过`include`指令顺序导入规则文件。默认情况下，文件中的第一条规则（通常命名为`all`）是执行目标，且仅包含`input`指令。执行时，Snakemake会根据`all`规则中的输入文件路径，通过通配符值在整个工作流中反向推导依赖关系，计算出生成最终产物所需的全部作业序列，直至找到工作流外部的原始数据文件作为起点。
* **工作流执行与可视化**：整个工作流通过`snakemake`命令行工具执行，并可搭配多种参数。例如，`-n`或`--dry-run`参数可预演执行而不实际运行；`--use-apptainer`参数激活容器执行；`--cores`指定可用CPU核心数。Snakemake还可通过`--dag`等参数生成基于Graphviz格式的工作流依赖关系图，以可视化的有向无环图（DAG）形式辅助调试和质量控制。工作流执行后，再次运行相同命令将因触发机制（如输入文件时间戳变化）而仅重新执行受影响的规则，这极大地提高了开发和迭代效率。
**5. 结论与讨论**
研究总结指出，借助Snakemake工作流软件，可以有效地控制和管理神经影像处理流程固有的复杂性。通过使用Snakemake的领域特定语言详细描述工作流操作，可解释性、执行效率和可重复性这些挑战被委托给了工具本身，从而将神经影像研究人员从这些繁琐的细节中抽象出来。研究人员提出，实现复杂工作流应采用迭代和模块化的方法：从一个依赖原始数据的初始步骤开始，编写规则并将其加入Snakefile，通过设定有限的目标集进行测试和评估，然后逐步添加后续规则。对于已经拥有既定处理流程的研究者，将其转换为Snakemake规则通常与其直观的处理步骤划分一致，但分解粒度可以灵活调整，例如单个规则实现两个阶段或多个规则对应一个阶段需权衡并行性与简洁性。此外，对于依赖Matlab等专有软件的情况，需考虑其许可证环境变量（如MLM_LICENSE_FILE）的特殊处理，且研究人员指出Matlab可能不遵循`threads`指令，需在脚本内部进行核心数控制。研究结论认为，采用Snakemake这类工作流管理实践，对于神经影像研究人员乃至更广泛的科学界都将大有裨益。
