《Future Generation Computer Systems》：Executions of CWL-based workflows along the cloud continuum on serverless platforms
编辑推荐：
计算工作流在数据驱动领域（如生物信息学）中至关重要，需要自动化、可重复性和可扩展性。不同的工作流或工作流内部的任务可能需要不同的资源或数据后端，从而受益于跨云连续体（cloud continuum）的执行。这些工作流的执行可通过支持跨云连续体部署和执行的无服务
计算工作流在数据驱动领域（如生物信息学）中至关重要，需要自动化、可重复性和可扩展性。不同的工作流或工作流内部的任务可能需要不同的资源或数据后端，从而受益于跨云连续体（cloud continuum）的执行。这些工作流的执行可通过支持跨云连续体部署和执行的无服务器平台（如OSCAR）实现。然而，当前平台尚不支持计算工作流的编排、可追溯性和灵活执行。本研究提出CWL-OSCAR，一种新型工作流管理系统（WMS），用于在OSCAR平台上编排以通用工作流语言（Common Workflow Language，CWL）编写的计算工作流。研究人员将CWL-OSCAR置于现有无服务器工作流系统的背景下进行定位，并在相同受限硬件上将其与参考CWL运行器（cwltool）进行比较评估。除了其通用适用性外，研究人员还通过在移动基因组监测（mobile genomic surveillance）的生物信息学工作流执行中展示其可行性，强调了该解决方案在资源受限环境中的价值——该工作流可在受限边缘设备上运行，并在可用时无缝扩展到云资源。
研究背景与问题
计算工作流已成为数据驱动科学（从生物信息学到计算物理学和环境建模）的基础工具，其优势在于能够自动化重复任务、确保结果的可重复性以及随数据量增长而扩展分析能力。这些需求推动了通用工作流语言（Common Workflow Language，CWL）等标准的发展，以及数百种工作流管理系统（Workflow Management System，WMS）的出现。然而，现有工作流常被紧密耦合到特定平台，导致可移植性不足。同时，新兴场景如便携式测序实验室和其他资源受限环境要求工作流既能在受限硬件上高效运行，又能兼容强大的云基础设施。例如，基于测序的病原体监测通常需要在现场对样本进行即时分析，随后在云环境中进行更密集的数据处理。尽管OSCAR平台支持事件驱动的函数和服务链式执行以实现运行，但这种机制侧重于单个函数调用，缺乏工作流级别的协调、可追溯性和故障感知能力。
研究内容与结论
为解决上述问题，研究人员提出了CWL-OSCAR，一种在OSCAR平台上通过执行CWL编写的计算工作流来引入工作流编排能力的WMS。该系统结合了CWL语言的可移植性与OSCAR平台的无服务器执行模型，允许工作流在工作流级别明确定义，同时动态地在部署于云连续体上的多个OSCAR集群间执行。通过基于数据湖（data lake）的存储模型实现集中跟踪，使工作流可从单一位置进行监控。实验结果表明，CWL-OSCAR框架能够在资源受限系统中部署基因组分析工作流，同时保持与高性能云计算资源的兼容性。性能分析显示，基于计算需求进行战略性工作流分布可实现显著的效率提升，同时保持操作灵活性。该成果发表于《Future Generation Computer Systems》（Future Generation Computer Systems）。
关键技术方法
研究人员采用了以下关键技术方法：首先，利用基础设施管理器（Infrastructure Manager，IM）作为基础设施即代码（Infrastructure as Code，IaC）工具，用于在公共云、本地系统或联邦云上部署定制化虚拟基础设施，包括Kubernetes、OSCAR和Kubeflow拓扑。其次，基于OSCAR平台——一个部署在由CLUES管理的弹性Kubernetes集群之上的开源无服务器事件驱动计算平台，该平台支持多架构（如arm64和amd64）部署，覆盖从树莓派集群到云环境的广泛计算平台。第三，CWL-OSCAR本身包含两个核心组件：一个运行在OSCAR集群上的编排器服务，负责工作流实施；以及一个命令行接口（CLI），用于远程工作流部署和执行的交互。第四，采用全局共享的持久S3兼容对象存储（基于MinIO）作为数据湖，提供跨任务同步和数据持久化。第五，使用cwltool库进行CWL工作流文件的解析、验证和执行编排。此外，在疟疾基因组监测用例中，使用了来自Holzschuh等人的Zanzibar样本数据集（包含抗疟药物耐药性标记物和高多态性微单倍型标记物）。
研究结果
6.1 跨计算环境的性能分析：通过对50个疟疾样本在三种计算环境（边缘集群、本地云集群和Chameleon Cloud集群）下的执行时间分析发现，不同工作流步骤的计算需求差异显著。即使资源受限的边缘集群也能成功完成完整工作流。单倍型重建（Haplotype Reconstruction）步骤表现出最大的性能差异：边缘集群中位执行时间为56秒，本地云集群为36秒，Chameleon Cloud集群为25秒，实现了从边缘到Chameleon的2.3倍中位加速。质量过滤（Quality Filtering）、突变分析（Mutation Analysis）和报告生成（Report Generation）在各环境中表现一致，中位时间在10-14秒之间，表明这些步骤计算需求较低，适合资源受限的边缘硬件。资源监控显示，单倍型重建步骤最多使用1GB内存，而其他组件保持在100MB以下；单倍型重建在所有平台上峰值CPU利用率达85%-95%，而质量过滤和突变分析维持在30%-50%。
6.2 云连续体部署策略：基于性能分析识别出单倍型重建为主要计算瓶颈后，研究人员实施了混合云连续体方法，利用CWL-OSCAR的多集群协调能力，将计算密集型步骤自动路由至Chameleon Cloud集群，而轻量级步骤在基于树莓派的边缘集群上执行。与纯边缘基线相比，云连续体部署使外部化的单倍型重建步骤获得加速，但质量过滤、突变分析和报告生成显示出略微较慢的执行时间，这反映了网络通信和跨集群数据同步带来的开销。由于共享MinIO存储托管在边缘集群（设计选择以确保现场基因组学中的离线操作能力），Chameleon Cloud集群需将所有中间数据传输至树莓派节点，其中写入速率仅为6-7 MiB/s，远低于读取速率的17 MiB/s，造成了可测量的传输惩罚。
6.3 基线本地执行：为提供参考点，研究人员在单个树莓派节点上使用cwltool执行相同工作流。由于单倍型重建步骤需要高达1GB内存且每个树莓派节点仅有4GB，启用并行执行导致节点无响应，因此只能顺序执行。在此条件下，总执行时间约35分钟，显著慢于所有CWL-OSCAR运行（包括资源受限的边缘集群约23分钟）。这突显了CWL-OSCAR通过Kubernetes的Pod级资源限制、cgroup隔离和公平调度带来的鲁棒性优势。
6.4 对比分析：编排与隐式链式执行：OSCAR原生支持通过FDL定义的服务的事件驱动链式执行来实现函数组合，但这主要解决执行机制而非科学工作流的协调管理。CWL-OSCAR引入的编排层集中了工作流语义，使用标准CWL描述使工作流被视为单一连贯的计算实验。在隐式链式执行中，失败局限于单个服务且在工作流级别不可见；而编排层提供了统一执行报告和工作流级结果检查的基础。CWL-OSCAR允许使用CWL定义表达工作流，保留了前瞻性溯源（prospective provenance），这与需要从服务配置和存储触发器中推断全局结构的临时FDL链式执行形成对比。
6.5 观察：实验揭示了多项关键见解：边缘集群处理单个疟疾样本需3-5分钟，虽慢于云端处理但足以满足实时现场分析需求；Chameleon Cloud集群完成50个样本数据集约13分钟，相比边缘集群的23分钟实现1.8倍加速；峰值内存使用保持在2-4GB之间，使工作流适合部署在中等硬件上；相同的CWL工作流定义无需修改即可在所有计算环境中成功执行，验证了基于标准的工作流描述的核心价值主张；CWL-OSCAR编排器为每个工作流步骤维护了详细执行日志，实现了计算工作流的可追溯性；完整的流程实现（包括容器化工具和示例数据集）已在CWL-OSCAR仓库公开提供。
讨论与结论
讨论部分指出，云连续体部署策略对于具有异构计算需求的生物信息学工作流特别有效。通过识别单倍型重建为主要瓶颈并有选择地将其卸载到云资源，实现了性能改进，同时保持了边缘处理的优势。这表明现代工作流编排工具可以弥合尖端基因组技术与现实世界部署约束之间的差距，支持全球健康应用中的疟疾消除工作。与同一边缘硬件上的参考CWL运行器cwltool的比较进一步证明了该方法的实用价值：cwltool只能在单节点上顺序执行工作流，因为启用并行会耗尽可用资源并使设备无响应；而CWL-OSCAR通过Kubernetes管理的资源分配，在更短时间内完成了相同工作量，同时在集群间分配作业。
结论部分总结如下：实验评估表明，CWL-OSCAR框架能够在资源受限系统中部署基因组分析工作流，同时保持与高性能云计算资源的兼容性。性能分析揭示，基于计算需求的战略性工作流分布可在保持操作灵活性的同时实现显著的效率提升。这种灵活性支持了Holzschuh等人描述的移动实验室范式，其中快速现场分析可在连接条件和计算需求允许时由云端处理补充。结果验证了核心价值主张：相同的CWL工作流定义可在所有环境中执行，使研究人员能够一次开发工作流并在可用资源间部署。CWL-OSCAR通过结合CWL工作流可移植性与OSCAR的无服务器执行模型和多集群协调能力，促进了移动基因组监测的执行。该方法体现了云连续体范式，计算可从边缘开始进行本地分析，并在连接可用时扩展到云资源进行更复杂或资源密集型分析。与同一边缘硬件上cwltool的比较进一步展示了该方法的实际价值：cwltool只能在单节点上顺序执行工作流，而CWL-OSCAR通过Kubernetes管理的资源分配，不仅更快地完成相同工作量，还提供了在受限设备上可靠运行所需的鲁棒性。
