面向生物成像设施的高性能计算（HPC）应用：集体视角下的采纳策略与工作流扩展

《Journal of Microscopy》：Is HPC for you? A collective perspective on adopting high-performance computing for bioimage analysis in imaging facilities

　　

摘要专业翻译 生物医学科学利用多种成像技术，生物图像分析（Bioimage Analysis, BIA）已成为数据密集型工作，通常需要超出个人笔记本电脑或工作站可用范围的资源。高性能计算（High-Performance Computing, HPC）能够解决现代生物成像数据负担相关的大部分问题，提供可扩展且可靠的计算资源。然而，大多数生物医学研究人员和核心设施工作人员可能缺乏充分利用HPC能力所需的专业知识和技能。本研究旨在消除对HPC使用的误解，并强调没有编程技能的研究人员如何使用HPC工具来扩展其生物图像分析工作流。推广HPC软件解决方案是研究支持技术人员的职责，但其部署可使核心设施工作人员和数字研究基础设施团队共同受益，有助于加速生物图像分析工作流的实施。综上所述，本研究展示了HPC如何提供有效的解决方案，以满足成像设施当前面临的日益增长的计算需求。

论文解读文章

一、研究背景与问题

随着生物医学研究的不断发展，生物图像分析已从人工检查显微图像演进为对大规模成像数据集的定量分析和复杂分析方法。生物医学科学利用多种成像技术，包括光学显微镜、电子显微镜、磁共振成像（MRI）、CT和PET等，这些技术在不同空间尺度上提供互补信息，对数据存储和先进图像处理工作流提出了巨大需求。多模态成像的兴起进一步增加了数据存储和计算能力的要求。此外，先进的图像处理技术需要日益复杂的计算资源，尤其是随着人工智能（AI）算法的不断发展和应用。

当前，生物医学图像分析通常依赖个人或本地管理工作站，导致数据存储碎片化、工作流不一致，且可能不符合可发现、可访问、可互操作、可重用（FAIR）原则。这种IT基础设施缺乏最优的共享使用，经常超负荷运行，计算能力有限，从而延长处理时间并制约用户结果的生成。跨学科成像研究的复杂性，特别是针对癌症和神经退行性疾病的研究，需要复杂的计算模型和AI技术进行分割、配准和追踪，以区分健康和患病样本，这些任务不适合在个人工作站上运行。此外，在集群上安装软件是单次过程，而维护多个工作站可能需要重复工作，增加了多用户环境中成像和图像分析设施的额外负担。

尽管HPC系统在学术和研究机构中日益普及，但在生物图像分析社区中仍未得到充分利用。关键障碍在于操作HPC环境所需技能（如命令行熟练度、软件依赖管理和分布式计算经验）与生物图像分析师通常依赖图形界面和交互式工具的典型培训之间存在不匹配。相反，维护和支持HPC集群的工程师可能缺乏对图像分析工作流特定需求的了解，包括对多种文件格式的支持、图像数据可视化需求和用户友好环境。

二、研究内容与意义

本研究旨在消除对HPC使用的误解，强调没有编程技能的研究人员也能使用HPC工具扩展其生物图像分析工作流。研究团队论证了HPC计算提供了关键的可扩展性和对原本不可用资源的访问，如高端GPU（图形处理单元）和大内存节点，并在专业维护和备份的环境中进行。HPC系统通过简化集群设置、通过专用研究基础设施减少错误、以及通过更快执行数据密集型任务来增强性能，从而提高效率。它们还通过自适应资源分配提供灵活性，通过集中式软件安装促进维护，支持多用户访问，并实现多个进程的并行执行。

从HPC服务提供商的角度来看，与BIA社区互动也有优势，包括创建即用型沙盒工具集作为最流行BIA软件的稳健容器安装；优化HPC上的软件安装；提供清晰的文档；以及招募与传统HPC集群用户（如物理学家、理论化学家和生物信息学家）不同的新用户群体。

三、主要技术方法

研究团队介绍了HPC基础设施的基本架构，包括头节点、计算节点、大内存节点、GPU节点和存储节点，以及作业调度器的作用。研究列举了三种实际HPC基础设施的硬件配置示例：比利时佛兰芒超级计算机（VSC）、利物浦大学共享研究设施（LIV-SRF）HPC和弗朗西斯·克里克研究所HPC集群（NEMO）。在软件部署方面，研究系统比较了四种主要方法：集中管理模块（如Lmod配合EasyBuild或SPACK）、Conda或用户管理环境、容器技术（如Docker、Podman和Apptainer）以及手动安装。此外，研究还介绍了通过Open OnDemand平台提供图形用户界面（GUI）访问HPC资源的方案，包括远程桌面、napari查看器、CellProfiler和ImageJ/FIJI等常用BIA软件的HPC部署。

四、研究结果

4.1 不同软件安装类型的比较

研究团队对四种软件部署方法进行了系统评估。集中管理模块（如Lmod配合EasyBuild或SPACK）提供了集中维护和优化的软件栈，具有稳健性、高性能和可重现性，但机构间可移植性较差。Conda或用户管理环境提供了更大的灵活性和可访问性，但可能积累大量文件、降低硬件性能，且可重现性随时间推移而下降。容器技术（特别是Apptainer）封装了完整的软件环境，显著提高了可移植性和可重现性，但初始构建和维护需要较高的技术专长。手动安装虽然提供了对软件栈的完全控制，但耗时、难以维护且很少可重现，因此通常不建议在HPC系统上使用。

4.2 通过熟悉软件图形界面使用HPC

研究团队展示了如何通过OnDemand门户提供熟悉的GUI环境来降低HPC使用门槛。这些工具包括具有可变资源分配的远程桌面应用、基于Linux的桌面环境，以及napari查看器（用于3D细胞分割）、CellProfiler（用于批量分析管道）和ImageJ/FIJI（用于注释和测量图像超堆栈）等常用GUI软件。这些软件一旦由HPC管理员或用户安装，可以在任何机构的OnDemand实例或共享基础设施（如EMBL的BARD）中启动。

4.3 HPC的陷阱和障碍

研究团队识别了HPC基础设施的多个潜在问题。架构异构性构成显著进入障碍：不同CPU架构（×86、ARM、Power ISA/RISC）和GPU生态系统（NVIDIA、AMD）的标准差异意味着代码可移植性从未得到保证。软件工具链碎片化使安装基本库（如GCC或CUDA）难以统一。高性能文件系统（如Lustre、Ceph）在处理大量小文件时可能受限，这在OME-Zarr文件格式使用时可能成为问题。数据传输方面，传统协议（SCP、SFTP）的加密特性使传输速度受限于单核CPU加密性能，而Globus虽然减少了性能限制，但引入了架构和财务复杂性。此外，作业队列的不可预测性、财务成本（包括初始资本投资和持续运营成本）以及低数据传输速度都是需要考虑的障碍。

4.4 生物图像分析管道中计算工具的战略使用

研究团队通过基准测试展示了并行计算的实际效果。以一个SEM数据集的模板匹配和厚度校正Python脚本为例，使用4个CPU时实现了2.7倍的加速和0.675的效率，而增加到32个CPU时虽然加速达到5.7倍，但效率降至0.178。这表明最优CPU数量需要根据具体任务进行基准测试确定。研究还指出，HPC并非适用于所有工作流：处理低数据量或低内存需求的任务、串行处理的工作流可能更适合在本地工作站运行。当数据量超过30-50 GB或可用RAM、服务器连接带宽低、处理时间超过1小时、需要GPU或特定计算单元、需要多用户访问同一工具和软件版本、数据安全重要等情况下，应考虑使用HPC。

五、讨论与结论

在讨论部分，研究团队指出，由于成像数据的复杂性和规模不断增加，HPC集群正迅速成为图像分析工作流的必要条件。HPC缓解了对本地工作站/办公室PC的RAM和存储空间的需求。机构HPC集群在数据安全方面也有优势，因为数据保留在机构内部，这对临床数据和/或商业合作伙伴的保密数据至关重要。研究团队认为，当数据大小超过30-50 GB或可用RAM、服务器连接带宽低、处理时间超过1小时或阻止PC的其他使用、安装所需软件包可能影响PC配置、执行生物图像分析工作流需要一个或多个GPU或特定计算单元、需要多用户访问同一工具和软件版本、数据安全重要、原始数据需要处理以生成最终图像时，应考虑开发HPC解决方案。

从学术数字研究基础设施（DRI）团队的角度来看，HPC提供了比依赖个人定制工作站更可持续、可扩展和公平的生物图像分析方法。集中式HPC基础设施减少了跨研究组的昂贵硬件、软件许可、存储和维护成本的重复，同时能够根据用户需求更有效地共享计算资源。

研究结论明确指出，本工作的目标是消除对HPC使用的误解，并强调研究人员无需成为超级用户或拥有过多编码技能即可使用HPC工具和扩展生物图像分析工作流。从应用角度来看，使用正确的方法，图像分析解决方案可能易于在集群上部署。基于研究团队的经验——收益始终大于挑战——研究团队强烈主张在核心设施中部署高性能计算，并坚信HPC为满足成像设施当前面临的日益增长的计算需求提供了关键解决方案。