综述：细胞动力学图神经网络工作流的可复现性差距：一项基于清单的个案研究

《Journal of Microscopy》：The reproducibility gap in graph neural network workflows for cell dynamics: A checklist-driven case study

　　

作为全球生物图像分析师学会（Global BioImage Analysts' Society, GloBIAS）倡议的一部分，研究人员基于光显微仪器与图像质量评估及可复现性（Quality Assessment and Reproducibility for Instruments and Images in Light Microscopy, QUAREP-LiMi）倡议制定的结构化社区清单，对一项关于细胞动力学的图神经网络（Graph Neural Network, GNN）研究的可复现性进行了评估。值得注意的是，这些清单于2022年目标论文发表后才正式发布，因此本次评估本质上是回顾性的。评估揭示了近期报告标准与实际执行之间的差距。在多环境下开展的复现尝试证实了多项缺陷：包括缺乏明确的图像元数据（像素尺寸与时间戳），限制了定量解读；此外，软件容器（software container）的缺失（这在目标论文发表时期属普遍情况）以及不完整的依赖项列表，导致需要复杂的手动环境配置，提高了使用门槛。该经验凸显了发表时期的可复现性预期与通过最低合规和真实功能访问实现的新型标准之间的反差。研究人员最后详细讨论了这对定量生物学界的广泛影响，并提出可操作的建议，包括稳健的环境容器化（environment containerisation）与标准化数据存档（standardised data deposition），以确保复杂计算工作流成为科学可靠且可复用的资源。这项回顾性个案研究将一篇遗留的计算论文置于现代可复现性框架下进行评估，目的并非批评过去的不合规，而是为未来的研究标准提取可操作的经验。

1 引言

本研究作为全球生物图像分析师学会（GloBIAS）倡议的一部分，采用结构化、清单驱动的方式，对题为《基于图神经网络的可解释机器学习探究活体组织中细胞协调规则》的研究（以下简称“目标论文”）中描述的影像分析与图神经网络工作流的实际可复现性进行了回顾性评估。目标论文发表于2022年9月，至本次分析时已发表约四年，本次评估隶属于一项由七个团队参与、针对多篇论文可复现性的大型倡议。图神经网络已成为模拟多细胞动力学的强有力工具，但也代表了具有极高可复现性需求的工作流：复杂的软件环境、多步骤处理流程以及对元数据完整性的强烈依赖。重访这一突出的基于GNN的生物学研究，提供了理解此类工作流如何经受时间考验，以及不断演变的可复现性标准如何揭示新的优势与弱点的契机。本研究应用QUAREP-LiMi社区开发的清单，评估目标论文发布的代码、数据、文档质量、元数据完整性及环境透明度。主要目标是映射“可复现性意图声明”与执行工作流的实践、面向用户的现实之间的差距。本工作与跨科学领域推进计算可复现性的更广泛运动保持一致，例如REFORMS联盟近期发布了基于共识的机器学习科学研究建议，其精神与QUAREP-LiMi及GloBIAS的努力类似。需明确的是，本评估所用的QUAREP-LiMi报告清单——涵盖图像数据、机器学习工作流及计算工作流透明度——在目标论文发表时尚未正式发布。因此，本研究的目的并非指责目标论文不符合当时尚不存在的标准，而是利用现代的、社区开发的可复现性框架，阐明早期计算研究在当今期望视角下的表现，并为未来提炼可操作的教训。通过将此次评估置于GloBIAS倡议背景下并明确其回顾性本质，旨在强调对社区的广泛启示：可复现性期望如何成熟、如何利用现代工具建设性地评估历史工作流，以及如何加速迈向稳健、透明且可验证的计算生物学管线。

1.1 目标论文概述

目标论文《基于图神经网络的可解释机器学习探究活体组织中细胞协调规则》提出了一种用于理解组织中细胞命运决定的新型分析框架。

1.1.1 研究动机

发育与稳态组织的稳定性与稳健性依赖于多种时空细胞间相互作用。尽管活体成像与细胞追踪提供了细胞协调规则的直接证据，但从可能运行在不同协调长度与时间尺度上的多样组织中提取并比较这些规则，需要一个通用的分析框架。该研究旨在从多细胞动力学的活体图像中推断细胞间相互作用规则，从而理解细胞协调如何塑造复杂的发育结果，特别是细胞谱系定向。现有对皮肤干细胞（如小鼠后爪表皮）的分析通常基于假设，可能无法提取抑制作用。因此，亟需一种能够以无偏方式提示协调规则的通用框架。

1.1.2 研究方法

作者提出使用图神经网络模型，因其非常适用于预测细胞命运并推断支配多细胞动力学的潜在细胞相互作用。（1）数据图构建：将表皮基底层的活体图像数据与细胞轨迹（包括分裂与脱落）转换为时空图。节点代表特定时间帧内的细胞，边编码空间关系（细胞间接触）与时间关系（谱系轨迹）。（2）模型结构：称为双向时空GNN模型，通过序列消息传递（Message Passing, MP）处理信息：反向时间MP（未来到过去）、空间MP（接触上的双向传递）与正向时间MP（过去到未来）。该GNN模型作为三类分类问题被训练，以从过去观测中预测未来细胞命运——分裂（Division, Div）、脱落（Delamination, Del）或无行为（No Behaviour, NB）——因此不进行回顾性推断。反向时间MP仅在输入图内操作，不涉及访问未来信息或引入信息泄露。模型应用于哺乳动物表皮（后爪与耳皮肤干细胞）的活体数据集。（3）可解释性：为提取机器学到的规则，研究人员采用积分梯度（Integrated Gradients, IG）归因方法，量化每个输入变量对输出预测分数的影响。

1.1.3 研究结果

该GNN框架成功地在无需预先知晓信号机制的情况下推断出细胞相互作用规则。研究使用受试者工作特征曲线下面积（Area Under the Curve, AUC；具体为ROC-AUC）作为主要评估指标。ROC-AUC绘制不同决策阈值下的真阳性率与假阳性率；0.5对应随机猜测，更高值表明判别能力更强。（1）预测成功：GNN模型对所有细胞行为（Div、Del、NB）的AUC得分均显著高于随机预测（AUC=0.5），证明了有意义的预测能力。当同时包含细胞面积与Fucci-G1信号作为输入特征时性能最高，Div、NB、Del的AUC分别约为0.9、0.75、0.6，表明Div是最可预测的类。移除这些特征后性能大幅下降，证实了其重要性；然而即使无节点特征，模型性能仍高于随机预测，表明图结构本身已编码了预测细胞命运的有用信息。（2）规则发现：分析发现了身体不同区域（后爪vs.耳表皮）不同的邻近细胞命运协调规则。后爪中，模型证实了先前报道的脱落诱导邻近分裂效应（延迟1-2天），并提示了一种潜在的新型机制：邻近脱落抑制下一帧的脱落（侧向抑制）。耳皮肤数据中则发现了额外的协调规则，提示邻近分裂诱导脱落与分裂抑制机制，这在后爪表皮中不存在。（3）验证：通过对数值模拟应用归因方法，作者确认GNN准确提取了人工实现的协调规则（如脱落诱导分裂与分裂诱导脱落）。

1.1.4 结果复用目标

作者旨在通过提供资源并提议框架的广泛适用性来促进结果的复用与扩展。数据与代码已在GitHub仓库公开；该GNN框架被认为不仅适用于当前表皮数据，也适用于一般多细胞动力学（如发育胚胎、恶性组织与类器官）；该方法还可用于疾病传播与生态学等通过随机相互作用智能体建模有效的广泛系统；所使用的归因方法旨在为开发能够解释高阶子图基序（如三体细胞相互作用或跨世代的命运不平衡）效应的方法奠定基础，可能使用基于注意力（attention-based）的GNN模型。

2 方法学

评估基于标准化的多管齐下协议，旨在测试从数据报告到代码执行的完整可复现性谱系。

2.1 应用的清单与标准

评估由三个互补的社区开发清单指导，确保针对目标论文特定性质（定量成像与机器学习）的全面评判。这些清单由光显微仪器与图像质量评估及可复现性倡议内的“图像分析与可视化工作组”创建，旨在增强出版物中光显微图像及其分析的清晰度与可复现性。方法包括对选定已发表论文及数据对照三个定义报告层级（“最低”、“推荐”、“理想”）的系统评估。应用的清单如下：（1）图像出版清单：提供准备光显微图像以供出版的关键建议，涵盖图像格式（如适当裁剪、旋转、分离单张图像、展示量化与表型范围的示例图像）、图像颜色与通道（如清晰标注通道、适当的亮度/对比度调整、高可见度颜色、提供灰度版本与强度标尺）、图像注释（如添加易读的尺度信息、解释所有注释、包含重要成像细节）及图像可用性（如共享图像，优选无损压缩或原始文件，并通过公共或专用图像数据库免费下载）。（2）图像分析工作流出版清单：提供透明记录图像处理与分析步骤的结构化指南，对源自图像分析的结果可复现性至关重要，进一步分为三类：既定工作流（侧重于记录科学文献已有或领域内公认的工作流，需引用工作流与平台、报告关键设置、提供示例输入/输出数据、记录任何手动干预如感兴趣区域及精确的版本号）；新工作流（涉及既定或新颖图像分析组件的新颖序列，需详细描述并引用单个组件、指定确切软件版本、描述应用顺序、记录关键设置、共享开发的代码或管线及示例数据）；机器学习工作流（认识到机器学习尤其是深度学习的独特挑战，需引用原始方法、提供开发的模型与验证数据的访问权限、明确识别预训练模型，对于重新训练或新模型，需提供完整的训练与测试数据、训练元数据及用于训练的代码）。

2.2 可复现性标准

本研究聚焦于计算研究中使用的可复现性概念。Claerbout与Karrenbach将可复现性描述为所有数据与代码均可获得，使得其他人能够运行相同分析并得到相同结果的情形。美国计算机协会（Association for Computing Machinery, ACM）也使用相似含义：独立小组在使用相同数据与相同软件环境时应能获得相同的输出。本研究遵循此定义，不试图用新数据或新方法重复实验，而是使用作者提供的完全相同的数据集与软件运行工作流，目标是在相同条件下检验是否能达到相同结果。为此，使用QUAREP-LiMi清单作为指南，以结构化、透明的方式评估可复现性水平。

2.3 复现协议

对目标论文发布的代码与数据进行了严格的复现尝试，跨越多个环境，以基于提供的说明测试环境无关可靠性。关键步骤如下：（1）本地环境搭建：尝试使用提供的文档在本地构建环境，揭示了未列出的必需依赖项（如pyyaml、tifffile）以及强制性的Python（3.7）与CUDA（10.1）版本降级。（2）容器化测试：搜索可用的Dockerfile或稳健的环境配置文件，以评估是否符合便携、容器化执行的“理想”标准。（3）云环境测试（Google Colab）：尝试在常见、预配置的云平台（Google Colab）中执行工作流，专门评估无高端本地硬件或复杂设置知识的用户的使用门槛。（4）执行与验证：执行所有主要分析脚本（如“run-functions”）。评估侧重于成功率、诊断输出的清晰度，以及验证生成的输出是否与目标论文报告结果匹配的难易程度。

3 评估结果：可复现性差距

应用标准化方法揭示了目标论文声明的可复现性承诺与执行工作流的实践经验之间的显著差距。尽管目标论文满足了清单定义的“最低”数据与代码可用性要求，但评估确定了在文档、元数据与环境规范方面的额外挑战，影响了工作流的实际执行。

3.1 数据可用性与元数据合规性

作者通过提供存储在.NPY文件中的分割与追踪数据，以及合成与真实数据专用的示例训练集与测试集，成功满足了机器学习工作流清单的最低要求。代码与数据已在GitHub仓库公开。分析使用存储在.NPY文件中的数据，具体包括分割图像（segmentation.npy）与轨迹数据（lineage.npy）。segmentation.npy文件被描述为维度为[T, H, W]的图像序列NumPy数组，其中细胞边界设为0。lineage.npy文件为包含10列的NumPy数组，包括时间帧、细胞ID、位置X与位置Y。项目为合成数据提供了两组示例（data/simulation/del-div/sample0用于训练，sample1用于测试），为真实样本分割提供了两组示例（data/epidermis/paw/W-R1用于训练，W-R2用于测试）。这种对验证输入与输出数据（包括训练与测试子集）的提供，满足了机器学习工作流的最低要求以及新工作流对示例输入与输出数据的要求。评估确定了三项合规问题：（1）非标准格式：依赖非专有.NPY格式存储图像衍生数据，无法原生强制执行结构化显微元数据，因此不符合图像出版清单的“理想”标准，该标准推荐使用OME-TIFF等格式以保留丰富的结构化图像元数据。（2）关键元数据缺失：相对于当前可复现性期望的一个显著限制是关键元数据的可能缺失，特别是明确的像素尺寸与时间戳（μm/pixel、成像间隔）。明确提供尺度信息是已发表图像分析的最低要求，其缺失可能阻碍源自图像的定量测量（如速度、距离）的可复现性。尽管论文正文提到了区域尺寸且所有图像尺寸相同，但该信息并未嵌入数据中。（3）现代长期存档稳定性：虽然GitHub是可访问的平台，但缺乏带有数字对象标识符（Digital Object Identifier, DOI）的归档仓库（如通过Zenodo），未达到长期数据保存、版本控制与可引用性的推荐标准。

3.2 代码质量与工作流执行

工作流的实际执行因代码结构及文档缺陷面临显著挑战，阻碍了达到新工作流清单的“推荐”与“理想”标准。（1）库文档：README通过列出pytorch（1.6.0）、python（3.7.7）、dgl（0.5.0）、numpy（1.18.5）、matplotlib（3.3.1）及scikit-learn（0.23.2）的精确软件版本，满足了“最低”要求。此外，声明使用Docker容器（pytorch:1.6.0-cuda10.1-cudnn7-runtime）旨在达到提供打包在工作流中的软件容器以最小化环境变化的“推荐”至“理想”标准。（2）代码结构与导航：代码未按标准Python包结构组织，关键操作由嵌套在子文件夹中的“run-functions”执行，依赖硬编码的相对路径。这种结构可能增加导航与复用的难度，隔离特定组件及复用单个函数。（3）文档缺陷：代码库基本缺乏标准文档字符串来解释主要脚本的功能、输入与输出。此外，尽管描述了步骤的一般顺序，但文档未能包含对每个步骤/组件的合理性、假设与局限性的详细讨论，这是“推荐”标准的关键要素。（4）尽管运行成功却无法完全验证：至关重要的是，尽管代码完整执行而未产生运行时错误（积极发现），但脚本提供的诊断输出极少，关于生成结果的信息也不清晰。指示的结果目录中生成了多个文件与文件夹，但由于缺乏关于最终输出预期文件名、格式与内容的文档，研究人员无法确认结果的完整性或科学保真度。这种低反馈严重降低了最终验证步骤的清晰度。

3.3 环境搭建与使用门槛

从用户视角看，可复现性的主要挑战出现在环境搭建阶段，这需要大量未记录的手动干预，将使用门槛从微小障碍提升为复杂的编程任务。（1）容器化支持不完整：尽管项目旨在通过容器化达到环境透明度的“理想”标准，但仓库中缺失可用的Dockerfile，使得特定构建环境不透明，难以可靠重建。仅指定了基础Docker镜像名称：pytorch:1.6.0-cuda10.1-cudnn7-runtime。该容器未安装所需软件包，且缺失用于构建包含所需依赖项的自定义镜像的Dockerfile。存在明显的容器化意图（积极发现），但未贯彻到底。（2）未记录的库：任何搭建都需要手动安装未书面记录的依赖项（如pyyaml 6.0.1、tifffile 2021.11.2）。这种依赖管理限制直接与缺乏requirements.txt或setup.py等标准安装文件相关。（3）云环境状况：尝试在预配置云环境（Google Colab）中运行工作流，证实了缺失环境文件带来的困难，需要同样耗时且易出错的手动搭建过程，这表明工作流不具备稳健的可移植性。尽管在手动降级核心Python版本并安装特定软件包后可以运行代码，但这对生物学家而言并非入门级任务。

3.4 相关工具

目标论文遇到的环境搭建、元数据合规与工作流验证问题并非孤例，凸显了定量生物学界对稳健、社区支持的计算解决方案的广泛需求。为引导研究人员采用更佳实践并强调现有解决方案，介绍了来自密切相关技术领域——细胞追踪——的几个代表性示例，该领域已开发了大量软件工具，部分实现了高水平的实施与可复现性。首先，cell-tracker-gnn高度相关于本研究中使用的机器学习管线。它提供了用于显微视频中细胞追踪的图神经网络直接实现，构建于PyTorch Geometric（PyG）之上，这是GNN开发的行业标准库。其开源可用性及对广泛使用深度学习框架（PyTorch、PyG）的依赖，确保了追踪与图构建过程的高度可复现性。其次，btrack（贝叶斯追踪器）是一种现代基于Python的追踪库，采用贝叶斯框架进行多目标追踪。它特别适用于重建密集活细胞成像数据中的轨迹，并能恢复多代谱系信息。由于GNN模型通常在Python中实现（如PyTorch或TensorFlow），btrack可实现与端到端、可复现管线的无缝集成。第三，u-track是一个成熟的基于MATLAB的软件，被广泛视为多颗粒追踪的金标准。它能处理密集颗粒场、闭合追踪间隙并捕获合并与分裂等复杂事件。由于其广泛使用与稳健性，它是生成初始细胞轨迹的可靠工具，随后可导出并用于基于GNN的分析。然而，像MATLAB这样的专有工具存在许可壁垒。此外，细胞追踪挑战通过鼓励以标准化格式提交软件，在该领域促进了可复现性。这些基准为评估和选择可复现追踪管线提供了宝贵参考。生物图像信息学索引（Bioimage Informatics Index, BIII）（https://biii.eu/）还提供了具有标准化描述的精选生物图像分析工具库，可作为选择可复现方法的有用参考。

4 讨论与可操作建议

评估证实，尽管目标论文为定量生物学中的复杂问题贡献了新颖的图神经网络方法，但其对更广泛科学界的效用受到实际可复现性相关挑战的限制。重要的是，本分析是对2022年发表研究的回顾性评估，使用的是直到后来才形式化的可复现性标准与清单。核心问题在于将论文中讨论与解释的内容转化为功能性、用户友好且可移植的计算工作流时存在的系统性困难。本节概述了这些发现对定量生物学界的广泛影响，并为原作者提供了专门的、优先的行动方案。

4.1 对定量生物学的广泛影响

关于目标论文的发现可作为社区的关键案例研究，说明发表高端计算生物学时的常见陷阱。（1）实际重新执行的挑战：论文公开代码与数据制造了可复现性的表象，却可能掩盖潜在的挑战。经验表明，即使符合当前的“最低”要求（如上载文件）也是不够的。实现稳健的可复现性通常需要满足代码质量、环境管理与全面文档的“推荐”与“理想”标准。关键挑战在于“执行成功却无法验证”。若无验证步骤，提供的文档难以解读。代码无误运行仅确认脚本语法；缺乏记录的预期输出阻碍了确认科学保真度的关键最后一步。由此观察得出的教训是需要改进执行结果与输出验证的处理与记录方式，以便以可及且透明的方式评估结果的有效性。（2）采用障碍与系统性成本：手动依赖项安装的需求与容器化的缺失造成了显著的使用门槛。这不仅阻碍了复现，也限制了非专业实验室或试图将GNN框架应用于不同数据集的研究人员对该方法的采用。这种低效并非孤立现象；2016年《自然》的一项调查发现，超过70%的科学家难以复现他人的实验，导致仅临床前研究每年就损失估计数十亿美元的效率。（3）清单的作用：本次评估凸显了社区开发标准（如本文使用的清单）在超越一般性指南方面的重要作用。它们提供了结构化框架，以客观衡量科学发布的质量，培育一种文化，使可复现性成为工程特性而非假定的副产品。

4.2 拟议的补救计划

本计划为目标论文作者提供了一份结构化、优先的行动列表，以将其项目从当前代码库转变为科学稳健、社区就绪的资源。

4.2.1 立即/最低要求修复

这些问题违反基本标准，必须立即解决以确保数据完整性与基本执行。（1）元数据校正：向仓库文档中添加明确、无歧义的元数据，具体记录原始数据集使用的像素尺寸、比例尺信息与成像间隔（时间戳）。（2）依赖管理：创建并测试标准的、机器可读的依赖项列表，如requirements.txt或environment.yml文件，以消除手动、试错式依赖项安装与系统降级的需要。（3）数据保存：将核心数据集文件从GitHub仓库迁移至专用的公共数据存储库（如BioImageArchive或Zenodo），并获取数字对象标识符以实现稳定的长期归档与引用。理想方法是将代码与图像数据分开存放于不同仓库。

4.2.2 推荐/工作流改进修复

这些行动解决代码质量与文档问题，这些问题目前阻碍了轻松使用与适配。（1）代码打包：将代码库重构为标准Python包结构。这将消除对硬编码路径与嵌套“run-functions”的依赖，使单个模块可被导入与复用。（2）内联文档：为所有主要函数与脚本实施全面的文档字符串，清晰详述输入、输出、数据类型以及任何必要的先决条件或副作用。（3）验证文档：创建一个简单的分步教程，最好采用Jupyter Notebook或详细的README形式，包含小型示例数据并演示整个工作流。该文档必须明确详述预期的最终输出结构，包括生成的文件与文件夹的名称、位置与内容，这是确认执行在科学上成功的必要条件。

4.2.3 理想/可移植性与透明度修复

这些是达到最高透明度与环境可移植性标准所需的进阶步骤。（1）容器供应：开发并测试可用的Dockerfile（或Singularity/Apptainer容器），使其能在无外部手动干预（包含所有正确的Python库与CUDA版本）的情况下成功构建完整环境，确保任何用户都能以相同方式执行工作流。（2）全面合理性说明：扩充文档，包含对工作流每一步的详细合理性、假设与局限性说明，特别是关于分割、图构建以及GNN架构的具体选择。

5 结论

对目标论文GNN工作流的系统评估凸显了一个关键且可解决的挑战：从开放数据原则过渡到已实现的计算可复现性。正如先驱者所定义的，目标是让同事能够“在相同输入数据上运行相同软件并获得相同结果”。遇到的挑战——如有限的元数据或不完整的环境规范——凸显了定义环境的缺失，以及验证文档的关键缺席——强调了将可复现性视为出版过程工程组成部分的重要性。值得强调的是，作者展示了明确的可复现性承诺，尽管当时尚无社区清单或正式标准指导他们。共享完整数据集、提供可执行脚本、发布合成与生物训练及测试集、并使他们的GNN架构透明，在当时已是重大贡献。这些行动反映了真正的开放性与支持复用的意愿——这些价值观此后已成为可复现计算生物学的核心支柱。他们的工作帮助塑造了现代清单如今编纂的演变期望。正如Miura与N?rrelykke在其关于可复现图像分析的工作中所主张的，确立新规范需要“对所应用的图像处理与分析的精确描述”。这一必要性要求所有利益相关方做出统一的改进承诺：（1）对于作者：当务之急是采用DevOps实践与文学化编程（literate programming）。通过利用BIAFLOWS等工具——它提供了一个多功能且可扩展的工作流集成框架——作者可以轻松达到环境可移植性与验证的“理想”标准。（2）对于审稿人与期刊：我们必须强制要求在出版前使用结构化的社区开发清单来验证计算严谨性，从而超越仅仅检查数据是否上载。（3）对于社区：本案例并非对个人批评，而是对集体行动的呼吁。通过强制推行FAIR数据原则等标准并奖励高质量的环境规范与验证文档，我们可以消除当前验证已发表工作所需的昂贵“取证研究”，最终加速定量与计算生物学的科学发现。