对清华大学SCC团队所撰写的《数据流生命周期在优化工作流协调中的作用》一文的评析

《IEEE Transactions on Parallel and Distributed Systems》：Critique of “Data Flow Lifecycles for Optimizing Workflow Coordination” by SCC Team From Tsinghua University

本文针对SC24学生集群竞赛可重复性挑战，复现了SC23论文提出的基于数据流生命周期（DFL）的工作流优化方法。通过DataLife工具分析1000 Genomes工作流的I/O行为，构建DFL图和 caterpillar树，验证了工具在任务依赖图可视化与数据流动分析方面的有效性。实验发现工具生成的优化建议可提升性能，但未能复现原论文加速效果，最大差异达416%，经分析与CPU频率波动、工具实现细节差异相关，但原论文实验环境不透明导致无法完全定位原因。

　　

摘要：

在本文中，我们展示了我们在SC24学生集群竞赛“可复现性挑战”中的研究成果。该挑战要求我们复现一篇名为“数据流生命周期在优化工作流协调中的作用”的论文，该论文在SC23会议上发表，提出了用于工作流的数据流分析方法。数据流生命周期（DFL）为任务有向无环图（DAG）添加了数据对象和属性，这些数据对象和属性描述了任务与数据流之间的交互。作者利用生命周期和机会分析来优化任务调度，并减少科学工作流中的数据传输量。他们的研究成果实现了在DataLife工具中。我们的研究复现了原论文中提到的1000 Genomes工作流的相关结果。首先，我们监测了该工作流的I/O行为，绘制了DFL图和毛毛虫树图，然后根据这些分析结果改进了工作流的协调性。实验表明，DataLife工具能够有效地分析和可视化现有工作流的任务DAG和数据流属性，生成的图表为优化提供了依据。然而，我们无法在实验设置下复现论文中报告的加速效果，观察到的最大加速差异为416%。为了解释这一差异，我们检查了源代码，并在不同CPU频率下进行了实验。虽然我们识别出了一些影响因素，但由于关于原始实验设置的信息公开有限，我们无法对所有差异得出明确结论。