对国立清华大学生态与系统科学研究中心(SCC)团队所撰写的《数据流生命周期在优化工作流协调中的应用》一文的评述

《IEEE Transactions on Parallel and Distributed Systems》:Critique of “Data Flow Lifecycles for Optimizing Workflow Coordination” by SCC Team From National Tsing Hua University

【字体: 时间:2025年11月25日 来源:IEEE Transactions on Parallel and Distributed Systems 6

编辑推荐:

  为验证Data Flow Lifecycles(DFL)方法在优化HPC系统数据放置和任务协调的有效性,我们在SC24学生集群竞赛可重复性挑战中,通过小规模集群(2-3节点)测试共享内存和SSD暂存策略,结果显示SSD和多节点配置显著提升I/O密集型任务性能,与原研究基于15节点的大规模集群结果一致。

  

摘要:

作为SC24学生集群竞赛可重复性挑战的一部分,我们使用数据流生命周期(DFL)方法重新评估了“1000基因组项目”工作流的性能。DFL通过分析数据流来识别潜在的瓶颈和优化任务调度及减少数据传输的机会,从而实现工作流的协调。我们在一个小型集群(2-3个节点)上测试了共享内存(SHM)和固态硬盘(SSD)的缓存策略。这与原始研究的更大规模设置(最多15个节点)有所不同。我们的结果在关键工作流阶段进行了测量,并与原始研究结果一致:SSD缓存和多节点设置显著提高了I/O密集型任务的性能。这证实了DFL在优化数据调度和任务协调方面的有效性,即使在较小规模的高性能计算(HPC)系统中也是如此。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号