构建基于流的页面缓存以加速快速存储设备上的文件扫描

《ACM Transactions on Storage》:Building Stream-based Page Cache to Accelerate File Scanning on Fast Storage Devices

【字体: 时间:2025年11月08日 来源:ACM Transactions on Storage

编辑推荐:

  针对高速存储设备文件扫描中页缓存I/O带宽不足及后台写回干扰前景请求的问题,提出StreamCache系统。通过分层内存管理加速页分配、流式页面回收减少干扰、轻量流跟踪支持回收,实验表明其可提升科学应用I/O带宽44%,降低大语言模型检查点时间15.7%。

  

摘要

在许多情况下,通过页面缓存进行缓冲I/O操作用于文件扫描,因为页面缓存可以透明地提供缓冲、数据聚合、I/O对齐和预取功能。然而,我们的研究表明,在快速存储设备上使用页面缓存进行文件扫描存在两个性能问题:首先,它提供的I/O带宽有限,无法满足快速存储设备的性能需求;其次,大量后台写操作会显著干扰前台I/O请求。
在本文中,我们提出了一种名为StreamCache的新页面缓存管理系统,用于快速存储设备上的文件扫描。StreamCache利用了三种技术来实现高I/O性能。首先,它采用双层内存管理方法,利用CPU缓存局部性来加速页面分配;其次,它采用基于流的页面回收机制来减少对前台I/O请求的干扰;最后,它使用轻量级的流跟踪方法,在序列流的粒度上记录缓存页面的状态,以支持基于流的页面回收。
我们在XFS文件系统中实现了StreamCache。实验结果表明,与现有方法相比,StreamCache可以将科学应用程序的I/O带宽提高44%,并将大型语言模型的检查点/重启时间平均减少15.7%。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号