构建基于流的页面缓存以加速快速存储设备上的文件扫描
《ACM Transactions on Storage》:Building Stream-based Page Cache to Accelerate File Scanning on Fast Storage Devices
【字体:
大
中
小
】
时间:2025年11月08日
来源:ACM Transactions on Storage
编辑推荐:
针对高速存储设备文件扫描中页缓存I/O带宽不足及后台写回干扰前景请求的问题,提出StreamCache系统。通过分层内存管理加速页分配、流式页面回收减少干扰、轻量流跟踪支持回收,实验表明其可提升科学应用I/O带宽44%,降低大语言模型检查点时间15.7%。
摘要
在许多情况下,通过页面缓存进行缓冲I/O操作用于文件扫描,因为页面缓存可以透明地提供缓冲、数据聚合、I/O对齐和预取功能。然而,我们的研究表明,在快速存储设备上使用页面缓存进行文件扫描存在两个性能问题:首先,它提供的I/O带宽有限,无法满足快速存储设备的性能需求;其次,大量后台写操作会显著干扰前台I/O请求。
在本文中,我们提出了一种名为StreamCache的新页面缓存管理系统,用于快速存储设备上的文件扫描。StreamCache利用了三种技术来实现高I/O性能。首先,它采用双层内存管理方法,利用CPU缓存局部性来加速页面分配;其次,它采用基于流的页面回收机制来减少对前台I/O请求的干扰;最后,它使用轻量级的流跟踪方法,在序列流的粒度上记录缓存页面的状态,以支持基于流的页面回收。
我们在XFS文件系统中实现了StreamCache。实验结果表明,与现有方法相比,StreamCache可以将科学应用程序的I/O带宽提高44%,并将大型语言模型的检查点/重启时间平均减少15.7%。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号