P2Cache：通过应用程序引导的管理方式优化以数据为中心的应用程序中的操作系统页面缓存

《ACM Transactions on Storage》：P2Cache: Enhancing Data-Centric Applications via Application-Guided Management of OS Page Caches

P2Cache通过eBPF扩展Linux页缓存，在替换、预取和交换三个关键点实现应用级缓存管理，实验显示其在LLM推理、图处理和数据库场景下性能提升达18%-230%。

　　

摘要

以数据为中心的应用程序需要执行大量数据处理和大量内存资源来完成任务。这些任务的I/O访问模式各不相同，受到操作系统缓存（OS cache）的显著影响。因此，实现针对特定应用程序的缓存管理而不影响内存效率是非常重要的。然而，将用户级策略融入操作系统缓存管理中颇具挑战性，因为很难将应用程序级别的I/O语义和访问模式传达给通用操作系统。本文通过eBPF（Enabling BPF）技术解决了这一挑战，使应用程序能够安全地向操作系统传递其I/O语义，从而实现对操作系统缓存的更精细控制。为此，我们推出了P2Cache——一种可编程的操作系统页面缓存机制。P2Cache为Linux页面缓存增加了三个新的探测点（即eviction、prefetching和swapping），通过eBPF程序支持针对操作系统缓存管理的自定义策略。实验结果表明，P2Cache显著提升了大型语言模型（LLM）推理、图形处理应用程序和数据库的性能，分别提高了230%、49%和18%，且所需的工作量极少。