-
构建基于流的页面缓存以加速快速存储设备上的文件扫描
摘要在许多情况下,通过页面缓存进行缓冲I/O操作用于文件扫描,因为页面缓存可以透明地提供缓冲、数据聚合、I/O对齐和预取功能。然而,我们的研究表明,在快速存储设备上使用页面缓存进行文件扫描存在两个性能问题:首先,它提供的I/O带宽有限,无法满足快速存储设备的性能需求;其次,大量后台写操作会显著干扰前台I/O请求。在本文中,我们提出了一种名为StreamCache的新页面缓存管理系统,用于快速存储设备上的文件扫描。StreamCache利用了三种技术来实现高I/O性能。首先,它采用双层内存管理方法,利用CPU缓存局部性来加速页面分配;其次,它采用基于流的页面回收机制来减少对前台I/O请求的干扰;
来源:ACM Transactions on Storage
时间:2025-11-08
-
利用多个相似性空间对加密的容器镜像进行去重处理
摘要随着加密容器镜像在注册表中的普及程度不断提高,存储管理面临着独特的挑战,尤其是在镜像数量不断增加的情况下,需要进行去重处理。传统的去重方法在处理加密内容时遇到困难,因为加密内容由于其随机性,会使得重复数据看起来各不相同。目前的一些先进方法通过解压镜像并应用消息锁定加密(Message-Locked Encryption, MLE)来解决这一问题。然而,这些技术仍存在一些显著挑战:微小的内容变化可能会降低去重的效果,而解压镜像各层数据会增加存储需求。此外,这一过程还会影响用户访问镜像的速度以及整个系统的吞吐量。我们提出了SimEnc,这是一种针对加密容器镜像的高性能、安全去重系统,它利用了多
来源:ACM Transactions on Storage
时间:2025-11-08
-
基于 SmartSSD 的近数据处理架构,用于可扩展的数十亿数据点的近似最近邻搜索
摘要近似最近邻搜索(ANNS)在高维向量空间中的应用在数据库和机器学习领域变得越来越重要。大多数现有的ANNS算法需要TB级别的内存来存储数十亿规模数据集的索引,这使得它们在高性能ANNS服务中的部署成本极高。新兴的SmartSSD技术通过近数据处理器(NDP)为实现可扩展的ANNS提供了可能性。然而,直接在多个SmartSSD上采用现有的ANNS算法仍面临若干挑战。在本文中,我们提出了SmartANNS,这是一种基于分层索引方法的、由SmartSSD支持的、适用于数十亿规模数据集的ANNS解决方案。我们提出了几种新颖的设计来实现在多个SmartSSD上的近线性扩展。首先,我们提出了一种“主机
来源:ACM Transactions on Storage
时间:2025-11-08
-
解锁未标记数据:利用中性样本和不确定性提升推荐效果
摘要协同过滤(CF)是推荐系统中的基本技术,然而如何有效利用大量未标记数据是一个重大挑战。近期研究致力于提取这些数据中的子集,以近似负样本。遗憾的是,剩余的数据被忽视了,未能将这些宝贵信息充分整合到用户偏好的构建中。为了解决这一难题,我们提出了一种新颖的正中性负学习范式(PNNP)。PNNP引入了一个中性类别,用于包含难以直接归类为正面或负面的复杂项目。通过基于这种三元部分排序的模型训练,PNNP为学习复杂的用户偏好提供了一条有前景的途径。通过理论分析,我们将PNNP与单向部分AUC(OPAUC)联系起来,以验证其有效性。然而,实施PNN范式在技术上具有挑战性,原因如下:(1)建模中性样本:用
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
P2Cache:通过应用程序引导的管理方式优化以数据为中心的应用程序中的操作系统页面缓存
摘要 以数据为中心的应用程序需要执行大量数据处理和大量内存资源来完成任务。这些任务的I/O访问模式各不相同,受到操作系统缓存(OS cache)的显著影响。因此,实现针对特定应用程序的缓存管理而不影响内存效率是非常重要的。然而,将用户级策略融入操作系统缓存管理中颇具挑战性,因为很难将应用程序级别的I/O语义和访问模式传达给通用操作系统。本文通过eBPF(Enabling BPF)技术解决了这一挑战,使应用程序能够安全地向操作系统传递其I/O语义,从而实现对操作系统缓存的更精细控制。为此,我们推出了P2Cache——一种可编程的操作系统页面缓存机制。P2Cach
来源:ACM Transactions on Storage
时间:2025-11-08
-
全栈优化的大型语言模型,用于推荐系统中终身序列行为的理解
摘要随着大型语言模型(LLMs)在自然语言处理(NLP)领域取得显著成就,基于LLM的推荐系统受到了广泛关注,并且目前正在积极开发中。在本文中,我们专注于调整和优化大型语言模型以用于推荐任务。首先,我们识别并阐述了LLMs在推荐场景中面临的“终身序列行为理解问题”,即LLMs无法从用户行为序列的纯文本上下文中有效提取有用信息,即使上下文的长度远低于LLMs的处理能力限制。为了解决这一问题并提升LLMs的推荐性能,我们提出了一个新框架——Retrieval-Enhanced Large Language Models Plus(ReLLaX),该框架从数据、提示和参数三个层面提供了全面的优化方案
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
JMStore:基于哈希数据分布的多节点分布式键值存储(Multi-NDP Key-Value Stores)中计算与存储平衡的联合优化
摘要对于需要高并发性、高性能和低延迟的关键值存储系统来说,存储和处理大量非结构化数据是一项具有挑战性的任务。基于日志结构化合并(LSM)树的键值存储(KV存储)被广泛采用,以提高写入性能。现有的KV存储主要部署在以CPU为中心的架构上,这需要将数据从内存或存储设备传输到CPU进行处理。在压缩过程中,这个问题尤为突出,因为压缩涉及大量的数据移动和重写。这种传统方式会消耗带宽和计算资源,导致写入性能下降。近数据处理(NDP)设备通过在存储位置直接处理数据来缓解这一问题,从而减少数据移动的成本。鉴于单个NDP设备的计算能力不足以满足大规模非结构化数据处理的需求,我们提出了JMStore——一种基于哈
来源:ACM Transactions on Storage
时间:2025-11-08
-
重塑偏见:通过自动化重写降低新闻推荐系统中的媒体偏见极化
摘要新闻报道中的媒体偏见显著影响了公众的看法和社会动态。数字平台广泛采用的个性化新闻推荐系统往往通过放大用户的既有偏好、形成信息茧房以及加剧意识形态分歧,从而加剧了两极分化的趋势。为了解决这一问题,本研究探讨了句子重写作为一种新的策略,以减轻偏见新闻内容的传播所带来的两极分化。我们提出了利用词汇替换方法和大型语言模型(LLMs)的自动化技术,将带有偏见的新闻内容重写为中性版本,同时保持其含义和可读性。广泛的实验评估了句子重写在新闻推荐反馈循环的各个组成部分(包括用户阅读历史、候选新闻数据集和训练数据集)中的有效性。实验结果表明,句子重写能够在降低偏见新闻内容传播中的媒体偏见两极分化的同时,维持
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
在未经校正的闪存存储中,用于嵌入式边缘设备的优雅CNN模型退化过程
摘要在数据源附近进行计算已被证明在节能、降低延迟和保护隐私方面非常有效。因此,边缘智能指的是在嵌入式边缘设备中执行卷积神经网络(CNN)推理。由于边缘设备的资源非常有限,实际操作中它们会将CNN模型存储在外部闪存中,并在运行时加载部分或全部模型。然而,闪存容易受到时间相关的存储错误影响,这就产生了一个难题:如果不进行错误校正,存储在闪存中的CNN模型会迅速退化并变得无法使用。另一方面,强错误校正需要额外的读取检测和重试机制。出于对可靠性的考虑,嵌入式串行闪存仅提供低密度存储解决方案。在这项研究中,我们研究了在未经校正的高密度闪存存储环境中CNN模型的渐进式退化问题。我们发现,在流行的CNN模型
来源:ACM Transactions on Storage
时间:2025-11-08
-
SplitE:通过实体分割和上下文化处理提高知识图谱嵌入的精度
摘要近年来,知识图谱领域的研究主要集中在通过提高向量空间的复杂性来增强图表示算法生成的嵌入的准确性。然而,致力于优化实体质量的研究相对较少。在不同上下文中具有不同含义的实体在提取过程中常常被错误地合并。本文介绍了一种创新的两阶段嵌入生成算法SplitE,用于知识图谱。该算法首先使用连接较少的非热点实体生成嵌入,然后通过聚类和合并算法对具有多种含义的热点实体进行分割和上下文化处理。SplitE算法能够精确区分不同上下文中的多义实体,从而生成更高质量的嵌入。此外,我们提出了一种新的改进方法,旨在解决多年来一直困扰该行业的知识图谱模型的“冷启动”问题。对于频繁更新的实体(称为不稳定实体),我们设计了
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
包容性推荐系统:满足患有多动症(ADHD)用户的需求
摘要用户对技术的体验往往受到其认知能力的影响,但对此现象的正式评估一直较为有限。在这项研究中,我们采用了以用户为中心的设计方法,选取了六名患有注意力缺陷多动障碍(ADHD)的参与者,来评估他们使用现有推荐系统的体验以及他们对更具包容性的推荐系统的需求。研究发现,虽然个性化推荐有助于这些参与者找到社群和社会支持,但同时也可能加剧他们的冲动行为和自我调节问题,从而影响他们的日常生活。为了解决推荐系统缺乏包容性的问题,我们共同设计了两个新功能:使用模式(专注/工作模式与探索模式)和通知功能。使用模式功能满足了用户明确启用或禁用个性化推荐的需求,以帮助他们进行自我调节并减少冲动行为;通知功能则旨在辅助
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
在分散式持久内存的非对称文件系统中实现性能与可靠性的双重目标
摘要超快持久内存(PM)为高性能分布式文件系统提供了实用的解决方案。本文分析了当前持久内存供应方案中存在的一系列性能和可靠性问题,这些问题不仅导致快速持久内存设备未能得到充分利用,还引发了严重的后果,如吞吐量下降、负载失衡甚至服务中断。为了解决这些问题,我们推出了Ethane+,这是一个基于分解式持久内存(DPM)构建的机架级分布式文件系统。通过使用快速数据连接技术实现资源分离,DPM能够在支持强故障隔离的同时,实现高效且成本效益高的持久内存共享。为了充分发挥硬件的潜力,Ethane+采用了受DPM资源分配不平衡特性启发的非对称文件系统架构。该架构将文件系统分为控制平面(FS)和数据平面(FS
来源:ACM Transactions on Storage
时间:2025-11-08
-
回顾过去,展望未来:揭开高精度测量(HBM)误差的神秘面纱,以预测未来的故障
摘要高带宽内存(HBM)被认为是一种有望从根本上克服“内存墙”限制的技术。它通过垂直堆叠多个DRAM芯片来显著提升内存访问带宽。然而,这种架构也带来了更为严重的可靠性问题,因为HBM不仅继承了传统DRAM的错误模式,还引入了新的错误来源。在本文中,我们对HBM的错误进行了首次系统性研究,分析了来自19个数据中心、跨越两年时间、在多种服务环境下收集的超过4.6亿个错误事件。通过错误分析和方法论验证,我们发现HBM在错误模式上与传统DRAM存在显著差异,这些差异体现在空间局部性、时间相关性以及传感器指标等方面,使得基于传统DRAM错误预测模型的方法无法有效用于HBM的错误预测。基于我们的研究结果,
来源:ACM Transactions on Storage
时间:2025-11-08
-
用于存储跟踪增强的合成数据生成
摘要由于应用程序的数据密集度日益增加,存储系统的性能变得越来越重要,它通常对应用程序的整体处理速度起着关键作用。幸运的是,存储技术本身在许多方面都在迅速发展,从设备中低级别的比特读写操作,到大型企业和云环境中的整个存储层次结构的管理。研究这一领域的许多重要问题往往需要存储服务器端的访问记录,但这些记录往往难以获取。为了解决这一难题,我们提出了一种使用新型生成对抗网络(GAN)架构来生成合成访问记录的方法,该方法能够捕捉真实存储记录的真实性和多样性。生成的访问记录可以用于补充各种存储系统研究所需的工作负载记录。我们展示了所提出的方法如何生成既具有真实记录的整体特征,又具备行为多样性的合成记录。
来源:ACM Transactions on Storage
时间:2025-11-08
-
两条路径的故事:利用eBPF优化虚拟化存储的I/O性能
摘要KVM是Linux上最主流的虚拟机管理程序(VM hypervisor),它依赖于QEMU来实现virtio系列设备(如virtio-blk)的后端功能。然而,基于KVM/QEMU的半虚拟化机制会通过多次上下文切换来延长客户机的I/O路径。随着高速NVMe存储设备的广泛使用,这种软件开销变得不可忽视。为了缩短I/O路径,virtio-blk的两种变体vhost-kernel-blk和vhost-user-blk分别将所有客户机I/O处理任务放在内核空间和用户空间完成。不幸的是,这些变体放弃了KVM与QEMU之间的协作,从而牺牲了QEMU的一些重要功能,例如实时迁移、快照生成以及灵活的镜像格
来源:ACM Transactions on Storage
时间:2025-11-08
-
关于人机交互中用户生成内容推荐系统伦理问题的文献综述
摘要用户生成内容(UGC)平台的设计在全面解决推荐算法的伦理问题以及应用以用户为中心的评估方法方面面临挑战。本文对97项关于结合人类因素和用户体验的UGC算法(UGCAlgos)的研究进行了文献综述,这些研究探讨了人机交互(HCI)研究中的伦理问题。我们的综述确定了与UGCAlgos及其所采用的用户建模方法相关的伦理考量中的关键主题。我们研究了推荐系统中常见的伦理问题(如内容适宜性、隐私、用户参与度、透明度、公平性和多样性)在UGC平台中的研究情况及其具体背景。此外,我们还总结了如何通过用户建模方法来解决这些问题,包括数据特征分析、用户情境分析、用户行为预测、界面设计、用户信念以及社区和社会影
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
知识图谱的时序感知匿名化
摘要知识图谱(KGs)在数据共享中发挥着重要作用,因为它们能够同时建模用户属性及其之间的关系。知识图谱可以用于多种数据分析,例如分类分析——在这种分析中,会选取一个敏感属性,并分析用户与该敏感属性值(也称为敏感数据)之间的关联。数据提供者会对他们的知识图谱进行匿名处理,然后分享匿名后的版本以保护用户隐私。不幸的是,攻击者可以通过监控知识图谱的一个或多个快照来利用这些属性和关系来推断敏感信息。为了解决这个问题,本文提出了(k, l)-序列属性度((k, l)-sad),这是对k^w-tad原理[10]的一种扩展,以确保重新识别的用户的敏感数据足够多样化,从而无法被以高于某个特定置信度推断出来。即
来源:ACM Transactions on Privacy and Security
时间:2025-11-08
-
一种基于奖励信息的半个性化强盗算法,用于提升在线推荐系统的准确性和意外发现效果
摘要“上下文盗贼”(Contextual Bandits)为在线推荐系统中的个性化提供了基于原则的框架。然而,由于这些方法会根据个别用户的需求定制推荐列表,它们容易导致过度专业化,从而产生内容单一的推荐结果,限制用户接触到多样化的内容,并加剧诸如“信息茧房”和“回音室效应”等系统性问题。为缓解这些影响,推荐系统必须在预测准确性之外融入偶然性,提供新颖且出人意料的推荐内容,同时确保其与用户背景相关。本研究提出了一种半个性化推荐算法:对于每个推荐项目,该算法会学习一棵决策树,根据用户的上下文特征和行为模式对用户进行分类,并为每个用户群体运行独特的汤普森采样(Thompson Sampling)策略
来源:ACM Transactions on Recommender Systems
时间:2025-11-08
-
VPT:一种用于基于区块链的虚拟发电厂的隐私保护型能源交易和区块挖掘机制
摘要为了解决分布式能源资源(DERs)的可靠性问题,研究人员提出了一种名为“虚拟电厂”(VPP)的新概念。VPP旨在促进生产者、消费者和发电站之间的智能且安全的能源交易,并实现高效的能源管理。因此,将区块链技术集成到去中心化的VPP网络中成为了一种新的范式。然而,由于DERs的动态特性,这种去中心化方式在信任、可靠性、能源管理和效率方面仍存在挑战。因此,在本文中,我们首先提出了一种高效的VPP能源管理策略以增强需求响应能力,随后设计了一种基于能源的交易和区块链挖矿协议,将其命名为“PoEM”(Power of Energy Market)。为了进一步提升该方案的安全性,我们在PoEM中加入了差
来源:ACM Transactions on Privacy and Security
时间:2025-11-08
-
偏见带来的好处:利用有偏采样为长尾商品提供个性化推荐
摘要推荐系统通过学习用户的历史交互行为,提升用户在社交媒体、流媒体平台和电子商务中的参与度。推荐内容的相关性取决于模型学习到的用户特征和商品特征的质量。然而,用户与商品之间的交互行为分布极不均衡:许多商品获得的交互很少,而少数商品却主导了用户的互动行为,这种现象被称为“长尾问题”。由于推荐模型正是基于用户与商品的交互数据进行学习的,这种不平衡会加剧模型的偏见,导致冷门商品被忽视,从而降低推荐的多样性。为了解决这一问题,我们在之前的研究中提出了“偏见用户历史合成”(Biased User History Synthesis)算法,该算法旨在改善个性化推荐的同时解决长尾问题。我们的方法采用了一种优
来源:ACM Transactions on Recommender Systems
时间:2025-11-08