Asner:应对云环境波动负载的自适应容器自动缩放新方案

【字体: 时间:2025年05月12日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  在 DBaaS 中,为解决传统 RL - 基于的容器自动缩放方法无法适应波动负载的问题,研究人员开展 Asner 自适应容器自动缩放方法的研究。结果显示,该方法性能显著提升,对 DBaaS 资源优化意义重大。

  在当今数字化时代,云服务的应用越来越广泛,其中数据库即服务(Database - as - a - Service,DBaaS)备受企业青睐。它具有弹性、按需付费以及高可用性等诸多优点,使得众多企业纷纷将数据库部署在 DBaaS 平台上,像微软的 Azure SQL Database 和阿里巴巴的 PolarDB 等。然而,DBaaS 在为企业带来便利的同时,也面临着严峻的挑战。
DBaaS 通过资源容器为多个租户提供服务,由于租户的使用情况不断变化,容器的资源规模也需要随之调整,以此来满足服务水平协议(Service - Level Agreements,SLA)。但不同容器规模的成本差异巨大,例如在处理写入任务时,Azure SQL DB 中最小和最大容器的成本相差可达三个数量级。这就要求 DBaaS 平台必须在保证用户高可用性和稳定服务的前提下,尽可能降低资源成本。一方面要优化资源利用,避免浪费;另一方面又要防止因资源不足影响服务的稳定性和可靠性。在这两者之间找到平衡,直接关系到平台的经济效益和用户体验。

强化学习(Reinforcement Learning,RL)因其在动态环境中的稳健性,在云资源缩放领域展现出巨大潜力,不少研究都尝试运用 RL 实现资源自动缩放。但现有的基于 RL 的方法存在明显缺陷,它们大多针对特定应用场景设计了固定的动作空间,难以适应 DBaaS 中波动频繁且资源需求变化突发的负载情况。例如,多数 Azure SQL DB 用户的资源需求在几分钟到几小时内就会发生显著变化,且这些变化频繁出现,每天甚至每小时都会产生数千次变化。固定动作设计使得这些方法在面对资源需求大幅波动的场景时,无法灵活应对,导致资源缩放不稳定且效率低下,无法为不同的资源需求变化提供合适的动作集,严重影响了 RL 算法的学习效率、收敛速度和稳健性。

为了解决这些问题,来自东北大学软件学院的研究人员开展了关于自适应容器自动缩放方法的研究。他们提出了一种名为 Asner 的自适应容器自动缩放方法,该方法取得了令人瞩目的成果。与其他方法相比,Asner 的性能提升高达 45%,在优化 DBaaS 资源利用和降低成本方面具有重要意义,相关研究成果发表在《Future Generation Computer Systems》上。

研究人员在开展这项研究时,主要运用了以下关键技术方法:一是设计了基于图的资源估计模型(Estimator),通过构建 SQL 语句查询执行计划(Query Execution Plans,QEPs)的图表示,并利用图神经网络学习图特征和资源需求,以此来估计数据库工作负载的资源需求;二是开发了基于 RL 的缩放算法(Scaler),通过设计动态动作模型,结合启发式规则修剪动作以及采用奖励塑造等方式,让 RL 算法能够进行更细粒度的缩放动作,加快收敛过程,从而生成容器缩放策略。

Asner 设计


Asner 是一种两步法,先利用 Estimator 估计 SQL 工作负载的资源需求,再通过 Scaler 借助强化学习自适应地学习生成容器缩放策略,以实现两个优化目标:最小化资源成本和满足 SLA。Estimator 采用基于图的方法,将 SQL 查询执行计划转化为图结构,利用图神经网络学习其中的特征,进而估计资源需求,为容器缩放提供先验知识。Scaler 则通过改进的 RL 算法,基于动态动作模型生成灵活的缩放策略,同时运用启发式规则和奖励塑造技术,提升算法处理波动负载的能力和收敛速度。

评估


研究人员通过由工作负载数据驱动的实验模拟来评估 Asner 方法的性能,这些数据能够模拟真实用户的使用情况。实验结果显示,Estimator 在 TPC - DS 数据集下的准确率达到约 93%。Scaler 的性能比当前最先进的 RL 方法高出约 30%。Asner 相较于静态(Static)、贪心(Greedy)和基于阈值调整(Threshold - based adjustment,TA)的方法,性能分别提高了约 45%、43% 和 41%。这充分证明了 Asner 在处理波动负载时的高效性和优越性。

研究结论和讨论


Asner 方法成功解决了传统 RL - 基于的容器自动缩放方法在应对波动负载时的不足。它通过创新的资源估计模型和改进的 RL 缩放算法,有效提升了资源缩放的灵活性和适应性,在保证服务质量的同时降低了资源成本。这不仅为 DBaaS 平台提供了更高效的资源管理方案,也为云资源自动缩放领域的研究开辟了新的方向。未来,随着云服务应用场景的不断拓展和负载变化的日益复杂,Asner 方法有望在更多领域得到应用和进一步优化,持续为云资源管理提供有力支持,推动相关行业的发展。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号