编辑推荐：
在无服务器计算中，函数动态扩缩容面临冷启动延迟、资源利用不佳和多租户处理难等问题。研究人员开展基于深度强化学习（DRL）的函数资源扩缩容研究。结果显示，可提升应用性能，降低延迟和请求失败率，节省基础设施成本。这为无服务器计算发展提供新方向。
近年来，云计算领域中无服务器计算发展势头迅猛，备受关注。它让用户无需管理服务器等基础设施，只需专注于应用程序代码的开发和部署，这种便捷性吸引了众多开发者。然而，无服务器计算也并非完美无缺，其中一个突出问题就是函数的扩缩容难题。当用户请求量突然增加时，为满足需求需动态创建新资源，但这会带来冷启动延迟，导致函数请求执行出现额外延迟和失败。为缓解该问题，云服务提供商维持闲置资源池，却造成了资源浪费。现有解决办法大多聚焦于预测函数负载水平来提前创建资源，虽能改善函数性能，但因未充分考虑系统整体特性，使得系统资源利用并不理想。而且，无服务器系统的多租户特性要求解决方案具有可扩展性，能适用于多个共存应用，可目前多数方案在这方面存在局限。在这样的背景下，为了攻克这些难题，澳大利亚墨尔本大学云计算与分布式系统（CLOUDS）实验室的研究人员开展了一项极具意义的研究。
研究人员提出了一种基于多智能体深度强化学习（DRL）的智能解决方案，用于函数资源的水平和垂直扩缩容。他们综合考虑了函数和系统的需求，旨在提升函数性能、减少冷启动情况，同时为服务提供商优化资源维护成本。该项研究成果意义非凡，在不同工作负载场景下进行的实验表明，应用延迟最多可改善 23%，请求失败率最多可降低 34%，或者为服务提供商节省高达 45% 的基础设施成本。这一成果为无服务器计算的发展开辟了新路径，有效平衡了应用性能和资源成本之间的关系。该研究成果发表在《Future Generation Computer Systems》上。
在研究过程中，研究人员主要运用了以下关键技术方法：一是基于策略梯度算法异步优势演员 - 评论家（Asynchronous Advantage Actor Critic，A3C）构建多智能体函数扩缩容框架，以此来优化应用性能和提供商资源成本；二是在基于 Python 的模拟器环境中训练和评估 DRL 模型，并设计了基于开源无服务器平台 Kubeless 的实际测试平台，该测试平台部署在 Kubernetes 集群上，用于收集相关数据 。
下面来看具体的研究结果：
- 系统模型：研究人员构建的系统模型代表了大多数开源无服务器框架中常见的无服务器系统架构。其主要组件包括虚拟机（VMs）集群、作为用户请求入口点的负载均衡器、函数自动扩缩器、函数调度器以及协调其他功能单元通信的控制器。这一模型为后续研究提供了基础架构支撑。
- 学习模型：深度强化学习（RL）是机器学习的一个分支，强调基于经验的学习方式。在本研究中，RL 智能体与环境进行交互，在每个时间步根据当前策略π(at∣st)选择一个动作at，其中st是环境的当前状态。根据动作的 “优劣”，智能体会获得相应奖励rt+1 。RL 智能体的最终目标是学习一种策略，以最大化一系列动作的累积奖励。研究人员利用 RL 来探索函数扩缩容问题，为后续的策略制定提供了理论依据。
- 实验验证：研究人员在墨尔本研究云（Melbourne Research Cloud）上搭建了一个实际的实验无服务器框架，用于收集与无服务器函数分析相关的初步数据，并获取函数执行过程中展现的实际系统参数。该测试平台由部署在 20 节点 Kubernetes 集群上的 Kubeless 开源无服务器框架构成，并安装了 Prometheus 监控工具来监测集群指标。通过在该测试平台以及 Python 模拟器环境中的实验，研究人员对提出的 DRL 模型进行了训练和评估，并与基线扩缩技术进行对比，验证了该模型在提升应用性能和降低成本方面的有效性。
在研究结论和讨论部分，研究人员指出，无服务器计算中应用资源管理的抽象形式虽然让终端用户无需承担运营责任，但云服务提供商仍在探索最佳策略以履行新的职责。而他们提出的基于 DRL 的自适应解决方案，利用演员 - 评论家算法，在优化不同应用的函数资源扩缩容方面取得了显著成果。这不仅提升了应用性能，减少了冷启动延迟和请求失败率，还为云服务提供商节省了大量基础设施成本。该研究成果为无服务器计算领域的资源管理提供了新的思路和方法，推动了无服务器计算技术的进一步发展，有助于云服务提供商更好地应对多租户环境下的资源管理挑战，具有重要的理论和实践意义。
