基于Q学习的边缘计算无服务器函数自动伸缩管理优化研究

本文针对边缘计算中无服务器(Serverless)函数自动伸缩机制存在的冷启动延迟问题，提出基于Q学习(QL)的动态配置方案。研究人员通过OpenFaaS平台实验，利用真实Azure函数调用数据训练QL代理，动态调整Kubernetes水平Pod自动伸缩器(HPA)的CPU使用阈值，在保证服务等级协议(SLA)延迟要求的同时优化资源利用率。该研究为边缘计算场景下实现低延迟高效益的无服务器架构提供了创新解决方案。

　　

随着物联网(IoT)设备激增和边缘计算(Edge Computing)的兴起，传统的云计算架构正面临严峻挑战。在边缘计算场景中，低延迟和高效资源利用成为关键需求，而无服务器计算(Serverless Computing)因其按需分配资源的特性备受关注。然而，当前基于Kubernetes水平Pod自动伸缩器(HPA)的无服务器平台存在一个致命缺陷：当服务请求突增时，静态配置的资源阈值会导致频繁的冷启动(Cold Start)现象，引发显著的延迟峰值，严重影响服务质量。特别是在医疗健康监测、自动驾驶等对延迟敏感的边缘应用中，这个问题可能造成严重后果。

针对这一难题，Priscilla Benedetti等研究团队在《Future Generation Computer Systems》发表创新研究，提出采用强化学习中的Q学习(Q-Learning, QL)算法来动态优化HPA配置。研究人员构建了基于OpenFaaS（最流行的开源Kubernetes无服务器平台）的实验系统，通过真实世界的Azure函数调用数据训练QL代理，实现了在保证服务等级协议(SLA)延迟要求的前提下，显著提升资源利用效率的突破性成果。

研究团队主要采用了三项关键技术方法：一是基于OpenFaaS和Kubernetes搭建实验平台，使用真实Azure函数调用数据集进行压力测试；二是设计包含延迟状态和副本数量的状态空间，以及调整HPA CPU使用阈值（10%-100%）的动作空间；三是构建两种奖励函数（资源导向型TRA和延迟导向型TLA）进行对比实验，评估不同策略在60分钟高强度测试中的表现。

在"6.1. Preliminary HPA Performance Assessment"部分，研究首先揭示了传统HPA配置的根本缺陷。实验数据显示，无论是常用的50%还是默认的80% CPU使用阈值，都无法满足1秒的SLA延迟要求，平均延迟分别达到1302ms和1616ms。通过分析HPA的缩容稳定期(scaleDown stabilizationWindowSeconds)机制，发现固定阈值配置会导致资源利用与服务质量间的不可调和矛盾。

"6.2. QL Experiments"章节详细展示了QL解决方案的卓越性能。训练阶段设计的15状态×10动作空间（延迟分5区间，副本数分3档）经过1200次迭代后，QL代理成功掌握了最优阈值调整策略。关键发现包括：资源导向型代理(TRA)在保证平均延迟(957ms)达标的同时，仅比最优静态配置增加20mCPU开销；而延迟导向型代理(TLA)虽能达到更低延迟(812ms)，但需付出更高资源代价。特别值得注意的是，将缩容稳定期从300秒缩短到5秒后，传统HPA性能反而恶化，验证了动态调参的必要性。

在"7. Conclusion and Lesson Learned"讨论部分，作者强调了三个重要启示：首先，QL算法的小型状态空间设计(仅跟踪延迟和副本数)既保证了边缘节点的低计算开销，又实现了精确控制；其次，采用真实Azure调用数据训练，使方案比基于合成流量的方法(SRA)具有更好的突发流量适应能力(损失率仅0.89% vs 2.53%)；最后，相比复杂深度强化学习方案，QL在保持性能的同时，还具备模型可解释性优势，其Q矩阵可直接解读为决策依据。

这项研究为边缘计算环境中的无服务架构优化提供了重要范式转变。通过将强化学习与传统容器编排系统相结合，首次实现了服务质量与资源效率的协同优化。特别是在医疗物联网、智能交通等对延迟敏感的领域，该成果为构建既经济又可靠的服务提供了关键技术支撑。未来，研究团队计划将该方法扩展到多云边缘场景，通过联邦学习实现跨集群协同优化，进一步推动边缘智能的发展。