面向共封装光通信数据中心中考虑温度因素的微服务调度的置换等变图强化学习方法

《Symmetry》：Permutation-Equivariant Graph Reinforcement Learning for Thermal-Aware Microservice Scheduling in Co-Packaged Optics Data Centers

　　

摘要

随着数据中心互连技术向共封装光学器件（CPO）发展，高功率的专用集成电路（ASIC）与对温度敏感的光学模块需要共享同一个中介层，由此产生的模块内部热耦合问题使得传统的调度算法难以应对。本文将基于CPO模块的热敏感微服务有向无环图（DAG）调度问题转化为对称性分析问题。虽然均匀图策略假设节点具有完全的置换对称性，但这种对称性实际上被两次打破：一是由于任务类型与处理器节点类型的差异，二是由于ASIC与光学模块之间的非对称耦合关系。因此，我们提出了一种异构图近端策略优化（PPO）调度器，其中放置模块的部分具备置换等变性，延迟计算部分则保持置换不变性，且参数设置也与处理器数量N无关。由于这些对称性在算法设计中就已体现，因此该策略无需重新训练即可跨不同模块规模应用。通过六组实验，我们验证了异构边缘类型以及电阻电容（RC）耦合边缘属性的影响。在标准自动冷却预算约束下，该调度器在覆盖所有模块规模及不同环境条件下的阿里巴巴2021年微服务测试数据中，将基于异构最早完成时间（HEFT）策略时的热违规率从大约降低到约；在最高温度运行状态下，它可将峰值温度降低约，同时将DAG任务的完成时间从大约提升到，仅有极少数的违规现象出现在极端环境条件下。当关闭自动冷却预算后，单轴对比实验表明，去除RC耦合边缘属性会使违规率上升一个数量级以上，从而证明了该属性的重要影响。只需一组参数即可适用于任意N规模的系统，无需再次训练。