一种基于花朵授粉的多目标大语言模型任务调度问题交叉优化方法

《Knowledge-Based Systems》：A novel flower pollination-based crossover for multi-objective LLM task scheduling problem

　　

摘要

大型语言模型在云平台和边缘计算基础设施中的快速部署，使得高效且可持续的推理调度变得愈发重要。与训练不同，大型语言模型的推理任务具有高频、对延迟敏感的特点，这会大幅增加能源消耗和碳排放。本文将大型语言模型任务调度问题构建为一个多目标优化模型，旨在同时降低能源使用、碳排放以及跨地理分布资源的服务水平协议违规情况。为了解决这一NP难问题的复杂性，本文提出了一种新的改进型元启发式算法——基于花粉传播的交叉算法（FPC），该算法在标准花粉传播算法的基础上加入了交叉机制，以提高收敛速度和解决方案的多样性。此外，还开发了一个综合优化框架，可用于对比评估八种元启发式算法，包括单目标和多目标版本。为便于重复实验并模拟真实世界的推理场景，本文还创建了三个新的大型语言模型调度数据集，即LLM-1K、LLM-3K和LLM-10K。在三个大型语言模型任务数据集上的大量实验表明，FPC在平衡能源、碳排放和服务水平指标方面具有更出色的性能。实验结果还揭示了在不同动态、环境敏感的部署条件下，各种优化策略的优势与局限性。

引言

大型语言模型已成为现代人工智能应用的核心计算基础，具备文本生成、问答、总结等功能。随着这些模型规模和复杂度的不断上升，它们在云平台中的广泛应用使得高效推理调度变得极为迫切。与不频繁且高度可并行化的训练过程不同，推理任务是连续的、对延迟敏感的，并且分布在全球各地，因此特别耗费能源和产生大量碳排放[1]。事实上，目前估计推理环节占据了与大型语言模型相关的绝大部分碳排放，单个请求就需要大量能源，甚至还需要淡水用于冷却[2]。

在这种背景下，任务调度问题指的是如何将一系列具有不同资源需求、延迟要求及截止时间的大型语言模型推理任务，动态分配到一组异构的云或边缘计算资源上。这样的调度不仅要满足实时的服务水平目标（如首次输出token的时间、整体延迟），还要尽量降低整个系统的能源消耗、碳排放（这些数值会随地区和时间的不同而变化）以及服务水平协议违规情况。更复杂的是，这些调度决策还必须在工作负载波动、可再生能源可用性、热量限制以及硬件级性能调控等因素的影响下做出[3]、[4]。

由于问题的高维度性、相互冲突的目标以及实时动态特性，传统的启发式方法和基于规则的方法在此类场景中显得力不从心。此外，精确优化技术（如整数线性规划、约束求解器）在每分钟处理数千次推理请求的规模下也难以实现计算上的可行性。因此，大型语言模型任务调度问题可以被看作是一个复杂的、NP难的、多目标优化问题，需要灵活、自适应且高效的解决方案。

元启发式优化方法作为一种有效的手段，被用来解决那些难以通过分析方法解决的复杂、高维度的调度问题。遗传算法、粒子群优化算法、差分进化算法、蝙蝠算法、鲸鱼优化算法以及其他受群体智能和自然现象启发的方法，已被广泛应用于云计算和虚拟化基础设施中的节能调度领域[5]、[6]、[7]。此外，元启发式算法在解决多种优化问题方面也表现出了强大的能力，比如提升医疗4.0物联网系统的安全性[8]、入侵检测系统[9]、信号去噪[10]、[11]、特征选择[12]、机器学习中的超参数优化[13]、改善软件缺陷预测能力[14]，以及管理大规模物联网NetFlow流量[15]。这些算法尤其擅长在非凸的、NP难的搜索空间中寻找最优解，同时还能灵活地在能源效率、执行延迟和服务水平合规性等相互冲突的目标之间取得平衡。

在大型语言模型推理任务这一新兴领域，越来越多的研究开始将元启发式优化方法引入绿色人工智能系统中。其中较为突出的成果包括：SLIT[1]提出了一种基于地理信息的调度框架，该框架利用机器学习引导的元启发式方法，共同优化多个环境相关目标，包括首次输出token的时间、碳排放、能源消耗以及水资源使用情况。TAPAS[3]则进一步发展了这一理念，将热量和功率考虑因素纳入任务分配中，通过动态调整调度策略和频率，减少基于云端的推理集群中的性能受限问题。而SPROUT[16]则从生成层入手，通过修改推理指令来减少token数量，从而在不降低模型输出质量的前提下，降低能源和碳排放。与这些研究相辅相成的是DynamoLLM[4]，它专注于跨集群的服务级编排，通过实施考虑能源和碳排放的重新配置策略，能够在满足严格延迟服务水平要求的同时，实现高达53%的能源节省和38%的碳排放减少。

尽管这些系统代表了重要的进展，但大多数仍依赖于单一解决方案的优化启发式方法或手工设计的策略，其在算法探索的范围上存在局限。此外，很少有研究会对多种元启发式算法进行全面的比较评估，尤其是那些针对现实世界中大型语言模型部署约束设计的多目标调度算法。正是这一不足促使了本研究开展，它系统地研究并在多准则大型语言模型推理调度背景下对多种元启发式算法进行了基准测试。

虽然人们对可持续的大型语言模型推理越来越感兴趣，但现有文献中仍然存在明显缺口，尤其是缺乏对多种元启发式优化算法的系统性评估，这些算法既包括单目标版本，也包括多目标版本，用于实现环境友好的任务调度。现有的研究往往只关注个别算法和特定场景，这限制了其研究成果的普遍适用性。

为了解决上述问题，本研究的主要贡献如下：

• 1.
  将大型语言模型推理调度问题构建为一个多目标优化模型，同时考虑能源消耗、碳排放和服务水平协议违规情况，全面反映地理分布式、环境敏感型部署的复杂性。
• 2.
  提出了一种新的基于花粉传播的交叉算法（FPC），它是标准花粉传播算法的改进版本，加入了自适应的多操作符交叉阶段。该算法保留了花粉传播算法的优化特性，同时在处理大规模调度任务时提升了解决方案的多样性和收敛速度。
• 3.
  设计并实现了一个统一的优化框架，可在相同条件下系统地评估用于大型语言模型任务调度的各类元启发式算法。
• 4.
  创建并发布了三个真实的大型语言模型推理调度数据集，即LLM-1K、LLM-3K和LLM-10K，这些数据集反映了不同的工作负载规模。
• 5.
  通过多项数据集和多种性能指标，对八种算法进行了严格的实证研究，评估指标包括适应度、能源使用量、碳排放量以及收敛行为。

本文的结构如下：第2节概述了绿色计算和元启发式调度领域的现有研究，同时定义、构建并阐述了大型语言模型调度问题。第3节详细介绍各算法的实现方式。第4节涉及实验设计、数据来源及性能评估指标，同时分析研究结果及其中的权衡关系。第5节对全文进行总结，并提出未来的研究方向。

章节要点

相关工作

Moore等人[17]提出了SLIT，这是一个以可持续性为导向的大型语言模型推理调度框架，能够同时优化地理分布式数据中心中的首次输出token时间、能源消耗、碳排放以及水资源使用情况。该框架借助机器学习引导的决策机制来实现动态的工作负载分配，取得了显著的环境效益。不过，SLIT仅采用了一种优化策略，且没有对多种元启发式算法进行评估。

所提出的方法

本节将对本研究中所使用的花粉传播算法以及交叉运算符进行介绍和说明，同时还会详细阐述所提出的基于花粉传播的交叉算法。

实验结果

本节将介绍实验的配置以及所使用的数据集，同时会对所提出的基于花粉传播的交叉算法及其他方法的实验结果进行评估、比较和分析。

结论与未来工作

本研究通过将大型语言模型推理调度问题视为单目标及多目标优化问题，将能源消耗、碳排放和服务水平协议合规性纳入调度标准，从而解决了这一具有环境意识的大型语言模型推理调度问题。为了解决这一复杂的NP难问题，我们提出了一种新的元启发式算法——基于花粉传播的交叉算法，该算法在传统花粉传播算法的基础上加入了交叉运算符，提升了算法的探索能力、解决方案的多样性等性能。

CRediT作者贡献声明

Mohammad Tubishat：撰写——审稿与编辑、撰写——初稿、验证、项目管理、研究调查、形式分析、数据整理。Ahmed Shuhaiber：撰写——审稿与编辑、撰写——初稿、可视化处理、验证、监督指导、软件开发、资金筹集。Sharif Naser Makhadmeh：撰写——审稿与编辑、撰写——初稿、验证、监督指导、软件开发、资源协调、数据整理、概念构思。Mohammed Azmi Al-Betar：撰写——审稿与

资金支持

我们要感谢扎耶德大学在研究激励基金[项目编号：23202]的支持下为本研究提供资助，Mohammad Tubishat担任该项目的负责人。

利益冲突声明

作者声明不存在任何利益冲突。

Mohammad Tubishat|Ahmed Shuhaiber|Sharif Naser Makhadmeh|Mohammed Azmi Al-Betar