边缘计算网络中基于扩散模型的文本到图像生成AI服务的中间结果缓存

《ACM Transactions on Embedded Computing Systems》：Intermediary Output Caching for Diffusion Model-Based Text-to-Image GenAI Services in Edge Computing Networks

生成式AI服务通过边缘计算辅助的缓存优化框架显著降低响应时间并提升缓存命中率。基于扩散模型的文本到图像生成任务，提出利用Lyapunov优化和深度强化学习（DRL）的缓存算法，通过DNN生成缓存动作并模型评估，在时槽内实现高效缓存策略。

　　

摘要

生成式人工智能（GenAI）的显著进步推动了文本到图像生成领域的革命性应用，例如Stable Diffusion和Imagen。特别是扩散模型能够通过反向连续去噪过程，根据自然语言描述生成令人惊叹的图像。然而，基于扩散模型的GenAI服务的计算负担对其实际应用构成了重大障碍。在这项工作中，我们提出了一个新颖的边缘计算辅助GenAI框架，以实现高效的GenAI服务提供。在该框架中，扩散模型生成的中间输出可以缓存在边缘服务器上，并被多个用户重复使用，从而提高边缘计算资源的利用率。在假设存在因果相关的辅助信息的情况下，我们考虑了基于扩散模型的GenAI任务的最大可重用步骤以及边缘服务器的可用缓存容量，制定了一个长期缓存问题。通过利用李雅普诺夫优化框架，我们将时间平均缓存问题转化为多个不同时间段的确定性问题。我们开发了一种基于深度强化学习的缓存（DRC）算法，用于在每个时间段内做出缓存决策，该算法包括一个基于深度神经网络（DNN）的缓存动作生成模块和一个基于模型的评估模块。最后，我们通过将DRC算法与基准算法进行比较，进行了广泛的仿真实验。仿真结果表明，所提出的DRC算法能够显著减少响应时间并提高缓存命中率。代码可在以下链接获取：https://gitee.com/pipihinsky/DRC。