边缘SLMs与云端LLMs之间的协作推理与学习:算法、执行机制及开放性挑战的调查
《ACM Computing Surveys》:Collaborative Inference and Learning between Edge SLMs and Cloud LLMs: A Survey of Algorithms, Execution, and Open Challenges
【字体:
大
中
小
】
时间:2026年08月30日
来源:ACM Computing Surveys 30.4
要查看此由AI生成的摘要,您必须具有高级访问权限。
摘要
摘要
随着大型语言模型(LLMs)的发展,仅将其部署在云端或将其压缩以用于边缘设备越来越不足以满足延迟、隐私、成本和个人化等方面的需求。本调查探讨了一种协作模式,即基于云的LLMs与部署在边缘的小型语言模型(SLMs)在推理和训练方面进行合作。我们提出了一种统一的边缘-云协作策略分类体系。在推理方面,我们将方法分为任务分配、任务划分以及基于任务的协作和基于令牌的协作,涵盖了自适应调度、资源感知的卸载、推测性解码和模块化路由等技术。在训练方面,我们回顾了分布式适应技术,包括参数对齐、剪枝、双向蒸馏和小模型引导的优化。此外,我们还总结了数据集、基准测试和部署实践,并强调了保护隐私的方法和垂直应用。本调查旨在为LLM-SLM协作建立系统的框架,促进系统与算法的协同设计,以实现高效、可扩展和可靠的边缘-云智能。
AI生成摘要(实验性)
此摘要是由自动化工具生成的,并非由文章作者撰写或审核的。它旨在辅助发现、帮助读者评估文章的相关性,并帮助来自相关研究领域的读者理解文章内容。它旨在补充作者提供的摘要,后者仍是文章的权威版本。完整文章是记录的官方版本。点击此处了解更多。
点击此处对摘要的准确性、清晰度和有用性进行评论。您的反馈将有助于改进未来的生成版本。
要查看此由AI生成的简明语言摘要,您必须具有高级访问权限。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号