超越效率:资源高效大语言模型的系统综述

《ACM Computing Surveys》:Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models

【字体: 大 中 小 】 时间:2026年09月21日 来源:ACM Computing Surveys 30.4

编辑推荐:

   摘要AI 摘要要查看此 AI 生成的摘要,您必须拥有高级访问权限。了解更多登录摘要摘要大型语言模型(LLMs)作为一个蓬勃发展的领域,以 OpenAI 的 ChatGPT 等复杂模型为代表,代表了人工智能的重大进步。然而,这些模型在计算、内存、能源和财务资源方面带来了巨大的消

  

摘要

摘要

大型语言模型(LLMs)作为一个蓬勃发展的领域,以 OpenAI 的 ChatGPT 等复杂模型为代表,代表了人工智能的重大进步。然而,这些模型在计算、内存、能源和财务资源方面带来了巨大的消耗挑战,尤其是在资源能力有限的环境中。本综述旨在通过回顾一系列旨在提升 LLM 资源效率的技术来系统性地解决这些挑战。我们根据方法优化侧重点对其进行分类——涵盖计算资源、内存资源、能源资源、财务资源和网络资源——并根据其在 LLM 生命周期各阶段中的适用性进行分类,包括架构设计、预训练、微调和系统设计。此外,本综述根据具体的资源类型对资源效率技术进行了细致的分类,揭示了各种资源与其对应优化技术之间错综复杂的关系和映射。我们还提出了一套标准化的评估指标和数据集,以便在不同模型和技术之间进行一致且公平的比较。通过全面概述当前最新研究进展并识别开放的研究方向,本综述为研究者和从业者提供了基础性参考,帮助他们在快速变化的领域中开发更具可持续性和高效性的 LLM。为了使感兴趣的初学者更容易入门,我们不仅对现有工作进行了系统回顾,构建了资源高效型 LLM 的高度结构化分类体系,还发布了一个包含持续更新论文列表的网站 https://github.com/tiingweii-shii/Awesome-Resource-Efficient-LLM-Papers。

AI 摘要

AI 生成摘要(实验性)

本摘要由自动化工具生成,未经本文作者撰写或审核。其目的是辅助文献发现、帮助读者评估相关性,并协助来自相邻研究领域的读者理解该论文。本摘要旨在补充作者提供的摘要,后者仍是论文的正式摘要。完整文章仍为权威版本。 点击此处了解更多。

点击 此处 对该摘要的准确性、清晰度和实用性进行评价。您的反馈将有助于改进和未来的重新生成版本。

要查看此 AI 生成的简明摘要,您必须拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号