面向科学领域的大型语言模型效率技术综述

《ARTIFICIAL INTELLIGENCE REVIEW》：Towards efficient large language models for scientific data: a review

　　

摘要

将大型语言模型（LLMs）适应到科学领域需要高效的策略，以在保持性能的同时降低高昂的计算成本。本文系统性地综述了将LLMs适应到科学应用中的效率技术。我们的综述分析了七个科学领域的120项研究，包括生物医学、临床医学、生物学、数学、化学、地球环境科学以及跨学科科学研究。在所综述的文献中，我们汇总了34个代表性模型和30个用于高效科学LLM研究的科学数据集。通过考察参数高效微调、知识蒸馏、架构优化和数据驱动方法，我们提出了一种双轴分类法，既按方法论策略又按科学领域对效率技术进行分类组织。我们进一步提供了在资源受限条件下选择效率策略的实践指南，并重点阐述了包括多模态集成、灾难性遗忘和自动化方法选择在内的开放挑战。通过综合跨领域证据并概述可持续模型发展的方向，本综述支持在资源受限的研究环境中采用高效的科学LLMs，并促进跨科学学科更加可及和负责任的部署。