用于构建和优化机器学习工作流程的大型语言模型：综述

《ACM Transactions on Software Engineering and Methodology》：Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey

大语言模型（LLM）正推动自动化机器学习（AutoML）工作流发展，覆盖数据预处理、特征工程、模型选型等阶段。本文首次从软件工程视角系统分析LLM驱动的AutoML框架，提出分类体系并对比现有方法，揭示模块化、可解释性等关键需求，指出需要重构开发模型和风险管控机制。

　　

摘要

机器学习（ML）工作流程——包括数据预处理和特征工程、模型选择与超参数优化以及工作流程评估——越来越多地被集成到复杂的软件系统中。手动构建这些工作流程需要深厚的ML专业知识、领域知识以及大量的工程投入。自动化ML（AutoML）框架在一定程度上解决了这些问题，但通常面临搜索空间受限、适应性差和可解释性低等局限性。大型语言模型（LLMs）的最新进展为通过利用其在语言理解、推理、交互和代码生成方面的能力来自动化和优化ML工作流程提供了新的机会，同时也为软件工程（SE）带来了新的实际和理论挑战。本调查首次从软件工程的角度，对基于LLM的ML工作流程自动化进行了分阶段的综述。我们提出了一套涵盖所有三个工作流程阶段的分类体系，系统地比较和分析了现有的先进方法，并总结了各阶段的具体趋势及跨阶段的发展趋势。我们的分析提出了面向软件工程的建议，包括对鲁棒性验证、质量管理、上下文感知部署以及风险缓解的需求，同时确保软件具备可用性、模块化、可追溯性和性能等关键质量属性。研究结果还指出需要调整开发模式，重新思考生命周期边界，并正式化不确定性处理机制，以适应LLM辅助工作流程生成的概率性和协作性特点。此外，我们还指出了主要的开放性挑战，并概述了未来的研究方向，以指导LLM在ML工作流程开发中的可靠和有效应用。我们的研究成果已公开发布在https://github.com/t-harden/LLM4AutoML。