基于LLM的AWS Serverless计算误配置检测

《ACM Transactions on Software Engineering and Methodology》：LLM-Based Misconfiguration Detection for AWS Serverless Computing

基于大语言模型的云原生无服务器配置静态检测框架研究，提出SlsDetector首次实现LLM驱动型无服务器配置误检检测，采用零样本提示工程与链式思考技术，通过多维度约束模型有效识别配置问题，在110例测试集上F1值达79.75%，较传统方法提升49.72个百分点，验证多主流LLM的跨模型泛化能力。

　　

摘要

无服务器计算是一种流行的云计算范式，它允许开发人员在函数级别构建应用程序，这些应用程序被称为无服务器应用程序。无服务器应用程序模型（AWS SAM）是采用最广泛的配置方案。然而，由于无服务器配置的复杂性和传统数据驱动技术的局限性，错误配置带来了重大挑战。最近在大型语言模型（LLMs）方面的进展为识别和解释错误配置提供了有希望的潜力。在本文中，我们介绍了，这是第一个利用LLMs能力进行无服务器应用程序静态错误配置检测的框架。通过零样本提示实现了有效的提示工程来识别配置问题。它设计了与无服务器配置特性相匹配的多维约束，并利用“思维链”技术来增强LLM的推理能力，同时生成结构化的响应。我们在一个包含正确配置、实际错误配置以及故意注入的错误的数据集上评估了，该数据集包含110个配置文件。我们的结果显示，基于ChatGPT-4o（最具代表性的LLMs之一）的达到了72.88%的精确度、88.18%的召回率和79.75的F1分数，分别比最先进的数据驱动方法高出53.82%、17.40%和49.72个百分点。我们进一步研究了在最近发布的LLMs（包括Llama 3.1（405B）Instruct Turbo、Gemini 1.5 Pro和DeepSeek V3）上的泛化能力，发现其效果始终很高。