ChatRCA：一种基于大规模语言模型（LLM）的多智能体系统与人机交互的根源原因分析方法

《ACM Transactions on Software Engineering and Methodology》：ChatRCA: A Root Cause Analysis Method via LLMs-based Multi-Agent with Human-in-the-Loop

　　

摘要AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

根本原因分析（RCA）通过关联异常信号来识别事件原因，从而支持云服务的可靠性。现有的基于大型语言模型（LLM）的RCA方法显示出潜力，但单一的LLM流程往往无法充分捕捉RCA的结构化工作流程，而完全自动化的推理缺乏经过校准的不确定性处理和专家监督。我们首先进行了实证研究，以了解真实的RCA工作流程、诊断角色以及有用的人类反馈形式。基于研究结果，我们提出了ChatRCA，这是一个多智能体的RCA框架，它将RCA分解为由管理、观察、架构、操作和专家智能体处理的專門子任务。为了减轻不确定或冲突的输出，ChatRCA在两个检查点引入了轻量级的人工干预反馈：工作顺序验证和根本原因判定，使用三名盲选的操作工程师之间的共识-仲裁协议。我们在三个数据集上评估了ChatRCA的性能，包括TrainTicket（一个私有的中国移动通信集团有限公司（CMCC）云运营数据集）和GAIA数据集。ChatRCA在服务/组件定位和根本原因类别预测方面表现优异，三个数据集的Top-1准确率分别为91.11%、86.67%和87.80%。在CMCC数据集上，ChatRCA还提高了RCA解释的质量，BLEU-4得分为63.45，BERTScore得分为86.92。部署反馈进一步表明了其在云运营中的实际实用性。

AI摘要

AI生成的摘要（实验性）

此摘要是通过自动化工具生成的，不由文章作者编写或审阅。提供该摘要是为了帮助读者发现研究要点，评估文章的相关性，并帮助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍然是文章的官方总结。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性发表评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的简体语言摘要，您必须具有高级访问权限。