CausalDX：借助大语言模型引导的因果推理诊断长尾及级联云事件

《IEEE Transactions on Knowledge and Data Engineering》：CausalDX: Diagnosing Long-Tail and Cascading Cloud Incidents With LLM-Guided Causal Reasoning

　　摘要：现代云平台面临着日益加剧的诊断挑战，这源于规模驱动的涌现行为以及复杂的系统间相互依赖关系。然而，现有的诊断系统仅能处理已知清晰的故障模式，留下了两个严重影响系统可靠性的关键盲区：（1）长尾诊断瘫痪——稀有异常无法被基于模式的检测所捕获，尽管其占比极小，却消耗了超过60%的诊断时间；（2）级联异常过载——指数级增长的异常组合引发虚假相关性，使得难以区分表面症状与根本原因。为了弥合这些缺口，我们提出了CausalDX，一种新颖的诊断框架，利用大语言模型（LLMs）作为因果推理引擎来扩展诊断系统的泛化能力。该框架由三个核心组件构成：（1）异常粒度的因果图表示，将事件诊断结构化为系统性的图遍历过程，从而实现清晰且可解释的推理；（2）自适应图驱动根因搜索算法（AGRCS），将专家规则与LLM智能体相结合，将复杂的根因分析分解为可管理的步骤；以及（3）基于观测的自验证机制，利用变分推断将根因置信度与实际系统观测进行验证。在真实云事件上的大量评估表明，CausalDX实现了显著的性能提升：自动化诊断成功率达73.2%，长尾异常召回率为35.2%（相比基于LLM的最优方法提升最高3倍），级联场景精度为68.4%（相比现有系统提升3.2倍）。该验证机制将幻觉导致的误报率降低了17.9%。这些结果表明，我们的设计有效地利用LLM实现了自适应、可解释且可靠的云事件管理。I. 引言云数据系统已成为当代业务运营中的核心组成部分，提供实时分析、大规模存储和应用托管等关键服务。这些系统构建于多层架构之上，包含Apache Spark [1]和Hadoop HDFS [2]等组件，以及专有解决方案 [3]、[4]。确保这些系统的可靠性至关重要，因为系统故障可能导致长时间的服务中断、用户体验下降以及巨额经济损失 [5]。在大规模云平台中，即使平均故障修复时间（MTTR）延迟一小时，也可能造成数百万美元的收入损失和严重的声誉损害 [6]。这凸显了有效事件管理策略的重要性 [6]、[7]、[8]，其中根因分析（RCA）是识别系统异常根本来源并实现有效解决的核心基础 [9]、[10]。