LogPhi:一种用于异构日志的多层次异常检测方法,该方法结合了大型语言模型和动态领域知识

《Neurocomputing》:LogPhi: A multi-level anomaly detection method for heterogeneous logs using large language models and dynamic domain knowledge

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neurocomputing 6.5

编辑推荐:

  王磊|周新龙|赵晓勇|何一宝北京信息科学技术大学管理科学与工程学院,北京,100192,中国摘要现代计算系统日志的结构异质性和语义复杂性不断增加,给传统的异常检测带来了重大挑战,尤其是在建模复杂的行为链时。本文介绍了LogPhi,这是一个端到端的日志异常检测框架,它将大型语言模型

  
王磊|周新龙|赵晓勇|何一宝
北京信息科学技术大学管理科学与工程学院,北京,100192,中国

摘要

现代计算系统日志的结构异质性和语义复杂性不断增加,给传统的异常检测带来了重大挑战,尤其是在建模复杂的行为链时。本文介绍了LogPhi,这是一个端到端的日志异常检测框架,它将大型语言模型(LLMs)的深度语义理解集成到了一个动态的知识增强架构中。LogPhi的架构通过多个协同阶段进行操作。首先,它利用先进的提示工程技术在15种不同的日志格式中执行无模板的结构规范化,展示了强大的泛化能力。其次,其自适应去重机制根据资源标识符智能地路由日志,并采用语义规范化有效减少数据冗余。最后,LogPhi的核心是一个基于动态领域先验的分层检测引擎。通过利用这些逻辑锚点来校准模型的决策,LogPhi使异常分类在语义上保持一致,并与系统约束逻辑对齐,从而显著提高了检测准确性和模型可解释性,减少了与LLM幻觉相关的错误分类。在各种工业数据集上的广泛实验验证了LogPhi的有效性,平均F1分数达到了0.96——比最先进的方法提高了约3%。重要的是,LogPhi在关键异常检测方面表现出高召回率,并在跨系统迁移和零样本检测场景中表现出卓越的鲁棒性。通过实现无需依赖固定日志模板的自动化、多层次检测,LogPhi为复杂、异构环境中的日志分析提供了可扩展且可靠的解决方案。

引言

在现代计算系统中,日志是记录系统状态、资源使用情况、任务执行过程和异常行为的重要媒介。它们被广泛应用于分布式存储平台、超级计算系统、云原生基础设施和边缘计算节点等关键场景中。随着系统的扩展和异构组件的持续集成,日志的数量呈指数级增长,而它们的结构和内容表现出高度的结构异质性和语义非结构化[23]。这些系统日志通常跨越多个层次,包括硬件、操作系统和应用程序,信息以自然语言或半结构化格式表示[34]。这种复杂性使得结构化提取、行为建模和异常检测变得非常具有挑战性[15]。
在现实世界的日志分析中,一个关键的观察结果是处理需求基于日志属性的不同。如图2中的数据流所示,日志可以分为两类:一类包含资源标识符(例如BlockID),这使得基于聚合的分析成为可能;另一类则缺乏此类标识符,依赖于自由文本语义。这种结构异质性通常将分析限制在孤立事件上,并且由于模块间时间戳格式不一致而变得更加复杂。这些现象在领域分布、语义复杂性和行为建模方面带来了重大挑战[11]、[28]、[35]。为系统地解决这些问题,本文旨在回答以下研究问题:(RQ1)多角色LLM引擎如何在不进行大量手动规则调整的情况下,在异构系统中实现高精度的自动日志解析?(RQ2)语义规范化和路径分歧策略如何有效处理不同日志类型之间的结构不平衡?(RQ3)将LLM驱动的语义推理与资源感知序列结合在多大程度上可以提高异常检测的准确性和可解释性?(RQ4)动态领域先验如何作为逻辑锚点来校准LLM的决策,并解决传统模型在检测复杂行为异常时的逻辑意识有限的问题?
大型语言模型(LLMs)的最新进展为自动化运维(AIOps)[2]、[33]带来了新的机会。然而,直接将LLMs应用于关键任务诊断时,往往面临语义幻觉和缺乏正式逻辑基础的问题。在利用这些优势的同时解决这些限制,我们提出了一种多阶段异常检测方法,如图1所示。该方法提出了一个分层架构,将LLMs的语义理解与结构感知设计相结合,形成了从原始数据到异常标签的完整流程。所提出的方法统一了带有和不带有资源标识符的日志处理,实现了从原始日志到结构化见解的自动化转换。
所提出的方法通过四个协同阶段进行操作。首先,我们通过多角色LLM引擎模式实现LLM驱动的结构化解析。如图1所示,包括模式提取、正则表达式修复和业务审计专家在内的专门角色在一个进化式的自我修复循环中协作,将原始日志转换为标准化格式。其次,应用双重驱动的去重过程。根据图2中识别的路径,该方法分别使用内容哈希和语义规范化来实现高效的数据减少,同时保留关键的异常信号。第三,在处理中心内执行资源感知的行为序列构建。通过将带有标识符的日志分组并对没有标识符的日志应用语义推理,该方法生成了加强上下文相关性的结构化序列。最后,采用多层次语义异常检测机制。通过将微调后的LLMs置于动态知识增强框架中,该方法根据操作冲突和边界违规等逻辑锚点来校准异常分类。这种基于知识的策略支持分布式系统和云平台上的通用性和可扩展性,为自动化系统操作提供了可靠的方法。

章节片段

相关工作

随着计算机系统规模的不断扩大,系统日志在数量、复杂性和语义多样性方面经历了指数级增长。对于确保系统可靠性至关重要的日志异常检测正从基于规则的范式向基于语义的方法转变。[5]然而,这一演变面临三个根本性挑战:
现代日志表现出高度的异质性,从结构化格式到非结构化的自由文本不等,这导致结构

方法

本节详细介绍了所提出的多阶段日志异常检测方法。如图1中的工作流程所示,该方法集成了自动化解析、双路径去重和由动态领域知识增强的多层次检测逻辑。

实验

本节对所提出的方法进行了系统评估。我们首先描述了用于比较的多源数据集和基线模型。随后,我们定义了解析、去重和异常检测的评估指标,然后详细介绍了实现设置。目标是验证我们的方法在处理结构异质性方面的有效性及其在多样化系统环境中的优越性能。

通过ALRE进行日志解析性能分析

本节评估了所提出的自动化日志正则表达式工程(ALRE)方法在15个不同真实世界数据集上的有效性。与传统的基于模板的解析器不同,我们的闭环方法利用LLM驱动的角色协作来合成高性能正则表达式,实现了几乎无需人工干预的结构化字段提取。表3展示了通过迭代“提取-验证-修复”工作流程获得的性能指标。
该

消融研究

本节进行了系统的消融研究,全面评估了组增强语义去重和多层次异常检测方法的关键性能贡献。消融设计逐步揭示了每个模块的功能贡献,范围从推理输入优化、全局组件分解到分层结构分析。

结论

本研究解决了现代大规模系统日志分析中的结构异质性、语义复杂性和行为建模的关键挑战。我们介绍了LogPhi,这是一个基于知识的异常检测框架,它将大型语言模型(LLMs)的先进推理与分层诊断架构相结合。通过建立从原始日志解析到多层次异常检测的端到端自动化流程,这项工作弥合了

CRediT作者贡献声明

王磊:撰写——原始草稿,监督,方法论,调查。周新龙:撰写——原始草稿,可视化,验证,方法论,形式分析,数据策划。赵晓勇:撰写——审阅与编辑,项目管理。何一宝:数据策划。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
王磊目前是北京信息科学技术大学管理科学与工程学院的副教授和博士候选人。他的研究兴趣主要集中在自然语言处理(NLP)、异常检测和深度学习上。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号