基于语义-时序图学习的日志异常检测数学建模框架(CGATLog)

《Mathematics》:A Mathematical Modeling Framework for Semantic–Temporal Graph Learning in Log Anomaly Detection

【字体: 大 中 小 】 时间:2026年10月24日 来源:Mathematics 2.3

编辑推荐:

  系统日志为监测大规模分布式计算系统的状态、识别故障和检测异常行为提供了有价值的信息。然而,其非结构化文本、复杂的语义依赖关系、时序变化以及严重的类别不平衡限制了基于事件模板、序列统计或浅层特征的常规方法。为应对这些挑战,本研究提出了一种用于日志异常检测的统一数

  
系统日志为监测大规模分布式计算系统的状态、识别故障和检测异常行为提供了有价值的信息。然而,其非结构化文本、复杂的语义依赖关系、时序变化以及严重的类别不平衡限制了基于事件模板、序列统计或浅层特征的常规方法。为应对这些挑战,本研究提出了一种用于日志异常检测的统一数学建模框架,实例化为面向日志分析的条件图注意力Transformer(Conditional Graph Attention Transformer for Log Analysis, CGATLog)。该框架将按时间排序的日志观测表示为加权属性图,并联合建模语义表征、事件依赖关系、时序关联以及少数类分布。首先,一个BERT-Transformer编码器从日志条目中提取上下文语义表征。随后,基于事件转换关系、语义相似性和时序邻近性构建加权日志图。为缓解异常样本稀缺问题,在图表征空间中生成异常节点表征,并通过可学习的边关系预测器将其连接至原始图。一种语义-时序门控图注意力机制进一步在邻域聚合过程中调节语义和时序关联的贡献。在HDFS、BGL和Thunderbird数据集上的实验表明,CGATLog取得了具有竞争力的日志异常检测性能。结果还证实,语义-时序图建模与异常样本增强提升了鲁棒性,尤其在严重类别不平衡条件下。

论文解读文章

一、研究背景与问题

现代计算基础设施日趋复杂与异构,服务器、存储节点及各类服务持续产生海量系统日志。这些日志记录了系统调用、任务执行、资源访问等丰富信息,是系统状态监控、故障定位与异常检测的重要依据。然而,传统基于人工规则、关键字匹配或事件模板统计的方法在处理大规模异构日志时面临显著局限:日志文本高度非结构化,相同行为可能呈现不同文本形式,而不同异常又可能共享相似模板;同时,日志间存在强上下文与时序依赖,孤立正常的日志在特定语境下可能表现为异常。深度学习方法虽能直接从日志文本或事件序列中学习判别性表征,但序列导向模型未能显式建模日志观测间的结构关系,可能遗漏由事件路径偏离、异常时间间隔或跨日志语义组合引发的异常信息。此外,日志数据中正常样本远多于异常样本,严重的类别不平衡导致模型偏向多数类,降低了异常召回率。现有图神经网络方法虽能建模结构关系,但语义相似性与时序关系常被分开处理或以固定权重组合,缺乏自适应平衡机制;而随机过采样仅复制已有样本,无法增加表征多样性,直接生成日志文本则可能引入语义不一致。

二、研究内容与结论

针对上述挑战,研究人员提出了CGATLog——一种统一的数学建模框架,用于日志异常检测。该框架将日志异常检测表述为加权属性图上的节点级判别学习问题,通过BERT-Transformer编码器提取上下文语义表征,利用事件转换关系确定图连通性,并结合语义相似性与时序邻近性刻画边权重。为缓解类别不平衡,研究人员在图表征空间中设计条件生成对抗网络(Conditional Generative Adversarial Network, CGAN)生成少数类异常节点嵌入,并通过可学习的双线性边关系预测器估计其与原始节点的连接,使生成样本参与后续图学习。最终,语义-时序门控图注意力机制在邻域聚合中自适应平衡语义与时序信息的贡献,结合多头注意力、残差连接与层归一化提升表征能力与训练稳定性。在HDFS、BGL和Thunderbird三个公开基准数据集上的实验显示,CGATLog分别取得98.00%、98.22%和98.35%的F1分数,表现稳定且具有竞争力。消融实验证实,BERT语义编码与CGAN异常增强贡献最大;在严重类别不平衡(正常与异常比达200:1)条件下,CGATLog的召回率仍保持在88%以上,显著优于多数基线模型。

三、关键技术方法

研究人员采用的核心技术方法包括:(1)混合日志图构建模块:对原始日志进行预处理(拆分复合词、转小写、去除停用词但保留数值变量),利用BERT-base-uncased提取每个日志条目的上下文语义向量,再经额外Transformer编码器建模序列级依赖,获得增强的语义特征矩阵;同时使用Drain解析器将日志映射为事件模板,以滑动窗口策略(窗口大小w=5)确定边连接,并基于余弦语义相似度与归一化时间间隔计算边权重。(2)条件图平衡生成模块:先通过图注意力层(Graph Attention Network, GAT)将节点原始特征转换为包含局部图结构的图表征;随后训练条件生成对抗网络(CGAN),其生成器以高斯噪声与异常类别条件向量为输入,经三层全连接网络生成异常节点嵌入,判别器区分真实与生成异常嵌入;生成后通过可学习双线性交互矩阵预测生成节点与原始节点的连接概率,更新邻接矩阵与边权矩阵。(3)改进图注意力异常检测模块:分别计算语义关联得分与时序关联得分,通过门控融合机制(基于sigmoid函数生成门控系数)自适应整合二者;融合后的关联得分与预定义边权重结合,经softmax归一化得到注意力权重;采用多头注意力(K=4)、残差连接与层归一化稳定训练;最终将初始与最终节点表征拼接后经全连接层输出二分类概率。

四、研究结果

4.1 整体性能对比:在HDFS、Thunderbird和BGL上,CGATLog的F1分数分别为98.00%、98.35%和98.22%,Precision与Recall均保持高水平。与BiLSTM、Attention-LSTM、CNN-BiLSTM、Transformer Encoder、LogBERT、DeepLog、LAnoBERT、MidLog、LogGT和LogLLM等基线相比,CGATLog展现出更均衡的性能,尤其在高精度基线(如LogLLM在Thunderbird上Precision达99.80%但Recall仅66.50%)面前优势明显。
4.2 消融实验:移除BERT语义编码导致平均F1下降10.38个百分点(Recall降幅更大,达11.54个百分点),表明预训练语言模型对检测异常日志至关重要;移除CGAN使Recall平均下降10.37个百分点而Precision仅降3.98个百分点,验证了生成增强对缓解类别偏差的有效性;移除边关系预测使F1下降7.15个百分点,说明合理整合生成节点拓扑的必要性;移除时序特征使平均F1下降3.90个百分点(HDFS上最显著,降4.04个百分点);移除门控融合机制使F1下降2.95个百分点,证实自适应融合优于固定权重;移除序列级Transformer使F1下降6.05个百分点;以标准GAT替代改进图注意力模块使F1下降4.18个百分点;移除残差连接与层归一化影响最小(F1降1.64个百分点)。
4.3 不同类别不平衡比例下的性能:在正常与异常训练样本比为10:1、50:1、100:1和200:1的条件下,所有方法性能随不平衡加剧而下降。DeepLog、LogBERT和LogLLM退化尤为显著。CGATLog在BGL和Thunderbird上始终取得最高F1分数,在HDFS上保持接近最优;在200:1极端比例下,CGATLog在三个数据集上F1分别达91.57%、92.18%和90.86%,超越所有对比方法,显示出对稀疏异常行为的稳健识别能力。
4.4 计算效率与训练稳定性:在BGL数据集上,CGATLog因BERT编码、图构建与生成增强带来额外训练开销,但推理成本可控。五次独立随机种子(42、52、62、72、82)实验的F1标准差较小,表明随机生成过程未引入显著性能波动。

五、结论与讨论

本研究提出的CGATLog框架将日志观测表示为融合语义、事件执行关系与时间间隔的加权图,通过BERT-Transformer提取上下文语义,以条件生成对抗网络在图表征空间增强少数类异常节点,并由语义-时序门控图注意力机制完成节点级异常分类。在HDFS、BGL和Thunderbird上取得的竞争性结果(F1分数分别为98.00%、98.22%和98.35%)验证了图嵌入增强与自适应语义-时序关系建模的有效性。消融实验表明,BERT语义编码与CGAN异常增强贡献最大;在严重类别不平衡下,CGATLog的召回率维持在88%以上,而多数基线低于70%。当前评估限于公共系统日志基准,应用于实时物联网或流式环境仍需领域特定验证;此外,BERT-Transformer架构带来显著计算开销,标准对抗目标可能仍对训练不稳定性和模式崩溃敏感。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号