FlanBC:用于日志解析的语义-结构序列标注框架

《Information》:FlanBC: A Semantic-Structural Sequence Labeling Framework for Log Parsing

【字体: 大 中 小 】 时间:2026年08月29日 来源:Information 4.3

编辑推荐:

   摘要

  

摘要

日志解析将原始系统日志转换为结构化模板,是IT运维人工智能(AIOps)的关键预处理步骤。现有的解析器面临一个实际权衡:基于规则的方法提供高吞吐量,但在跨异构日志源时适应性有限;而基于大语言模型(LLM)的解析器在推理延迟、隐私暴露和云端依赖的代价下实现了更广泛的语义覆盖。本文提出了FlanBC,一个将模板提取建模为BIO(Beginning, Inside, Outside,即起始、内部、外部)序列标注任务的日志解析框架,并集成了Flan-T5语义编码器、双向长短期记忆网络(BiLSTM)层用于局部序列建模,以及条件随机场(CRF)解码器用于结构化标签预测。针对日志数据的特定预处理和子词到标记的对齐机制将通用编码器适配到半结构化日志数据。层冻结策略减少了训练期间需要更新的参数量。该框架支持本地推理,无需依赖外部API。在LogHub的三个基准数据集(HDFS、BGL、OpenStack)上的有监督随机划分实验评估了解析准确率、训练效率、不同随机种子下的统计稳定性以及各组件的贡献。FlanBC在HDFS上达到99.32%的组准确率,在BGL上达到98.47%,在消费级GPU上的推理吞吐量超过700条日志/秒。在OpenStack上性能较低(组准确率为92.54%),这反映了多样化的类自然语言日志对紧凑型编码器模型构成的挑战。在更严格的模板不相交划分下(防止训练集和测试集之间存在模板重叠),FlanBC的平均组准确率达到91.14%,表明模型能够泛化到未见过的模板,而非仅限于分布内识别。消融实验结果表明,语义编码器、BiLSTM模块和CRF解码器各自都对预测准确率有所贡献。这些发现表明,在偏好本地、无云端推理的场景中,领域适配的语义编码器结合结构化解码可以为日志解析提供实用的准确性与效率之间的平衡。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号