基于大型语言模型增强的分层文本分类方法，用于智能故障数据管理

《Engineering Applications of Artificial Intelligence》：A large language model-augmented hierarchical text classification approach for intelligent failure data management

　　摘要：本文提出了一种用于少样本分层文本分类的新方法，旨在从运维文本数据中提取故障信息。所提出的方法包含两个模块。首先，基于大型语言模型上的提示工程构建数据增强模块，以解决故障数据中常见的类别不平衡问题。随后，提出了一种新的基于层次结构的提示调优方法，将层次结构信息纳入其中，以实现分层文本信息的分类。通过包含313台海上风力涡轮机的运维数据集，验证了该方法的可行性和优越性。该方法的平均宏观F1分数为0.821，而最强的基准方法仅为0.704，相对提升率为16.7%。这充分体现了该方法在基于文本的故障分类方面的有效性，有助于提升运维记录中的故障数据挖掘与管理水平。

引言：运维文本记录是由技术人员在运维活动中记录下来的，它们能够全面反映系统的终身故障与维护情况（Bhardwaj等人，2021；Hu等人，2025）。这些记录明确了系统配置、故障机制及维护措施，为维护人员开展故障预测（Liu等人，2024）、根本原因分析（Zhou等人，2024）以及决策制定（Li等人，2022）提供帮助。从运维记录中提取并管理故障信息依赖于可靠有效的数据挖掘技术（Brundage等人，2021）。自然语言处理技术的进步（Tsirmpas等人，2024）为处理运维文本数据提供了新途径，替代了那些在处理大规模运维文本数据时效率低下的传统手动方法（Kumaravel等人，2018）。例如，海上风电场每年会收集数千份维护日志，其中包含故障症状的文字描述及相应的维护措施（Ding等人，2023），见图1。为此，人们设计了文本挖掘工具，以便自动从运维记录中识别目标信息。其目标是通过文本分类，从文本记录中的故障描述中自动识别出对应的故障模式（Xie等人，2021）。这样一来，运维人员就能了解可靠性提升情况并优化运营，从而降低整体运维成本（Bhardwaj等人，2021）。具体而言，它有助于建立与特定组件或系统相关的故障事件历史记录，这对于：（i）进行定量分析以预测故障发生并开展可靠性分析（Li等人，2021）；（ii）为故障预测提供先验知识（Hu等人，2024）；以及（iii）有效分配维护资源并优先处理高风险组件（Ding等人，2023）都十分重要。在可再生能源领域，近期有越来越多的研究探讨如何将非结构化的维护文本转化为机器可读的知识，以实现智能维护。Li等人（2025）结合了Transformer的双向编码器表示与条件随机场，从风力涡轮机的故障及维护记录中识别故障特征，用于数据管理；而Ding等人（2025）则整合了Transformer的双向编码器表示、条件随机场提取、迭代学习、伪标注及伪样本生成技术，在知识不完整的情况下为海上风力涡轮机构建故障知识图谱。这些研究进一步表明，维护文本并非仅仅是过去事件的记录，更是结构化故障知识及智能决策支持的重要来源。然而，由于运维记录中故障信息的多样性，传统的文本分类方法——其标签空间较为扁平且规模较小——无法实现不同精细度级别的故障信息识别（Zhao等人，2025）。为解决这一问题，需要借助层次结构来描述故障信息的不同精细度级别。这种层次结构可通过有向无环图来定义，其中每个节点可能有多个父节点，这些父节点代表更高层次的抽象概念，涵盖其对应的子节点。通过引入标签层次结构，分层文本分类更适用于运维文本数据的挖掘及进一步的故障数据管理。分层分类方法大致可分为两类：（i）局部方法（Liu等人，2019；Kiritchenko等人，2004）根据标签分类法训练多个分类器，预测过程采用自上而下的方式。首先预测较粗略的类型，然后利用所得的粗略信息作为额外输入来做出更精细的预测。虽然这些方法能有效从数据中提取信息，但容易出现较大的误差传播问题。（ii）全局方法（Zhou等人，2020；Mao等人，2019）则使用单个分类器同时处理所有层级。作为多任务分类器，它们会同时结合标签层次结构，优化对粗略类型和精细类型?预测。识别出高层次的粗略属性有助于确定低层次的精细属性，反之亦然。迄今为止，运维文本数据分析与信息分类面临的一个主要挑战是为文本数据添加高质量标签，从而构建全面的训练数据集，而这又会导致少样本学习问题（Wang等人，2024）。为应对模型开发过程中标记样本不足的问题，自然语言处理和故障诊断领域提出了多种少样本学习方法，这些方法可归纳为以下几类：（i）半监督学习（Xu等人，2022；Han等人，2023b；Yang等人，2026），该方法将少量标记样本与大量未标记样本结合用于模型训练。不过，这类方法的开发过程可能相对复杂（Miyato等人，2017），通常依赖数据增强、伪标注和自我训练等技术，而这些技术可能会给模型训练过程带来额外的不确定性。（ii）迁移学习（Gao等人，2025；Chen等人，2022），该方法是将来自具有丰富训练数据的源领域或任务的知识转移到训练数据有限的目标领域。然而，要实现有效的知识转移，需要一个全面且与目标领域高度相似的源领域（Shalyminov等人，2019），这一要求在实际应用中往往过于苛刻。（iii）元学习（Han等人，2023a；Dong等人，2024），该方法使模型能够利用先前的知识和经验来指导新任务的学习。这些方法从较小的支持集出发，通过不同的策略基于该支持集进行预测。不过，传统的元学习方法通常缺乏捕捉标签空间内复杂结构依赖关系的特定机制。因此，尽管这些现有方法在一般场景中表现良好，但无法完全解决分层文本分类中的少样本问题，这就凸显出需要一种能够有效建模层次依赖关系的方法。提示学习能够让预训练的语言模型适应下游的自然语言处理任务，由于可以利用预训练的模块，只需少量样本就能获得令人满意的性能（Feng等人，2024；Zhu等人，2025）。通过设计具有多个输出端的提示，它可以轻松适配多标签分类。例如，Hu等人（2022）提出了基于知识库的提示调优方法，通过引入外部知识库来扩展标签-词汇空间并优化候选表述词，从而加强文本与类别标签之间的语义对应关系。Cui等人（2022）提出了ProtoVerb方法，用于少样本文本分类，该方法通过对比学习从训练实例中学习原型表述词，而非依赖手动选取的标签词，从而在监督数据较少的情况下得到更具区分度的标签表示。Song等人（2023）提出了基于标签提示的多标签文本分类模型（LP-MTC），该模型灵感来源于预训练语言模型的提示学习理念。Xie等人（2024）提出了一种新的多标签疾病诊断方法，该方法通过提示学习将医学知识与预训练语言模型相结合。不过，提示调优在训练过程中并未充分考虑层次结构信息。虽然可以在提示中加入层次结构信息，但由于预训练模型的黑箱特性，模型可能无法充分利用这些信息。因此，将这些基于提示的方法应用于实际场景，尤其是用于从维护记录中进行分层故障分类时，目前还鲜有相关研究。类别不平衡也是另一个值得关注的问题，这是因为存在精细级和长尾类别（Wang等人，2020）。出现这种不平衡现象是因为由于设计、运行和维护等因素，不同组件的故障率各不相同。虽然传统解决方案针对的是扁平的分类模型（Zhang等人，2018），但它们难以处理存在层次结构的场景，因为在层次内部（横向）和层次之间（纵向）都可能存在不平衡现象。尤其需要注意的是，距离根节点较远的故障模式的样本数量通常较少，因此在进行分析之前需要仔细量化类别分布情况。大型语言模型的出现彻底改变了数据生成能力，为解决分层文本分类中的类别不平衡问题提供了一种很有前景的方法。这些模型展现出出色的理解和生成文本的能力，能够捕捉丰富的语义含义和复杂的结构关系（Whitehouse等人，2023）。不过，大型语言模型也存在诸多缺陷，比如理解偏差、内容无关、一致性差等问题（Dai等人，2024）。要想有效利用大型语言模型进行数据增强，就需要通过提示工程来设计和优化提示，引导大型语言模型生成所需的输出。这一过程需要充分考虑类别分布、层次结构以及任务的具体要求。总之，运维记录的分层文本分类领域存在的研究空白包括：1）目前还缺乏高效实用的少样本分层文本分类方法；2）现有的解决类别不平衡问题的方法无法应对分层分类建模中故障模式所具有的复杂层次结构。为此，本文提出了一种新的分层文本分类方法，旨在提升故障数据挖掘与管理水平。本文的主要贡献如下：1）我们提出了一种基于路径的大型语言模型驱动的数据增强模块，用于解决类别不平衡问题。该方法以标签层次结构为基础，提出了一种新的基于路径的方法，用于在层次结构中识别出少数故障模式，并通过对大型语言模型进行提示工程来生成代表这些故障模式的额外数据样本。2）我们提出了一种新的基于层次结构的提示调优方法，用于少样本分层文本分类。该方法基于标签层次结构各层之间的概率传播关系，设计了一种体现层次结构约束的新型损失函数，然后将该损失函数纳入提示调优流程中。本文的其余部分安排如下：第2节阐述研究问题，第3节详细介绍所提出的方法，第4节展示该方法的实验结果与评估情况，最后第5节给出结论并列出未来可能的研究方向。

问题表述：给定一个包含N个样本的训练集T={xi,Yi}i=1N，其中xi代表第i条文本记录，Yi=[yi0,yi1,…,yiD]是对应的层次化标签链，yij表示第j层的故障标签，以独热向量形式呈现。本研究旨在开发一种分层文本分类方法，使得所构建的模型能够自动识别输入文本记录背后的故障类型。为体现标签层次结构，我们用H=(C,E)来表示它，其中C是……

方法论：所提出的方法（如图3所示）包含两个模块：1）基于大型语言模型的数据增强模块，该模块利用大型语言模型的文本生成能力来生成额外的维护记录，从而解决训练集中的类别不平衡问题；2）基于层次结构的提示调优模块，该模块通过将标签层次结构信息嵌入到提示调优流程中，来构建少样本分层分类器。

实验案例研究：风能正在逐渐取代传统能源的市场份额。然而，风力涡轮机高昂的运维成本一直制约着风能的发展。因此，从已经发生的故障事件中了解故障症状及相应的维护措施，对于提升风力涡轮机的可靠性并降低运维成本具有重要意义（Gao和Odgaard，2023）。有效的分类能够提升分析故障行为的能力，为预防性维护提供依据。

结论：本文提出了一种用于运维记录分层文本分类的新方法，旨在实现故障数据管理，该方法能够自动识别故障信息的不同精细度级别。所提出的方法包含两个主要模块：1）基于大型语言模型的数据增强模块，该模块用于生成代表少数故障模式的额外数据，以解决普遍存在的类别不平衡问题；2）基于层次结构的提示调优模型，该模型……冯竹：概念构建、形式分析、方法论、写作——审阅与编辑。何立：数据整理、形式分析、写作——审阅与编辑。谢敏：资金筹措、项目管理、监督。

利益冲突声明
作者声明没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢
本文所述工作部分得到了中国国家自然科学基金（72032005）和香港研究资助局（11201023、11202224）的支持。同时，该工作还获得了香港创新科技署（InnoHK项目CIMDA及InnoHK项目9445910）的资助。此外，它还得到了“地平线欧洲”玛丽·居里博士后奖学金（DROMSFOWT–101146961）以及英国研究与创新机构（EPSRC EP/Z001501/1）的支持。

丁毅|冯竹|何立|谢敏
中国香港特别行政区香港城市大学系统工程系，邮编999077