一种基于新型对抗性增强技术的领域大型语言模型（Domain LLM）框架，用于感知物联网服务状态

《ACM Transactions on Internet of Things》：A Novel Adversarial Augmentation-based Domain LLM Framework for Perceiving IoT Service States

物联网服务状态感知中，针对LLMs领域知识融合不足的问题，提出基于对抗增强的领域LLM框架。通过分层提示模板构建融合任务指令、异构服务数据和统计特征的数据集，并设计服务拓扑预测与运行状态预测两个专用小模型。框架包含LoRA参数调优和对抗蒸馏模块，实现小模型知识向LLMs的迁移。实验验证了其在两个数据集上的有效性。

　　

摘要

准确感知物联网（IoT）的服务状态对于维持系统稳定性和长期可持续性至关重要。近年来，大型语言模型（LLMs）作为一种新型技术进步出现，由于其先进的理解能力，在各个领域提供了前所未有的可能性。然而，数据可用性有限的问题给将领域知识整合到LLMs中以及提升其感知服务状态的能力带来了挑战。在本文中，我们提出了一种基于对抗性增强的新型物联网服务领域LLM框架来解决这一问题。首先，我们通过一个精心设计的层次化提示模板构建了一个LLM微调数据集，该模板将任务特定指令、异构服务数据和统计特征整合到服务上下文描述中。然后，受到使用专用小型模型来增强LLM能力的启发，我们设计了两个专门针对特定领域的小型模型，包括服务拓扑预测模型和运行状态预测模型，以便从不同角度捕捉服务的演变模式。在此基础上，我们设计了一个基于领域对抗性蒸馏的LLM微调框架，该框架包括LLM参数调整模块和小型模型对抗性蒸馏模块。前者利用低秩适应（LoRA）算法对LLM进行微调；后者通过使LLM的潜在向量分布与小型模型的潜在向量分布对齐，将小型模型的领域知识蒸馏到LLM中。经过对抗性训练后，LLM将具备小型模型的领域能力。在两个数据集上的实验结果证明了我们LLM框架的有效性。