基于知识蒸馏的领域增量学习方法，结合灵活的模型选择机制，应用于智能制造领域

《JOURNAL OF MANUFACTURING SYSTEMS》：Knowledge distillation-empowered domain incremental learning with flexible model selection for smart manufacturing applications

　　鲍里斯·奥斯科尔科夫（Boris Oskolkov）| 史张月（Zhangyue Shi）| 田文蒙（Wenmeng Tian）| 刘晨昂（Chenang Liu） 美国俄克拉荷马州立大学工业工程与管理学院，斯蒂尔沃特，OK 74078 **摘要** 为了更好地缓解机器学习支持的智能制造系统中的灾难性遗忘问题，增量学习（Incremental Learning，IL）提供了一种实用的方法，该方法使模型能够利用新获取的数据更新其知识，而无需对整个历史数据集进行重新训练。这种能力在数据分布随时间变化的动态制造环境中尤为重要，因为这些环境需要持续适应同时保留先前学习到的信息。本研究提出了一个扩展的知识蒸馏（Knowledge Distillation）驱动的IL框架，并结合了灵活的模型选择（Flexible Model Selection，KDIL-FMS）机制。该KDIL-FMS机制专为智能制造应用中常见的领域增量场景设计。所提出方法的主要优势在于它能够利用异构的教师-学生架构。通过这种能力，该方法可以为每个新领域选择最优的学生模型，从而大大减轻灾难性遗忘并提高模型的适应性。在基于网络的增材制造系统中验证了所提出的KDIL-FMS框架的有效性，该系统开发了一个无线多传感器平台来收集实时过程数据以进行在线异常检测。实验结果表明，与基于固定架构的基线方法相比，所提方法在所有任务上的平均F1分数提高了5.5%，显示出其良好的性能和巨大潜力。 **引言** 在工业4.0和大数据时代，涉及机器学习（ML）的解决方案对于数据驱动的分析任务至关重要，例如质量保证[2]、[3]和网络安全保护[4]、[5]，其中高效且有效的异常检测起着核心作用[6]、[7]、[8]。此外，先进制造环境的特点是新产品或设计变体的不断开发、质量标准的变化以及运营条件的演变，这些都给现有的基于ML的解决方案带来了挑战[9]。为了支持这些基于ML的解决方案，基于在线传感器的实时数据收集始终起着关键作用[10]、[11]。最近，在基于网络的制造设施中部署的无线传感器网络在这一领域展现了巨大潜力[12]，因为这些传感能力可以捕获并传输丰富的过程数据流[13]。这些传感器数据有助于揭示制造过程中的模式、异常和偏离基线的情况。此外，这些传感网络还可以为制造系统提供有价值的信息，以便在过程条件发生变化时发出警报或指示何时需要获取新知识/信息。因此，对智能制造系统提出了越来越高的要求，即具备学习和适应在线传感器数据的能力，同时也要很好地保留先前模型训练中积累的知识。 近年来，作为ML的一个新兴子集，深度学习（Deep Learning，DL）在先进制造领域（如增材制造[15]、[16]、[17]）成为了一种有前景的解决方案，因为它在通过自动特征提取[18]、[19]、[20]、[21]捕捉数据中的复杂关系方面表现出色。然而，像大多数ML模型一样，DL模型在持续学习制造数据时也会面临“灾难性遗忘”[22]、[23]的问题。为了缓解这一挑战，引入增量学习（IL）方法已成为一种潜在的解决方案。具体来说，IL将学习过程划分为不同的阶段，称为“任务”，根据任务类型的不同，会出现不同的IL场景。在实际应用中，最流行的IL场景之一是类别增量场景，其中每个任务引入一个新的分类或其他学习范围。然而，在制造环境中，领域增量学习（Domain Incremental Learning，DIL）的需求也很强，因为许多异常检测任务可能不涉及新类别；相反，环境会随时间变化。为了满足这种需求，有必要为先进制造场景开发现有的IL方法。 为了提升IL的能力，新兴的知识蒸馏（Knowledge Distillation，KD）方法成为缓解IL场景中“灾难性遗忘”问题的一个有前景的方向[22]、[24]、[25]。KD本质上是将知识从预训练的“教师”模型转移到较小的“学生”模型的方法，通过在“学生”模型的每个训练阶段向损失函数中添加一个称为“蒸馏知识”的正则化项来实现[26]、[27]。在现实世界应用中，其强大之处在于它能够将知识从复杂的高容量教师网络转移到为特定部署场景（任务）定制的更简单、更高效的学生网络。先前的研究表明，利用这种方法可以节省训练DL模型的时间，并允许计算能力有限的机器在各自的环境中独立进行训练[28]。然而，现有的基于KD的方法仍存在一些局限性。具体来说，在改进正则化项和利用数据或特征回放（Data or Feature Replay）[24]时，它们通常强制教师和学生网络共享相同的结构[18]、[29]、[30]、[31]。这可能会限制它们在不同计算和部署需求下的灵活性。 上述局限性可能在现实世界的制造场景中造成困难，因为不同的机器可能会使用不同类型的ML/DL模型。例如，一些基于卷积神经网络（Convolutional Neural Networks，CNN）进行基于图像的质量检测[32]，而另一些则使用循环神经网络（Recurrent Neural Networks，RNN）处理时间序列传感器数据[33]。因此，允许教师和学生网络具有不同的架构设计将为制造应用带来显著优势。具体来说，不同的网络结构自然适合捕获不同类型的制造信息：一个架构的教师网络可能在一个领域内的任务中表现出色，而另一个完全不同结构的学生网络可能针对另一个领域进行了优化。当架构不同时，KD过程可能会迫使学生学习抽象的、与任务相关的表示，而不仅仅是复制教师的内部结构。这种抽象可以更好地促进通用制造知识的学习，使其更好地适应新条件，相比那些强制使用相同模型架构的方法。 为了实现这一目标，有必要建立一个方法论框架，该框架能够在基于KD的IL系统中实现灵活的模型架构选择，使基于ML/DL的解决方案能够利用制造系统中的异构教师-学生对。实施这一框架可以在制造环境中平衡知识保留和计算效率的需求。