半监督迁移对抗域适应网络：一种用于电熔镁炉运行性能评估的新方法

《Journal of Process Control》：Semi-supervised transfer adversarial domain adaptation network: A new process operating performance assessment method for electro-fused magnesium furnace

　　•提出了一种新的STADAN方法，用于基于MSHI评估EFMF的运行性能。•设计了一种包含PLDP和PLAP的伪标签预测器，以提高伪标签预测的可靠性。•PLAP是基于GMM构建的，通过减法聚类自适应确定高斯分量。•引入对抗性训练来对齐领域特征，减少领域差异，提升泛化能力和评估精度。

引言
作为高纯度氧化物，电熔镁具有高熔点、抗氧化性和耐腐蚀性等优异特性，因此被广泛应用于各种工业领域[1]、[2]、[3]。为获得高质量的电熔镁，实际生产中通常会使用专门的三相交流电熔镁炉（EFMF）。考虑到生产安全，需要通过调整三相电极与熔池液面之间的距离来精确控制电流值和电弧强度。然而，当由于原材料成分波动或外部环境干扰导致电流设定值与原材料等级不匹配时，EFMF的运行性能会下降，进而影响产品质量和经济效益。因此，开发一种用于EFMF的工艺运行性能评估（POPA）方法对于提升产品质量和生产效率具有重要意义。

POPA与故障诊断（FD）或过程监控（PM）有所不同，后者旨在区分生产过程中的正常状态和故障状态。而POPA则致力于在正常运行条件下将运行性能细分为多个等级，如最优、次优、一般和较差等。从方法论层面来看，POPA与FD和PM有着共同的技术框架，因为支持向量机（SVM）[4]、深度神经网络（DNNs）[5]以及长短期记忆（LSTM）网络[6]等模型已被广泛应用于这些领域。不过，三者在本质上存在差异：FD着眼于捕捉设备或过程中的突发性或结构性异常，不同的故障模式通常具有明显的物理特征；而POPA则关注无故障条件下的性能等级划分，此时各等级之间的特征边界较为模糊，差异也更为微妙。因此，POPA对特征敏感性、等级区分能力以及数据标注质量的要求要高得多。受FD和PM研究思路的启发，早期的POPA研究主要依靠多元统计分析、机器学习以及数据分布描述等浅层特征提取和分析方法来建立评估模型[7]、[8]、[9]。但随着生产要求的提高，不同性能等级之间的差异变得越来越细微。为了解决这一问题，研究人员开始引入深度学习技术。针对非线性动态工业过程，分别提出了基于有监督SFA-LSTM网络[10]和分布式连环门控循环单元的评估模型[11]。在标记样本有限的场景下，Lu等人开发了一种用于POPA的半监督聚类生成对抗网络[12]。Wang等人则基于性能等级之间的相似性构建了基于广义零样本学习的评估模型[13]。不过，上述方法均基于单一类型的信息（即时间序列数据或图像）构建模型，这限制了它们在涉及多源异构信息场景中的应用。

在EFMF运行过程中，可以同时收集电流数据、电弧声音以及炉子图像。不同类型的信息可以从不同角度反映运行性能的变化。因此，充分利用MSHI有望为POPA任务提供更可靠的解决方案。Bu等人提出了一种通过挖掘和融合MSHI的深层特征来构建POPA方法[14]。Miao等人则利用包括红外热图像和振动信号在内的MSHI来进行故障诊断[15]。在[16]中，还提出了一种基于MSHI的EFMF异常状态识别方法。然而，上述方法都基于一个前提，即拥有足够的标记训练数据。在工业过程中，标记数据的稀缺性和高昂成本阻碍了有监督POPA方法的应用，如何在这样的约束条件下进行有效的性能评估便成为了一个关键挑战。

受迁移学习的启发，领域自适应（DA）近年来已成为研究热点[17]、[18]、[19]、[20]。DA旨在将标记源领域（SD）的知识转移到未标记的目标领域（TD），从而缓解因缺乏标记而导致的目标领域建模难题。早期研究主要集中在通过最小化领域间的分布差异来构建领域不变表示，例如使用最大均值差异（MMD）[21]或Wasserstein距离[22]来对齐不同领域的特征分布。随着生成对抗网络（GANs）[23]的出现，对抗性训练逐渐成为主流方法。典型的方法包括领域对抗神经网络（DANN）[24]和对抗性判别领域自适应（ADDA）[25]，它们通过对抗学习使源领域和目标领域的分布趋于一致，直至分类器无法区分样本的来源领域。然而，全局对齐往往会削弱分类边界的有效性。为了解决这个问题，Zhao等人提出了细粒度对抗网络（FANDA）[26]和故障原型适配网络（FPAN）[27]，而Gu等人设计了结构信息保持领域自适应网络（SIP-DAN）[28]，通过类别级或子领域级对齐实现细粒度的跨领域自适应。值得注意的是，如果仅使用标记样本进行训练，未标记数据中蕴含的大量过程信息将会被浪费。另一方面，若采用纯粹的无监督DA方法，则难以保证模型在特定性能评估任务中的判别能力。半监督学习（SSL）为解决这一困境提供了一种新途径。它能够最大限度地利用大量未标记数据，从而减少对人工标注的依赖。目前，基于伪标签[29]、[30]、一致性正则化[19]、[31]、[32]以及对比学习[33]、[34]的方法是现代SSL算法中的主流范式。Ba Hung Ngo等人解决了半监督领域自适应中由于领域间和领域内差异导致的分类精度不足问题[20]。对于3D点云分类任务，他们提出了基于硬软伪标签引导的半监督学习（HPSSL）框架[35]。Xiao等人则通过整合半监督对比学习来应对可穿戴人体活动识别中的模型训练难题[36]。此外，还有基于一致性正则化的滚动轴承智能故障诊断的SSL方法被提出[37]。DA方法在工业过程故障诊断和过程监控中的应用为POPA任务中源领域和目标领域之间的知识转移提供了重要的方法基础。然而，在需要细粒度性能分级且标记数据极为稀缺的POPA背景下，现有方法的有效性和适用性仍有待系统验证。因此，开发适用于工业过程的半监督运行性能评估方法已成为研究重点。此外，由于实际工业过程数据具有显著的多源异构性，一个强大的半监督POPA框架还需能够有效融合和对齐MSHI，从而在复杂的工业环境中实现可靠且具有通用性的性能评估。

基于此，我们提出了一种基于半监督迁移对抗领域自适应网络（STADAN）并结合MSHI的新的POPA方法，用以解决这样一个难题：即只有少量SD样本有标记，而大部分SD样本以及所有TD样本均为未标记状态。STADAN模型由四个模块组成。共享特征提取器整合了三种经典且具有适应能力的网络，分别用于提取包括电流、声音和图像在内的MSHI的深层特征。伪标签预测器则用于为未标记样本预测伪标签，从而扩大标记训练数据集并提升模型性能。之后，所有标记数据，无论是真实标签还是伪标签，都会被用来构建性能等级分类器。领域判别器则是基于对抗机制构建的，它能够确保通过迭代训练使SD和TD的全局特征分布逐渐收敛，同时为特征提取器的参数学习和性能等级分类器的构建提供重要数据基础。本研究的贡献总结如下：1. 提出了一种新的STADAN模型，可在SD中标记样本较少、SD和TD中均有大量未标记样本的情况下评估运行性能。据我们所知，STADAN是首个在半监督迁移学习框架下同时实现跨领域特征对齐、可靠伪标签预测以及MSHI融合的方法，其在EFMF上的对比实验也证明了其优越性。2. 设计了一种双分支伪标签预测机制，包括直接预测器和辅助预测器。传统的半监督伪标签方法通常依赖于单一分类器，因此在跨领域场景下容易因分布变化而积累误差。而STADAN则从输入输出映射和数据分布两个角度生成互补的预测结果，并通过加权融合和基于阈值的过滤显著提升了伪标签的可靠性。3. 提出了一种伪标签扩展与对抗性领域对齐协同优化的迭代框架。STADAN在逐步纳入高置信度伪标签的同时，共同优化领域判别器和性能等级分类器，有效缓解了领域自适应与伪标签预测之间的固有冲突。该设计有助于使具有相同性能等级的样本在SD和TD中的特征分布趋于一致，进而提升分类器的区分能力。即便仅有5%的标记样本，STADAN也能实现超过94%的准确率，这表明其与传统方法相比对标记数据的依赖程度要低得多。

本文的其余结构如下：第2节详细介绍所提出的方法。第3节利用EFMF数据集对所提方法进行实验验证，以证明其有效性和优越性。第4节给出结论。

问题描述
为便于描述和理解，本小节将介绍一些必要的符号和概念。EFMF产生的MSHI包括电流数据xC、电弧声音xS以及炉子图像xI。它们共同构成了POPA的基础，记为x={xC,xS,xI}。SD数据集DS=DSL,DSU包含标记数据DSL=xSLi,ySLii=1NSL以及未标记数据DSU=xSUii=1NSU，其中xSLi和ySLi分别是SD的第i个标记样本及其对应的标签，xSUi则是……

过程描述与数据收集
在EFMF运行过程中，三相电极会产生较大的电弧电流，将菱镁矿加热熔化成液态MgO。随着温度下降，由于熔点和密度的差异，杂质会沉淀下来，从而形成高纯度的MgO晶体。如果原材料成分发生变化，就需要相应调整电流设定值，否则工艺性能就会从最优状态下降，进而影响产品品质。基于经济因素和专家意见……

结论
针对TD数据为未标记且SD中仅有少量数据带有标签的情况，我们提出了一种基于STADAN的EFMF POPA方法。该方法基于迁移学习思想，充分利用SD数据信息来辅助完成TD的伪标签预测和性能等级评估。首先，从输入输出映射和数据分布的角度考虑工艺数据与标签之间的关系……

CRediT作者贡献声明
Lulu Fu：撰写——初稿、验证、软件、概念构思。Yan Liu：撰写——审阅与编辑、方法论、概念构思。Yulu Xiong：验证、软件、研究。Fei Chu：监督、概念构思。Fuli Wang：监督、方法论、概念构思。Chenhui Bao：验证、监督。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

Lulu Fu|Yan Liu|Yulu Xiong|Fei Chu|Fuli Wang|Chenhui Bao