Pe-UMGT：在标签极度匮乏的情况下，用于金属冶炼领域关键绩效指标概率预测的物理编码仿真到现实映射方法

《ADVANCED ENGINEERING INFORMATICS》：Pe-UMGT: Physics-encoded Sim-to-Real transfer for KPI probabilistic prediction in metal smelting under extreme label scarcity

　　•Pe-UMGT能够在标签极度稀缺的情况下实现KPI的概率预测。•PeGAT将热力学定律编码为能量平衡的先验轨迹。•UMGT能够捕捉时空特征并学习剩余过程动态。•CWSD通过基于不确定性感知的蒸馏方法传递仿真知识。•非交叉分位数可为过程监控提供校准区间。

引言
工业金属冶炼过程属于典型的批量操作，准确预测温度和能源效率等KPI直接影响到能源消耗、产品品质以及操作安全[1]、[2]。该过程包含预热、熔化及过热等多个不同的热力学阶段，每个阶段都受不同的传热机制调控，因此具有高度非线性且依赖相态的动力学特性，同时易受未检测到的干扰因素影响。这样一来，各种数值模拟方法生成的数据往往与实际的关键过程指标存在较大偏差[3]。在高温冶炼过程中，尤其是在固液两相熔化阶段，对某些关键工艺参数进行检测既不安全也不可行[4]。这就导致了由于多速率采样不均匀而产生的根本性挑战[5]、[6]，使得在相当长的时间内无法观测到关键状态。

在冶炼过程中预测那些稀缺的KPI时，构建机理模型或基于第一性原理进行数值模拟仍是传统方法。这类方法依赖于深入的物理理解来描述多物理场传输现象[7]、[8]。尽管已有研究针对铝和铜的冶炼过程建立了关于传热、多相平衡以及温度动态变化的热力学模型[9]、[10]、[11]，但这些方法不可避免地会引入一些理想化假设（比如简化的熔池流体动力学和氧化层效应）。因此，由于存在多种来源的干扰，加之难以在线确定物理参数，纯机理模型往往难以在复杂的操作条件下实现稳健的高精度推断[12]、[13]。

随着工业信息系统和在线监测设施的广泛应用，现代冶炼过程在生产执行和过程控制层面积累了大量多源时间序列数据[14]。数据驱动方法利用这些历史数据，通过机器学习和深度学习模型来学习过程变量之间的时间依赖关系和非线性映射，从而实现KPI的软感知与预测[15]、[16]。在实际的在线应用中，工业研究倾向于选择结构相对简洁、推理开销可控的网络架构，以在预测精度、计算效率以及部署可行性之间取得平衡。典型的例子包括图神经网络（GNNs）[17]、时序卷积网络（TCNs）[18]以及基于Transformer的架构[19]，这些架构已被成功应用于以过程为中心的场景，并在数据丰富的基准测试中展现出优异的性能[20]、[21]、[22]、[23]、[24]、[25]。然而，纯数据驱动模型对数据的质量和数量要求很高，而且其内部表示通常缺乏明确的物理可解释性。因此，当训练数据稀缺或分布发生偏移时，预测结果很容易偏离基本的物理约束[26]、[27]。

物理信息机器学习（PIML）[28]和物理编码神经网络（PeNN）[29]的出现旨在减少数据驱动模型与物理定律之间的偏差。虽然典型的物理信息神经网络（PINNs）[30]、[31]通过损失函数来实现软约束，但在标签稀疏的情况下它们会面临优化上的权衡。相比之下，PeNN将硬约束直接编码到网络架构中：通过使用可微分的物理模块或满足约束的参数化方式，确保模型输出始终处于物理上可行的范围内。近期的一些研究证明了结构编码在从气候建模到密集的气体-固体流动等不同领域的有效性[32]、[33]、[34]、[35]、[36]。这些研究证实，编码硬物理结构有助于在数据稀缺的情况下提升模型的稳定性和泛化能力。

在标签极度稀缺的情况下进行工程应用还会带来更多复杂性。数值模拟自然催生了从仿真到现实的迁移学习以及知识蒸馏技术[37]、[38]、[39]。一种常见的策略是在仿真域数据上训练教师模型，然后通过软监督在真实域中对学生模型进行适配[40]。在更广泛的工业软感知应用中，动态域适应技术在不同的操作条件下已被证明是有效的[41]，而半监督的时空图学习在标签稀缺的情况下模拟过程动态也展现出巨大潜力[42]。尽管各种自蒸馏和自适应策略在一般的计算机视觉和分布式学习任务中已取得成功[43]、[44]、[45]、[46]，但将其直接应用到工业冶炼过程中并非易事，尤其是在面临多速率传感器数据不一致、严格的物理约束以及极度的标签稀疏性时。

在本研究中，我们探讨了阻碍工业金属冶炼中KPI概率预测的各种因素，旨在在标签极度稀缺的条件下提升预测性能。这些挑战可归纳为以下几类：
•固有的过程不确定性：温度场的时空非均匀性以及依赖人工采样，会导致测量位置和时间的随机变化。这种不可控的随机性带来了随机不确定性，使得即使在相同的时刻，KPI的值也会出现异方差性[47]、[48]、[49]。
•模型认知不确定性：机理模型受到简化假设以及无法确定的物理参数的限制，难以完整描述复杂的动态过程。而纯数据驱动模型则常常违反热力学约束，且由于标签稀缺，无法泛化到未被观察过的操作条件之下[50]。
•由多速率采样不均匀导致的稀疏监督信号：虽然控制输入是以高频获取的，但由于需要人工操作，KPI的采样率本质上是不均匀的，这就造成了严重的标签缺失，KPI仅表现为零散、分布不规则的观测值。

解决这些多方面的挑战是一项至关重要的研究任务。从方法论上来看，本研究主要围绕以下核心问题展开：
•如何将物理定律与数据驱动组件相结合，在标签稀疏的情况下依然遵循守恒定律，同时还能捕捉到超越理想化机理模型的复杂工业动态？
•如何量化预测不确定性，以便为关键决策提供有参考价值的点预测结果以及经过校准的预测区间？
•如何在分布发生偏移的情况下，将仿真域的知识转移到真实域中，同时在标签极度稀缺的情况下保持时间一致性？

为了解决这些问题，我们提出了一种用于概率KPI预测的混合框架。首先，PeGAT将热力学守恒定律结构化地编码到图拓扑结构中，从而生成符合物理规律的先验信息。其次，在这些先验信息的指导下，UMGT能够捕捉剩余的动态过程以及模型偏差，从而减少系统性误差，构建出更为稳健的教师模型。最后，为了实现从仿真到现实的过渡，我们采用了基于置信度加权的蒸馏策略，并运用非对称的自蒸馏架构。在此架构中，学生模型通过增量预测模块，借助累积修正来维持时间一致性，而蒸馏权重则会根据预测区间的宽度进行动态调整。

本研究的主要贡献如下：
•物理编码神经网络架构：我们提出了一种PeNN架构，该架构包含了物理编码模块（PeGAT）和时空融合模块（UMGT）。PeGAT通过明确的传热拓扑结构来编码能量守恒定律，从而强制执行严格的物理约束；而UMGT则负责融合时空特征，以弥补那些未被建模的动态过程。
•物理先验跳连架构：我们设计了一种以物理先验为依据的跳连机制。通过直接将PeGAT的输出作为基准，该架构使得数据驱动的核心模型无需重复学习已确定的物理定律，而是将精力集中在捕捉剩余动态过程和模型偏差上，从而有效限制了模型的假设空间。
•基于不确定性的迁移策略：我们提出了一种用于仿真到现实迁移的置信度加权蒸馏策略。非对称的增量预测模块能够适应稀疏的监督数据，同时利用预测不确定性动态调整蒸馏权重，从而在分布发生偏移的情况下实现更可靠的知识迁移。
•实证验证：在工业铝冶炼过程的实验结果表明，所提出的方法在预测精度和概率校准方面均优于现有的各类机理模型和深度学习基线模型。

本文的其余部分安排如下：第2节正式定义了预测任务和监督机制；第3节详细介绍了Pe-UMGT框架中的PeGAT模块、UMGT模块以及两阶段训练流程；第4节展示了在工业铝冶炼数据上的实验结果，并进行了相关分析与讨论；最后，第5节给出了研究结论。

问题阐述
本研究旨在解决在标签极度稀缺的情况下，工业金属冶炼过程中进行KPI概率预测所面临的挑战。冶炼过程涉及多个阶段（预热、熔化、过热等）的复杂热力学转变，其中的工艺变量可分为两类：频率稳定的操作输入X，以及那些观测频率低且分布不规则的KPI y。因此，KPI预测任务可形式化为：y?t=F(X1:t;Θ)，其中y?t代表……

方法论
基于第2节中提出的问题分解，本节介绍了一种名为Pe-UMGT的两阶段混合框架，该框架旨在系统地解决上述各个子问题。整个架构如图2所示。每个子问题都由专门的组件来解决，具体如下：
•物理编码建模（子问题1）：为了解决热力学约束问题，我们开发了PeGAT模块。该模块通过明确的……方式将热力学守恒原理结构化地编码进去。

实验
本节在工业再生铝熔炼炉上验证了所提出的Pe-UMGT框架。这种炉子属于典型的批量生产设备，其特点在于具有复杂的熱动力学特性，且人工测温的频率较低。按照第2节中的问题设定，实验在两个数据集上进行：一个是具有密集监督数据的仿真域数据集，另一个则是具有稀疏人工测量数据的真实域数据集。所有实验都在同一台设备上完成。

结论
本文提出了Pe-UMGT，这是一种用于在标签极度稀缺的工业金属冶炼过程中进行考虑不确定性因素的概率KPI预测的混合框架。Pe-UMGT将物理定律的硬编码与数据驱动的时空建模相结合：物理编码的图模块能够提供符合物理规律的先验轨迹，而统一内存的图-时间变换器则可以学习到互补的动态特性，并给出经过校准的预测区间。在该框架中，各个组成部分分别承担着解决CRediT作者贡献分类中的相应任务。

作者贡献声明
Bei Sun：撰写——初稿撰写、指导、项目管理、资金申请。Zexin Chen：撰写——审阅与编辑、可视化处理、软件开发、方法论设计、概念构思。Jiarui Su：实验验证、指导工作。Yuxi Gao：指导工作、软件开发。Fakun Zheng：资金申请、数据整理工作。Yucheng Ke：资金申请、数据整理工作。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了“先进材料——国家科技重大专项”（2025ZD0612100）以及福州市科技计划项目（2023-ZD-013）的支持。

Bei Sun|Zexin Chen|Jiarui Su|Yuxi Gao|Fakun Zheng|Yucheng Ke