一种先进的、具有不确定性意识的深度集成框架，用于工业过程中的多目标质量预测

《Engineering Applications of Artificial Intelligence》：An advanced uncertainty-aware deep ensemble framework for multi-target quality prediction in industrial processes

　　摘要
准确的质量预测和可靠的不确定性量化对于确保工业过程的安全、高效和最优运行至关重要。然而，工业发酵过程涉及强耦合和动态变化的操作变量，这使得单一的确定性预测器难以同时捕捉多目标相关性和预测不确定性。因此，我们提出了一个先进的不确定性感知深度集成（A-UADE）框架，以提高多目标预测的准确性和不确定性的可靠性。首先，一个基于模型预测不确定性的不确定性加权损失函数动态调整每个样本-任务对的贡献。其次，带有标准化误差相关的负相关学习促进了集成成员之间的异质预测行为。最后，投影梯度手术缓解了多任务训练期间的梯度干扰。在两个真实世界的发酵过程和一个动态气体混合数据集上的实验表明，A-UADE提供了与现有基线相媲美的点预测准确性和可靠的不确定性量化。

引言
在现代工业过程中，准确和及时的质量变量测量对于确保操作安全、提高生产效率以及保持产品质量的一致性至关重要（Zhang等人，2025年）。然而，由于传感器的技术限制或需要复杂的实验室分析，许多质量变量本质上难以在线测量。因此，数据驱动的软传感已成为获取工业过程质量变量的关键组成部分（Xu等人，2024年；Ou等人，2022年）。通过利用易于获取的过程变量中包含的丰富信息，软传感器模型可以从可观察变量学习到所需的质量变量的映射。这使得无需中断生产即可实时估计质量变量，从而支持闭环控制和高级决策（Zhang和Yang，2021年；Patatel等人，2020年）。在液压系统研究中，对可靠的过程行为表征的需求也很明显，因为在这些系统中，通道几何形状的变化会显著改变汇流流型（Azma和Zhang，2020年）。尽管软传感器已经取得了显著的成就，但大多数现有方法主要是为单目标预测设计的（Shi等人，2024年）。忽略这些目标之间的依赖性不仅会导致大量信息丢失，还会导致相互矛盾的预测，尤其是在高度耦合的工业过程中（Waegeman等人，2019年）。此外，为每个目标变量构建和维护单独的模型会显著增加计算成本并使模型部署变得复杂。这些限制激发了对多目标建模（MTR）的兴趣日益增长（Yin等人，2024年）。例如，多输出深度集成（Yang和Yee，2024年）和支持向量机（Roy和Chakraborty，2023年）可以产生多输出预测，并部分捕捉目标之间的依赖性。尽管这些模型在某种程度上改善了相关性建模，但它们仍然无法捕捉到真实工业过程中固有的高度非线性和强耦合关系。这种对仔细选择模型的需求与最近关于白盒和黑盒机器学习模型在非线性过程预测方面的比较一致（Azma等人，2026b）。鉴于这些限制，深度学习的发展通过硬参数共享显著推进了MTR（Jacob等人，2023年）。这种范式提高了数据效率，并有助于提取共同的底层结构。在更广泛的过程建模中，数据驱动的模型也被用于压力波动预测，突显了在复杂非线性动态下系统模型评估的价值（Azma等人，2026a）。这些包括像十字绣网络（Misra等人，2016年）和闸门网络（Ruder等人，2019年）这样的软参数共享模型，它们学习如何线性组合特定于任务的特征图。更先进的方法使用注意力机制为每个任务动态加权特征（Liu等人，2019年），或者采用模块化设计，如多门专家组合模型，该模型使用门控网络来学习共享的“专家”子网络的特定于任务的组合（Ma等人，2018年）。尽管已经研究了考虑到不确定性的多任务学习，例如通过基于不确定性的任务加权（Kendall等人，2018年），但工业MTR软传感器仍需要更明确的不确定性量化，以便进行风险敏感的监控和决策。对于不确定性量化，贝叶斯神经网络（BNNs）提供了一个原理性的概率框架（Iseri等人，2025年；Yan等人，2024年），但精确推断在计算上是不可行的。因此，提出了各种近似技术——如变分推断（Blundell等人，2015年）、拉普拉斯近似（Ritter等人，2018年）以及广泛采用的MC-Dropout（Alarab等人，2021年）。然而，这些近似方法的表达能力有限，对模型错误的敏感性很强（Sun等人，2023年；Klanecek等人，2023年）。此外，由于这些方法受到单一模型表达能力的限制，它们无法充分捕捉工业过程中固有的强非线性、异质性和耦合效应，从而导致不可靠的不确定性估计。最近的工业软传感研究进一步探索了基于变压器的时间特征提取（Zhang等人，2025年）、时延感知的质量预测（L. Yu等人，2025年）和多输出回归不确定性量化（Wang等人，2024年）。这些进步表明，不确定性感知的软传感正在快速发展，同时也促使人们开发了一个综合考虑不确定性权重、集成多样性和优化稳定性的框架。这些限制突显了需要深度集成方法，这些方法利用多个多样的预测器来实现更高的预测准确性和更可靠的不确定性量化（Yang和Yee，2024年）。Ganaie等人进行了一项全面的调查，并证明深度集成在各种任务中一致地提高了预测准确性和鲁棒性（Ganaie等人，2022年）。Vasan等人表明，在嘈杂和异质的工业条件下，深度集成显著提高了焊接缺陷检测和分类性能（Vasan等人，2024年）。基于这一证据，Cao等人采用了一个混合深度集成框架来实现高度准确的电池寿命预测（Cao等人，2025年）。Wang等人最近提出了可信深度集成，该集成使用可信集神经网络和区间值类别概率增强标准集成，在一系列具有挑战性的检测基准上获得了改进的测试准确性（Wang等人，2024年）。在发酵软传感中，这种耦合挑战尤为明显，因为pH值、溶解氧、OUR、CER、KLA、进料速率、生物量浓度和产品价态等变量共同反映了不同批次阶段的微生物生长、氧气转移、底物消耗和产品形成（Z. Yu等人，2025年；Zhang等人，2024年；L. Yu等人，2025年）。因此，由于工业过程的固有复杂性，当前的深度集成模型在实际的多目标软传感中仍然面临着可靠性-多样性-稳定性之间的挑战。首先，现有的训练目标通常对样本和目标分配均匀的权重，使它们对异方差噪声和数据可靠性的变化反应不足。其次，当不明确鼓励跨异质目标的多样性时，集成成员可能会变得冗余，这削弱了可靠不确定性估计所需的互补性。第三，由多样性驱动的目标在联合训练期间可能会引入冲突的梯度方向，从而破坏优化并损害预测性能。这些问题是相互依赖的：提高不确定性可靠性需要目标感知的多样性，而促进多样性则需要稳定的优化。为了解决这一耦合挑战，我们开发了先进的不确定性感知深度集成（A-UADE），这是一个用于工业多目标软传感的不确定性感知集成训练框架。A-UADE在同一学习过程中协调不确定性自适应加权、标准化负相关学习（NCL）和投影梯度手术，以便可以共同平衡样本-目标的可靠性、尺度不变的集成多样性和优化稳定性。这种协调设计使得在现代工业过程中实现准确的多目标预测和可靠的不确定性量化成为可能。本文的主要贡献如下：（1）我们提出了A-UADE，这是一个用于工业软传感的准确和可靠的多目标建模和不确定性量化框架。其在两个真实发酵过程和一个动态气体混合数据集上的有效性得到了验证。（2）我们制定了一个不确定性自适应损失函数，其中包含一种新颖的样本-任务级加权机制。它根据每个目标的预测不确定性动态调整损失权重，使模型能够关注高置信区域并抑制工业过程中典型的噪声或干扰。（3）引入了一个尺度不变的负相关学习模块，以明确促进跨异质目标的集成多样性。这种机制标准化了多样性信号，并防止了由于尺度差异导致的优势，使每个集成成员能够探索不同的功能映射。（4）我们结合了投影梯度手术来消除集成成员之间的冲突梯度分量，从而在保持多样性的同时确保优化稳定性。本文的其余部分组织如下：第2节回顾了初步工作。第3节介绍了所提出的A-UADE方法。第4节描述了实验设置。第5节报告了主要实验结果和讨论。第6节提供了机制分析和部署评估。最后，第7节总结了本文并讨论了未来工作。

负相关学习
在集成学习中，集成估计器的泛化误差不仅取决于单个预测器的准确性，还取决于它们之间的多样性。负相关学习提供了一种经典的机制，用于减少集成成员之间的相关误差（Liu和Yao，1999年），最近的统一多样性理论进一步形式化了多样性在集成泛化中的作用（Wood等人，2023年）。根据这种偏差-方差-协方差视角，对于一个集成...

方法论
A-UADE的架构和工作流程如图1所示。在训练过程中，??个集成模型处理数据批次以生成预测。这些预测用于计算一个不确定性感知损失和一个负相关惩罚；然后反向传播总损失。在优化器更新参数之前，使用投影冲突梯度（PCGrad）来减轻成员之间的破坏性干扰。在推理过程中，训练好的集成输出点预测...

青霉素发酵过程
青霉素发酵过程是一种需氧微生物发酵，在此过程中，黄青霉在受控条件下将碳和氮源转化为青霉素。为了确保验证的实际可靠性和代表性，使用了一个包含23个批次发酵运行的数据集。该数据集是从生物反应器工程国家重点实验室进行的实验室规模实验中收集的。该过程的流程图如图所示...

点预测准确性分析
表6总结了六个保留方法在三个工业软传感数据集上的点预测准确性。所有值均报告为五个随机种子的平均值±标准差。在两个发酵数据集和气体传感器动态混合数据集上，A-UADE在两个目标上都获得了最佳的均值R2、RMSE和MAE，表明所提出的集成训练策略在统一评估下提供了准确的多目标质量预测...

结论
在这项研究中，我们介绍了A-UADE，这是一个用于工业软传感中的多目标质量预测和不确定性量化的深度集成框架。通过结合不确定性自适应学习、标准化负相关学习和投影梯度手术，A-UADE共同改进了样本-任务加权、集成多样性和优化稳定性。在两个发酵数据集和一个动态气体混合数据集上的实验表明，A-UADE提供了有竞争力的点预测...

CRediT作者贡献声明
杨一超：撰写——原始草稿、方法论、调查。王观：监督、形式分析、数据整理。余振兴：撰写——审阅与编辑、可视化、方法论。蒋庆超：撰写——审阅与编辑、监督、方法论、资金获取。

利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

致谢
作者衷心感谢以下基金会的支持：国家自然科学基金（62322309，U25A20468），江苏省重大科技专项（BG2025044）。

杨一超|王观|余振兴|蒋庆超
华东理工大学能源化工过程智能制造重点实验室，上海，200237，中国