用于优化氨燃烧的虚拟孪生控制框架

《International Journal of Hydrogen Energy》：Virtualized twin control framework for optimal ammonia combustion

氨作为燃料在工业炉中的应用面临NOx排放高和热效率低的问题，本研究提出基于近端策略优化（PPO）的分层深度强化学习（HDRL）架构，通过预测代理和优化代理协同工作实现多目标实时优化，并在100kW氨燃烧炉中验证了其在减排和效率提升方面的有效性。

　　随着全球对碳中和目标的追求不断深入，工业领域对低碳、高效、环保的能源利用方式提出了更高的要求。氨作为一种潜在的清洁能源，因其零碳排放的特性而备受关注。然而，氨在工业炉中的应用仍面临诸多挑战，尤其是在燃烧过程中产生的氮氧化物（NOx）排放较高，以及火焰辐射传热效率相对较低等问题，限制了其在实际工业场景中的广泛应用。此外，工业应用通常需要在安全性、产品质量、成本控制和环保法规之间找到平衡，这对实现高精度、实时化的优化控制提出了更高的技术要求。为应对这些挑战，本研究提出了一种基于近端策略优化（PPO）的分层深度强化学习（HDRL）控制架构，旨在构建一个兼具预测能力与优化性能的控制系统。

该HDRL框架的核心思想是将系统划分为两个主要部分：一个专注于预测过程变化的预测型代理，以及一个专注于决策优化的优化型代理。通过这种分层设计，系统能够在保证控制性能的同时，提高模型的可解释性，从而增强其在实际工程中的可信度与适用性。在预测型代理的构建过程中，研究人员引入了工程敏感性信息，这些信息来源于实际设施的数据，同时结合了合理设计的数据采集策略，包括准稳态数据提取。这种方法不仅能够利用有限的运行数据构建出准确且可靠的模型，还能在设备调试阶段快速实现控制器的开发，显著提升了系统在实际部署中的灵活性与适应性。

为了验证该框架的有效性，研究团队使用了一个100千瓦级别的氨燃烧炉作为实验平台。实验过程中，他们实施了一种基于数据驱动的多目标优化控制策略，旨在在炉温、温度均匀性以及未燃烧氨排放等约束条件下，同时实现NOx排放的最小化和热效率的最大化。实验结果表明，所提出的控制器能够在多个相互冲突的目标之间找到最优解，从而验证了其在实际工业应用中的可行性。这不仅为氨燃烧技术的推广提供了技术支持，也为工业领域实现智能化、绿色化控制策略提供了新的思路。

在工业燃烧系统中，化学反应的复杂性和燃烧场的时空尺度使得传统的数值模拟方法难以满足实时优化的需求。因此，近年来，研究者们开始探索基于低维流形的近似表示方法，以简化燃烧过程的建模。尽管这些方法在一定程度上降低了模型的复杂度，但在参数化和可重复性方面仍存在不足。为解决这一问题，Peters等人提出的低维燃烧建模方法在一定程度上得到了应用，但其在模型敏感性管理方面的研究仍有待深入。此外，数据驱动的机器学习模型虽然在预测和优化方面展现出良好的潜力，但由于缺乏物理原理的约束，这些“黑箱”模型在面对有限数据时容易出现过拟合现象，导致模型的可解释性和可靠性受到质疑。

为克服上述问题，Karniadakis等人提出了物理信息机器学习（PIML）的概念，即将物理定律与机器学习过程相结合，以提高模型的鲁棒性和可解释性。这种方法在流体力学和燃烧相关应用中表现出良好的前景，特别是在数据稀缺的情况下，能够有效降低不确定性。在控制领域，强化学习（RL）和深度强化学习（DRL）因其在高维控制空间中的动态优化能力而受到广泛关注。例如，Nian等人对工业控制中RL的应用进行了系统性回顾，指出了实时运行和抗干扰环境中的挑战与机遇。Dogru等人则强调了在流程工业中实现RL的实践困难，包括状态空间的构建、奖励函数的设计、约束处理以及安全性保障，同时指出分层和受限的RL架构对于实际应用的重要性。

在实际的工业炉系统中，复杂的约束条件如安全要求、运营成本、产品质量和环境合规性必须被同时满足，这使得开发实时最优控制策略变得尤为重要。然而，传统的深度学习模型往往缺乏透明度，这在一定程度上阻碍了其在工程实践中的应用。为此，Rudin等人强调了可解释机器学习在工业领域中的关键作用，认为透明度和可解释性是确保系统可靠性的重要因素。此外，高保真燃烧模拟在计算资源上消耗较大，难以部署在轻量级平台如边缘设备上，这进一步凸显了在计算效率与学习性能之间取得平衡的重要性。Wei等人在空调系统控制中通过引入人机协同的反馈机制，提高了数据效率，从而支持了嵌入式、边缘导向的控制系统的实现。

为了进一步解决分布式系统中的可扩展性问题，Yang等人验证了深度强化学习在数字孪生环境中的应用，展示了其作为分布式控制基础设施的可行性。然而，现实世界中的系统往往面临不可预测的扰动，如设计与制造之间的偏差、原料波动、传感器漂移和设备老化等，这使得高精度、实时优化的实现变得更加复杂。Sutton和Barto指出，强化学习特别适合在这些不确定环境中进行控制管理，而Gu等人则对安全强化学习的设计方法进行了系统性综述，强调了安全意识在实际应用中的重要性。

近年来，研究者们在将物理信息机器学习与深度学习驱动的代理建模和控制策略相结合方面取得了显著进展。例如，Procacci等人提出了一种基于稀疏传感的自适应数字孪生模型，该模型能够动态修正测量误差和模型误差，从而提高燃烧场中实时预测的准确性与控制性能。在连续控制领域，TD3（Twin Delayed Deep Deterministic Policy Gradient）和SAC（Soft Actor–Critic）等算法因其在控制性能上的优异表现而受到广泛认可。此外，在燃料电池车辆的能量管理方面，Jia等人提出了改进型深度确定性策略梯度（iDDPG）方法，将驾驶意图预测与电池健康状态感知相结合，显著提升了系统在效率和耐久性方面的表现。这些研究进展表明，基于DDPG的控制方法在工程应用中具有广阔的发展前景。

与此同时，PPO（Proximal Policy Optimization）因其训练稳定性高、超参数调优相对简便等优势，在机器人和自动驾驶领域得到了广泛应用。特别是在历史数据较为稀疏的工艺优化问题中，PPO的稳定性和高效性使其成为一种极具竞争力的解决方案。基于这一背景，本研究将PPO算法应用于一个工业炉系统，通过整合工程敏感性信息，构建了一个能够在数据有限条件下实现可靠实时优化控制的HDRL框架。该框架的设计不仅考虑了系统的预测能力，还强调了人机协作的可行性，从而降低了工业应用中对自动化控制系统的依赖，提高了系统的实用性和可接受性。

在传统的自动化系统中，人工操作通常在监控预测模型、评估敏感性状态和判断可解释性方面发挥着不可替代的作用。因此，本研究提出的HDRL框架通过引入敏感性信息并保持模型的可解释性，实现了人机协同的决策支持，使得操作人员能够更好地理解和信任控制系统。这种设计不仅提升了控制系统的灵活性，还增强了其在实际工业环境中的适应能力。此外，该框架的轻量化特性使其能够应用于资源受限的边缘设备，从而为工业领域的实时优化控制提供了新的技术路径。

本研究特别关注了氨燃烧炉在准稳态条件下的多目标优化问题，这被认为是当前工业界最紧迫的挑战之一。在准稳态操作条件下，燃烧炉需要在多个相互冲突的目标之间找到平衡，如稳定性、效率和有害排放的减少。为此，研究团队采取了两个阶段的实验验证方法。在第一阶段，他们通过结合机器学习和数学优化方法，构建了一个预测模型，该模型能够在有限数据的情况下准确识别过程的敏感性，并满足多目标约束条件。在第二阶段，研究团队引入了基于PPO的分层强化学习架构，实现了预测型深度强化学习与行动型深度强化学习之间的协调。通过优化验证实验，该阶段不仅展示了系统在准稳态条件下的实时适应能力，还确认了其在实际运行环境中的控制性能和有效性。

本研究提出的“虚拟化双胞胎”框架，通过合理提取物理敏感性和设备特性，结合深度强化学习实现了完全数据驱动的多目标优化控制。这一框架为实现工业燃烧系统的智能化控制提供了新的技术路径，不仅有助于提高能源利用效率，还能有效降低温室气体排放，延长设备使用寿命，同时确保产品质量和生产效率。在工业发展的过程中，实现可持续增长的关键在于如何在复杂的约束条件下，找到最优的控制策略。本研究通过实验验证，展示了HDRL框架在这一领域的实际应用潜力，为未来工业自动化和绿色制造提供了有力的技术支撑。