热轧是带材生产的关键阶段。其操作特性直接决定了最终带材的表面质量、厚度均匀性和机械性能。热轧带材的生产过程和设备如图1所示。在工业实践中，头冠和厚度是带钢最重要的质量指标之一（Wang等人，2021年）。这两个变量不仅独立影响下游加工和在役性能，还表现出显著的耦合（Meng等人，2023年）。因此，生产过程中需要协调控制头冠和厚度，以确保产品均匀性和符合规格。
传统上，带材生产的在线控制主要依赖于经典的PI控制器，因为其结构简单、易于实现，并且在单输入单输出（SISO）回路中表现良好（Stadler等人，2022年）。然而，热轧过程是一个高维、强耦合的多变量（MIMO）系统，受到多种工艺变量（如轧制力、温度和带速）的影响。此外，由于钢材等级和产品的不同，轧机经常在不同的操作点之间切换。传统的级联PI控制器通常将系统视为解耦的SISO回路，在面对这种严重的交叉耦合时往往调节不足，需要频繁地针对不同的产品规格进行手动重新调整（Ji等人，2022年）。另一方面，基于物理的数学模型和有限元模拟可以提供详细的机制洞察和预测能力，但这些方法计算成本高、难以在线求解，并且对模型参数非常敏感，不适合高频工业在线控制（Peng等人，2024年）。
近年来，数据驱动的方法，特别是RL控制方法，作为工业控制的强大工具日益兴起，因为它们可以直接从交互数据中学习控制策略，并能够处理非线性、高维和强耦合的动态（Van Niekerk等人，2025年；Sinigaglia等人，2025年）。然而，典型的在线RL需要安全的实验交互，这在工业生产线上往往不可行。相比之下，离线RL利用历史生产数据来学习策略，避免了在实际过程中的在线试错，因此更适合对安全和连续性有严格要求的带材轧制场景（Chen和Luo，2025年）。此外，长时间生产期间积累的大量监控和操作数据为离线RL训练提供了实用的数据集，使得这种方法在理论和实践上都很有吸引力（Zhong等人，2025年）。
尽管如此，将离线强化学习应用于工业热轧控制仍然面临几个挑战。首先，历史数据通常提供的状态-动作覆盖范围有限，因此学习到的策略可能会遇到分布偏移（out-of-distribution，OOD）情况，导致性能急剧下降（Fujimoto等人，2018年）。其次，基于传统回归或时间差分学习的价值估计方法在离线环境中容易产生偏差和不稳定（Yue等人，2023年）。第三，工业控制系统对安全性和可解释性有很高的要求（McGovern等人，2024年）。
为了解决上述挑战，本文提出了一种隐式加权的无模型离线强化学习控制方法，称为隐式权重收缩方法（IWC），该方法使用收缩映射条件（CMC）作为理论约束，以实现带材头冠和厚度的高精度耦合控制。具体来说，我们首先分析厚度和头冠之间的力学方程，并构建作为环境模型的状态空间模型。然后，我们利用实际带材生产的相同监控数据来组装离线RL数据集。在四个现场收集的带材数据集上的仿真研究表明，所提出的方法在控制精度、稳定性和相关性能指标方面显著提高了生产线的能力。因此，该方法为工业在线控制提供了一种更安全、更高效的智能解决方案。
(1) 我们提出了一个用于热轧带材厚度-头冠联合控制的离线强化学习框架，该框架学习轧制场景的最佳控制策略。该模型实现了高控制精度和鲁棒性，并为现场操作员提供了可解释的、考虑安全的控制建议。
(2) 我们设计并实现了一种结合了密度比校正机制的隐式加权CMC方法。理论上，这种方法减少了离线价值估计中的偏差和不稳定。实验上，它加速了策略的收敛并提高了控制精度。
(3) 我们在四个现场收集的带材轧制数据集上验证了该方法。结果表明，IWC控制器在联合厚度-头冠控制的精度和鲁棒性方面优于现有的（SOTA）离线RL模型和传统PI控制器。
本文的结构如下：第2节介绍相关研究进展；第3节介绍离线数据和环境模型；第4节解释所提出的IWC技术；第5节展示实验结果和相应分析；第6节总结结论和进一步研究的方向。
