基于强化学习的矿井通风系统主动优化决策与知识整合

《Engineering Applications of Artificial Intelligence》：Proactive optimization decision-making and knowledge integration for mine ventilation system based on reinforcement learning

　　摘要：为应对复杂矿井通风网络中存在的诸多挑战，例如那些高度依赖人工经验的优化决策问题，以及现有决策算法在处理大规模通风网络优化任务时因冗余计算而导致的低效率问题，本文提出了一种基于强化学习的决策方法，旨在实现矿井通风系统的实时、主动优化与知识整合。该方法通过整合自学习策略函数，为主风机和风量调节器构建智能代理。这些代理在获取通风数据后，能够根据当前系统状态做出最优决策并予以执行，通过不断循环“感知-行动”过程，直至通风系统达到最优状态。为通风优化过程设计了具有自适应惩罚与激励机制的动态奖励函数，从而实现基于价值学习和策略学习的知识整合。同时建立了集中式的决策与知识整合架构，支持具备共享全局状态信息的协作多智能体机制，并提供了实用的工程实施流程。利用真实矿井通风数据进行的实验表明，这些智能代理能够沿着梯度方向快速学习。与基于进化计算的传统基准方法相比，所提出的RLDM方法能够有效重用历史决策经验，从而实现快速、准确且资源消耗低的主动优化决策。此外，该方法还支持决策知识的持续积累、更新与重用。这项研究对于减少矿井中所需的人工劳动、提升生产安全水平以及降低通风能耗具有重要意义。

引言：矿井通风系统是矿井中的核心系统之一，其功能包括向矿井各通风点输送充足新鲜空气、稀释有毒有害气体、消除矿尘，以及维持良好的工作环境以确保安全生产。在发生矿难时，通风系统能够有效且迅速地控制风流的方向和流量，并采取多种措施防止灾害进一步蔓延。良好的矿井通风系统在生产和紧急救援过程中对矿井安全起着至关重要的作用，它不仅是矿山生产系统的重要组成部分，也是保障井下作业人员生命安全的基本条件，对于提供新鲜空气、预防灾害、消除隐患以及实施紧急救援都具有不可或缺的作用（Li等人，2022a；Zhang等人，2024）。矿井通风系统的基本要求是安全与高效。从安全角度而言，矿井通风具有“风能引发灾害，但也能化解灾害”的特点。瓦斯、火灾、粉尘等事故的发生、发展及其造成的危害，都与所使用的通风系统的合理性、稳定性、可靠性及抗灾能力密切相关，这往往会导致井下人员伤亡严重。另一方面，矿井中火灾、瓦斯、煤尘等灾害的防治，以及矿难发生时的应急救援工作，都依赖于矿井通风系统，这体现了“风能化解灾害”的理念。从经济角度来看，通风能耗约占矿井总能耗的25%至60%（Kurnia等人，2014；Nel等人，2019；Karacan，2007；Ghoreishi-Madiseh等人，2017）。高效的通风系统能够显著降低运营成本并实现节能。目前，一些老矿由于开采时间较长，其通风网络日益复杂，出现了通风路线长、通风阻力大、风量不足等问题。由于这类通风系统的复杂性，技术人员只能依靠经验来制定多种优化与改造方案。通风系统调整的规模巨大，且往往无法达到预期效果，从而导致大量人力物力资源的浪费（Du Plessis等人，2013；Li等人，2022b）。对于现代矿井而言，依赖人工经验的传统通风模式已无法满足深部采矿作业快速多变的需求，也无法保证安全生产。此外，人工经验通常只关注风量是否满足生产要求，难以控制通风成本。因此，有必要利用通风监测数据实时分析目标通风系统的状况，运用智能决策算法生成通风优化方案，通过远程控制调整调节器智能体以实现协同控制，并为调节策略的自主学习提供实时数据反馈，从而实现通风决策知识的积累、更新与重用。相关研究对于释放矿井人力资源、保障安全生产以及降低通风系统的能耗具有重要意义。为解决上述问题，本文提出了一种基于强化学习的实时、主动式通风优化决策与知识整合方法。在该方法中，主风机和调节器被建模为承担决策知识传递功能的智能体。这些智能体利用实时监测数据做出主动决策，并不断从决策经验中收集反馈以自主更新策略，从而实现过去决策的再利用以及决策知识的持续演化。得益于预训练模型部署机制，所提出的方法能够在保证高决策准确性的同时，实现低延迟响应、低计算开销以及轻量级部署能力。本文的其余结构如下：第1节阐述本研究的研究背景、意义及关键创新点；第2节回顾现有研究进展并明确本研究的贡献；第3节介绍矿井通风系统优化与强化学习过程的基本概念和假设；第4节详细阐述所提出的主动决策与知识整合方法，包括状态空间设计、智能体建模流程、目标函数与奖励函数、策略学习算法以及工程化决策架构；第5节通过实验验证调节器智能体和主风机智能体的优化性能，并与传统基准方法进行对比分析；第6节总结研究发现并指出未来研究方向。

相关研究：通风优化决策算法是智能矿井通风领域的核心算法，可分为三类：①基于流体网络理论的方法；②基于数学规划的决策方法；③基于进化计算的决策方法。近年来，由于其在解决涉及非线性问题方面的优势，进化算法逐渐成为相对主流的方法。

基本概念与假设：（1）通风系统优化：假设我们有一个由m个节点和n条巷道构成的矿井通风系统G=(V, E, R)，其中V={v1, v2, …, vm}为节点集，E={e1, e2, …, en}为边集，R=[r1, r2, …, rn]T为每条边的巷道阻力向量，回风井中安装有多台风机为通风系统提供动力。通风系统的分配遵循三大原则：节点处的气流守恒定律、……

主动决策与知识整合方法在矿井通风优化中的应用：当通风系统向需风区域提供的风量无法满足要求时，调节器会依据调节策略模型，通过观察通风系统的当前状态，主动做出优化决策，进而计算并执行相应的调节动作。当通风系统经过调节后状态发生变化时，监控系统会将新的状态数据反馈回来，并计算相应的奖励值。

实验数据集：图6和图7展示了实验用的通风系统及其网络结构，该系统包含189条巷道、149个节点、3个进风井、1个回风井以及2个需风区域（e17和e36）。主风机安装在回风井的e130号巷道上，用于整个矿井的风流调节，该风机具有三个可调节的叶片角度。另外，在e43号和e171号巷道上各安装了一台调节器，用于实现局部风量控制。为便于识别，这些调节器以其所在巷道编号来标识。

结论：为克服传统通风网络优化算法的缺陷——如冗余计算、过长的计算时间、资源利用效率低以及无法利用历史决策经验等——本研究提出了一种基于强化学习的主动决策方法，将知识整合到通风系统优化过程中（RLDM）。主要研究结果如下：（1）……

CRediT作者贡献声明：Junqiao Li：概念构思、数据整理、形式分析、资金获取、研究调查、方法设计、项目管理、资源协调、软件应用、监督指导、结果验证、可视化处理、论文初稿撰写、论文审阅与修改。Mei Chen：形式分析、研究调查。Yucheng Li：项目管理。Jinyang Dong：可视化处理。Wei Zhang：数据整理。Chengyang Guo：可视化处理。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本文得到了国家自然科学基金（52404233）、山西省基础研究计划（202403021222067）以及山西省高等学校科技创新计划（2024L041）的支持。

Junqiao Li|Mei Chen|Yucheng Li|Jinyang Dong|Wei Zhang|Chengyang Guo
中国晋中市太原理工大学安全应急管理工程学院，邮编030024