面向配电系统恢复的可解释强化学习：基于模仿学习的决策树策略提取方法

《Journal of Modern Power Systems and Clean Energy》：Interpretable Reinforcement Learning for Distribution System Restoration via Imitation Learning-Based Decision Tree Policy Extraction

　　摘要：深度强化学习（DRL）因其计算效率高以及在处理序贯决策问题方面具备强大的决策能力，越来越多地应用于配电系统恢复（DSR）。然而，DRL策略缺乏可解释性，限制了其在安全性关键的电力系统运行中的实际推广应用。本文提出了一种基于模仿学习（IL）的决策树（DT）策略提取方法，以实现配电系统恢复中的可解释强化学习。所提方法将高性能的DRL恢复策略蒸馏为显式的决策树策略，使恢复决策能够进行符号化表示和透明分析。传统的模仿学习通常依赖于正常运行条件下的专家示范数据，往往无法泛化到未见的分布外（OOD）场景，从而导致次优或不安全的决策。为解决这一问题，所提方法融合了约束感知的状态表示以及基于模仿学习的数据聚合与专家修正。基于模仿学习的决策树策略提取提供了一种符号化且可审计的方法，允许透明地进行规则追溯、验证和专家指导下的优化改进。该方法为系统恢复建立了一种数据驱动的实用解决方案，突破了黑盒决策中隐式信息交互的壁垒。在基准配电系统上的数值结果表明，所提方法的性能接近专家策略，同时显著提升了鲁棒性和可解释性。