通过强化学习从事件日志中学习最优策略：深度方法与基于马尔可夫决策过程方法的比较

《Information Sciences》：Learning optimal policies from event logs through reinforcement learning: A comparison of deep and MDP-based approaches

　　

摘要 规范性过程监控（Prescriptive Process Monitoring，PPM）是过程挖掘（Process Mining）中的一个新兴领域，专注于推荐行动以优化业务成果。大多数现有工作侧重于在特定正在执行的过程实例上推荐预定义的干预措施，即预定义的（一组）行动，旨在实现特定目标或关键绩效指标（Key Performance Indicator，KPI）。相比之下，只有少数方法探索了最优行为策略的学习和评估，即确定构成过程执行的最佳行动序列以最大化期望KPI的一般策略。在本文中，研究人员通过提出一种基于人工智能的方法来解决学习最优行为策略的问题，该方法使用强化学习（Reinforcement Learning，RL）直接从历史过程执行中学习最优策略，目标是推荐最佳行动以优化感兴趣的KPI。为此，研究人员采用了两种不同的RL技术。第一种是经典的基于模型的方法，它扩展了作者先前的工作，通过构建一个捕获过程行为的马尔可夫决策过程（Markov Decision Process，MDP）来克服其局限性。第二种是基于离线深度强化学习（offline Deep RL）的无模型技术，这是一类快速发展的方法，已在多个领域表现出强大的性能。与现有工作不同，研究人员旨在构建最小化对当前场景领域知识依赖的方法，并直接从历史事件数据中学习最优策略。通过这种方式，研究人员探究了在给定所分析过程的相关KPI的情况下，是否不仅能够学习何时应用干预，而且能够直接从数据中发现哪些干预是有效的。此外，研究人员旨在针对复杂场景，如模拟与客户或外部参与者互动的场景，其中过程所有者（因此行为策略）可能仅控制部分过程活动。关于评估，研究人员采用了一种已在预定义干预评估中使用的方法，即利用业务流程仿真（Business Process Simulation，BPS），但将其适应并定制用于评估最优行为策略的任务。具体来说，研究人员构建了一个数据驱动的BPS环境来评估发现的策略。研究结果表明，两种方法均能持续改进目标KPI且效果相似，其中基于模型的方法在计算效率上优于离线深度强化学习。

论文解读文章

**研究背景与问题**

规范性过程监控（Prescriptive Process Monitoring，PPM）是过程挖掘领域的一个新兴研究方向，旨在通过推荐行动来优化业务成果。现有研究大多聚焦于预定义的干预措施，即在特定过程实例上推荐预设的（一组）行动，以实现特定目标或关键绩效指标（Key Performance Indicator，KPI）。然而，只有少数工作探索了最优行为策略的学习与评估，这类策略是决定过程执行中最佳行动序列的通用规则，以最大化期望KPI。当前研究存在以下问题：首先，许多方法假设过程所有者可以推荐过程中的任何活动，但在实际多参与者场景中，过程所有者往往只控制部分活动，而其他活动受外部因素或客户行为影响；其次，现有方法通常依赖大量领域知识来定义状态空间和干预措施，可重用性较差；最后，评估推荐策略时，传统的测试事件日志评估方法存在固有偏差，因为日志反映的是原始策略下的行为，而非被评估策略的行为。因此，有必要开发一种能够直接从历史事件数据中学习最优策略、最小化领域知识依赖，并能有效评估策略的方法。

**研究内容与结论**

针对上述问题，研究人员提出并比较了两种基于强化学习（Reinforcement Learning，RL）的方法，用于从事件日志中学习最优行为策略，以优化给定KPI。第一种是基于模型的方法，通过构建一个马尔可夫决策过程（Markov Decision Process，MDP）来捕获过程行为，并利用动态规划（Dynamic Programming，DP）算法求解最优策略。第二种是无模型方法，基于离线深度强化学习（offline Deep RL），采用保守Q学习（Conservative Q-Learning，CQL）算法，直接从历史数据中学习策略，无需与环境交互。为了评估策略效果，研究人员采用了业务流程仿真（Business Process Simulation，BPS）技术，构建数据驱动的仿真环境，对发现策略进行A/B测试。研究结果表明，两种方法均能持续改进目标KPI，且效果相似，其中基于MDP的方法在计算效率上显著优于离线深度强化学习方法。论文发表在《Information Sciences》上。

**主要技术方法**

研究人员采用的关键技术方法包括：1）基于MDP的方法：从事件日志中提取前缀信息，通过k-means聚类将状态空间压缩，构建MDP模型，并利用动态规划中的值迭代算法学习最优策略；2）基于离线深度强化学习的方法：使用CQL算法，结合长短期记忆（Long Short Term Memory，LSTM）网络编码事件序列，从历史数据中学习策略；3）评估方法：利用BPS仿真环境，将学习到的策略集成到仿真模型中，对合成和真实事件日志进行模拟评估。样本队列来源包括合成事件日志（基于BPIC2012过程生成，共8个不同大小和成功率的日志）以及真实事件日志BPIC2012和BPIC2017，均来自银行贷款申请过程。

**研究结果**

**RQ1：MDP方法中缩放函数h的鲁棒性比较**
通过比较不同缩放函数（阶梯函数和sigmoid函数）的七种参数设置，研究人员发现，使用适当的缩放函数（如h_Q1^sig、h_Q1^step和h_Q2^step）能够显著提升策略的鲁棒性，避免因低频过渡导致的过拟合，其性能与基于完全知识的启发式策略相当，而朴素选择h₀=1则表现不稳定。

**RQ2：MDP方法与离线深度强化学习方法的比较**
在合成日志上，所有MDP最佳策略（π_sigQ1^MDP、π_stepQ1^MDP、π_stepQ2^MDP）的平均KPI均高于定制策略，部分情况下超过两倍，且始终优于离线深度强化学习方法（π₅₀^CQL和π₁₀₀^CQL）。在真实日志上，两种方法均显著优于定制策略，但MDP方法在BPIC2012和BPIC2017日志中总体表现略优或相当，其中π_stepQ1^MDP在BPIC2012中为最佳策略。

**RQ3：计算效率比较**
MDP方法的总训练时间（包括预处理、MDP构建和动态规划）在所有数据集上均远低于离线深度强化学习方法（后者每轮训练约30分钟，50轮约1500分钟）。MDP方法的时间随日志大小增加而增长，但动态规划阶段仅需数秒，而离线深度强化学习方法的时间基本恒定且高昂。

**定性分析**
对合成日志L_2000,rare的定性分析显示，最佳MDP策略（π_sigQ1^MDP）的接受率（74.4%）接近启发式策略（74.3%），且平均追踪长度相近；而失败策略（π_sigQ3^MDP）学会了拒绝几乎所有申请，导致平均KPI为负。这表明适当的缩放函数能平衡探索和利用，避免过度保守行为。

**总结与讨论**
讨论部分指出，本研究的主要局限性在于聚焦于特定贷款申请过程，但通过多种日志类型和统计特征缓解了该问题。设计选择（如缩放函数参数、LSTM架构）基于合理理由而非全面搜索，但实验结果表明方法对设计选择不敏感。状态空间主要基于控制流，未显式建模数据属性，但未来可扩展。处方问题的范围依赖于可用的KPI和状态信息，学习到的策略可能推荐当前不可执行的活动，但框架支持部分可控的多参与者场景。

**研究结论部分翻译**
在本文中，研究人员提出并比较了两种强化学习方法，用于在多参与者设置中从带注释的事件数据序列中学习有效的活动推荐策略，以优化给定的关键绩效指标。第一种方法通过对事件日志应用聚类技术构建显式马尔可夫决策过程，然后使用动态规划算法推导最优策略。第二种方法利用保守Q学习，这是一种最先进的离线深度强化学习方法，能够直接从历史数据中学习策略，无需与环境交互。从数据中学习到的策略，无需与系统直接交互，可以作为更全面优化框架的强初始化，随后可通过在线交互或反馈在后续阶段进一步细化。为了评估两种方法的有效性，研究人员使用了业务流程仿真，在一系列合成和真实场景中测试了策略。结果表明，基于MDP和离线深度强化学习的方法均能学习到鲁棒且有效的策略，即使在不同的日志大小和过程特征下也是如此，其中基于MDP的方法通常获得略优的性能，同时计算效率更高。未来，研究人员计划解决过程挖掘数据的多视角特性，首先将数据属性信息纳入状态空间定义，然后扩展行动空间以包含相关属性。另一个有趣的方向是训练上下文感知策略，考虑并发过程实例的信息。