编辑推荐：
本文通过提出一种神经符号预测过程监控（PPM）方法，解决了业务流程管理（BPM）中的后缀预测问题，该方法将数据驱动学习与时态逻辑先验知识相结合。虽然近期的方法利用深度学习模型进行后缀预测，但由于在训练过程中缺乏领域知识的显式集成，它们常常无法满足甚至最基本的逻
本文通过提出一种神经符号预测过程监控（PPM）方法，解决了业务流程管理（BPM）中的后缀预测问题，该方法将数据驱动学习与时态逻辑先验知识相结合。虽然近期的方法利用深度学习模型进行后缀预测，但由于在训练过程中缺乏领域知识的显式集成，它们常常无法满足甚至最基本的逻辑约束。研究人员提出了一种新颖方法，将有限迹上的线性时序逻辑（LTLf）纳入自回归序列预测器的训练过程。该研究引入了一种可微逻辑损失函数，该函数使用LTLf语义的软近似和Gumbel-Softmax技巧定义，可以与标准预测损失相结合。这确保了模型学会生成既准确又逻辑一致的后缀。在三个真实世界数据集上的实验评估表明，该方法提高了后缀预测的准确性和时间约束的遵从性。研究人员还引入了逻辑损失的两种变体（局部和全局），并证明了它们在噪声和现实环境下的有效性。虽然该框架是在BPM背景下开发的，但它适用于任何符号序列生成任务，并为推进神经符号人工智能做出了贡献。
**研究背景、问题与意义**
在业务流程管理（BPM）领域，预测过程监控（PPM）旨在基于历史事件数据预测正在进行的流程实例的未来事件或结果。后缀预测（预测流程轨迹的后续部分）对于优化资源分配和辅助决策至关重要。近年来，深度学习模型（如循环神经网络（RNN）、Transformer和深度强化学习）被广泛用于后缀预测，但这些纯数据驱动方法常因缺乏对领域知识的显式集成，无法满足基本逻辑约束（如常识或特定业务规则）。例如，模型可能生成违反流程顺序或冲突的后缀。尽管领域知识（如流程变体、概念漂移下的行为变化或噪声过滤）在BPM中广泛存在，却未被充分利用。现有研究多在推理时而非训练时引入知识约束，如STLnet适用于连续信号，但无法高效处理符号化离散序列。因此，研究人员提出一种神经符号预测过程监控方法，将有限迹上的线性时序逻辑（LTLf）知识融入自回归序列预测器的训练过程，以提升预测的逻辑一致性和准确性。该研究发表在《Information Sciences》。
**关键技术方法**
研究人员采用以下主要技术方法：首先，将先验知识表示为LTLf公式，并借助自动翻译工具（ltlf2DFA）将其转换为确定性有限自动机（DFA），随后对DFA进行预处理以处理所有活动符号和终止符号（EOT），并引入失败状态与成功状态。其次，通过DeepDFA框架将DFA张量化，构建可微分的神经网络层（包括初始状态向量、转移矩阵和最终状态向量）。然后，利用Gumbel-Softmax技巧将自回归模型输出的概率分布转换为可微分的近似独热（one-hot）样本，从而生成完整后缀。基于此，研究人员定义了两种逻辑损失：局部逻辑损失（LLL），通过惩罚导致永久违反（即进入DFA失败状态）的符号概率，在每一步提供活动级反馈，适用于安全约束；全局逻辑损失（GLL），通过蒙特卡洛采样生成多条完整轨迹，并计算其满足LTLf公式的概率（基于DeepDFA），提供轨迹级全局监督，适用于任何LTLf公式。两种逻辑损失与监督损失（交叉熵）通过超参数α加权结合，用于训练自回归模型（LSTM和Transformer）。实验基于三个真实世界数据集：Sepsis事件日志、BPI Challenge 2013（封闭问题）和BPI Challenge 2020（旅行许可），并按80-20分训练-测试集，测试集通过Declare Miner提取支持度≥85%的约束作为知识，然后过滤掉违反知识的轨迹。进一步引入10%-40%的活动级噪声模拟真实场景。
**研究结果**
**4.1 实验设置**
为评估方法，研究人员对比了基线模型（仅监督损失）与加入局部或全局逻辑损失的LSTM和Transformer模型，使用贪婪解码和温度采样（τ=0.7）两种策略，以LTLf约束满足率（SAT）和归一化Damerau–Levenshtein相似度（DL相似度）为指标，在不同噪声水平下进行15次重复实验。
**4.2 结果**
- **LSTM模型**：在三个数据集上，加入逻辑损失（无论是LLL还是GLL）的模型在所有噪声水平下均保持接近100%的满足率，而基线模型在高噪声下（如40%噪声）满足率显著下降（例如Sepsis数据集降至58.9%）。DL相似度方面，逻辑损失模型与基线相当或略优，表明逻辑约束的引入未损害预测准确性。
- **Transformer模型**：结果与LSTM一致，全局和局部逻辑损失均使满足率接近100%，而基线模型在高噪声下显著下降（如Sepsis数据集40%噪声时满足率63.2%）。DL相似度同样保持稳定。
- **超参数α影响**：通过调整α（0.05-0.95），发现逻辑损失模型在广泛α值下均保持高满足率，而基线模型（α=1）性能差。全局逻辑损失在相似度上有时需权衡，但峰值性能高；局部逻辑损失提供更稳定的平衡。
- **训练效率**：逻辑损失模型显著减少收敛所需训练轮数，尤其是LSTM模型，GLL在低符合性数据集上优于LLL，Transformer则因自注意力机制优势，轮数更低且差异小。
**结论与讨论**
论文总结部分指出，该研究提出了一种神经符号方法，成功将LTLf时态逻辑知识无缝集成到神经后缀预测器的训练中，在噪声条件下实现了更高的预测准确性和逻辑约束遵从性。局部和全局逻辑损失公式在多个真实数据集上验证了方法的有效性和通用性。未来工作将扩展逻辑损失框架以支持资源、数值属性和时间戳等多维度约束，评估概念漂移场景下的表现，并探索与大型语言模型（LLM）的集成，推动多步符号序列生成的发展。
