一个受强化学习启发的概率更新启发式方法用于模块化施工调度中的模式选择

《Buildings》：An RL-Inspired Probabilistic Updating Heuristic for Mode Selection in Modular Construction Scheduling

　　

多模式项目调度（Multi-mode Project Scheduling）中，每个活动可以在几种具有不同持续时间和资源需求的替代模式之一中执行，这是一个在模块化施工和制造中普遍存在的具有挑战性的组合优化问题。虽然元启发式算法擅长探索活动序列的全局空间，但适当执行模式的选择仍然是一个关键的子问题，需要高效且有效的决策。本文对一种受强化学习（RL）启发的概率更新启发式方法进行了系统的实证评估，用于多模式资源受限项目调度（Multi-mode Resource-Constrained Project Scheduling）中的模式选择。与传统的联合优化序列和模式的协同进化方法不同，研究人员将模式选择与序列优化解耦，并将其表述为一个独立的概率学习任务。所提出的启发式方法为每个活动维护一个执行模式的分类分布，通过强化出现在高性能调度中的模式进行迭代更新，使用从调度完工时间（makespan）导出的归一化奖励信号。研究人员实现了五种代表性的学习算法（REINFORCE、PPO、SAC、DDPG、TD3）作为模式选择器，并将它们与学习增强差分进化（LEDE）序列优化器配对。其中，表格概率更新（TPU）变体不依赖于对数策略梯度或完整的马尔可夫决策过程（MDP）公式，由于其简单的更新规则、奖励归一化和保持探索的最小概率阈值，实现了最低的完工时间和最小的方差。学习到的模式偏好虽然仅以活动索引为条件，但当与三种不同的序列优化器（遗传算法GA、标准差分进化DE和LEDE）集成时，始终能提高调度质量，与静态最快模式启发式方法相比，完工时间减少了6-12%。研究人员的结果表明，轻量级的启发式概率适应可以作为一种有效的即插即用增强方法用于模式选择，为资源受限的模块化施工调度中更复杂的基于神经网络的方法提供了实用的替代方案。

**论文解读：基于强化学习启发的概率更新启发式在模块化施工调度模式选择中的应用**

**研究背景与问题**
近年来，模块化施工因能加快交付、提升质量控制和减少现场干扰而日益普及。在模块化房间单元（MRU）工厂中，每个单元需经过一系列工序，且每道工序可选用多种执行模式（如不同工人数和工时），形成多模式资源受限多项目调度问题（MRCMPSP）。该问题为强NP难问题，模式选择直接影响资源消耗和总完工时间（makespan）。传统方法常采用固定规则（如最快模式）或数学规划，但前者缺乏适应性，后者在大规模实例中计算不可行。元启发式算法（如遗传算法GA、差分进化DE）虽能搜索序列空间，但通常将模式选择作为离散变量协同进化，缺乏从历史数据中学习的能力。强化学习（RL）最近被用于调度，但现有研究多将模式选择嵌入进化框架，未系统比较不同学习算法。因此，本文旨在系统评估一种受RL启发的概率更新启发式，用于多模式调度中的模式选择，并验证其在不同序列优化器下的适用性。

**研究内容与结论**
本文提出一个解耦框架，将模式选择与活动序列优化分离，形成独立的概率学习任务。研究人员在真实MRU工厂数据集（来自新加坡，图1所示）上，比较了五种代表性学习算法（REINFORCE、PPO、SAC、DDPG、TD3）作为模式选择器，并与学习增强差分进化（LEDE）序列优化器配对。结果表明，轻量级的表格概率更新（TPU）变体（不依赖对数策略梯度或完整MDP）在解质量、稳定性和计算效率上表现最佳，在9-MRU实例上将完工时间从最快模式启发式的72.5小时降至60.8小时（提升16.1%）。进一步，TPU与GA、DE和LEDE三种序列优化器集成时，均能降低完工时间6-12%，且计算开销仅增加约15%。该研究发表在《Buildings》期刊，为资源受限的模块化施工调度提供了实用的即插即用模式选择增强方法。

**主要关键技术方法**
1. **并行调度生成方案（parallel SGS）**：用于生成可行调度，在每个时间点检查所有可调度活动，确保资源约束，倾向于生成紧凑调度。
2. **学习增强差分进化（LEDE）**：作为序列优化器，采用自适应参数控制和停滞恢复机制，基于随机键编码表示活动序列。
3. **概率更新启发式**：为每个活动维护一个分类分布，通过归一化奖励信号（基于当前全局最优和最差完工时间）和最小概率阈值（保留探索）更新，更新规则为线性奖罚。
4. **五种学习算法基线**：REINFORCE（基于蒙特卡洛返回的梯度更新）、PPO（带裁剪目标的策略优化）、SAC（最大熵离策略算法）、DDPG和TD3（确定性策略梯度方法，经软max适配离散动作）。样本队列来自新加坡MRU工厂，批大小3-15个MRU，工人数20-40。

**研究结果**
**4.3.1 内部比较**
固定LEDE为序列优化器，比较五种学习算法和最快模式基准。通过10次独立运行，TPU获得最低平均完工时间（60.8小时）和最小标准差，显著优于PPO（p=0.012）等其他算法。消融实验表明，移除奖励归一化或最小概率阈值（设置为0）均导致完工时间上升至63小时以上，证实两者对稳定学习至关重要。学习率敏感性分析显示，α=0.1实现最佳收敛速度与稳定性。参数调优的信号噪声比（S/N）分析确认α=0.1、p_min=0.05组合最优。TPU收敛速度最快（42代达到最终值的95%），且在不同MRU批大小（3-15）上均保持最低完工时间，系数变异（CV）最小（0.025），表明高度稳健。

**4.3.2 外部比较**
将TPU与GA、DE和LEDE三种序列优化器配对，分别独立训练。在批大小3-15、工人25的条件下，TPU始终降低完工时间，对GA和DE的改进幅度更大（约10-12%），对LEDE也有约6%提升。资源可用性实验显示，在工人20-25的紧约束下，学习增强带来最大相对收益（约15%），而工人增至35-40时效益减弱。预训练策略迁移实验（表7）表明，用LEDE训练的冻结策略直接用于GA和DE仍能改进，但增益小于重新训练，说明策略包含一定可迁移的结构知识。

**4.4 基准实例评估**
在MMLIB基准的30个实例（J10、J20、J30）上，TPU+LEDE的平均偏差为0.68%，优于GA（2.13%）、PSO（1.87%）和标准PPO（1.02%），且标准差最小（0.42），推理时间仅0.42秒。

**讨论与结论**
讨论部分指出，TPU的优势源于其简单更新规则、奖励归一化和最小概率阈值，在离散模式选择中比复杂神经网络方法更有效。模式选择与序列优化的解耦使得学习到的偏好可跨优化器迁移，但当前局限性包括：学习期间固定活动顺序、仅基于活动索引而非状态特征，导致策略为静态偏好而非动态上下文感知。未来方向包括扩展至随机环境、引入状态特征（如资源利用率）实现自适应决策，以及在更广泛基准上验证。结论部分翻译如下：本文对受RL启发的概率更新启发式进行了全面实证评估，比较了五种学习算法。与协同进化方法不同，该框架独立学习模式偏好，可集成到不同序列优化器。内部比较显示TPU在解质量、稳定性和效率上最优，9-MRU实例上相对最快模式提升16.1%。消融研究证实奖励归一化和最小概率阈值的关键作用。外部比较显示TPU在GA、DE和LEDE上均降低完工时间6-12%，且计算开销适度（约15%）。这些发现确立了RL启发的概率更新作为模式选择的有效增强方法，为多模式项目调度实践提供了指导。