技术风险下研发项目联合调度与验收的结构引导型强化学习框架

《Computers & Operations Research》：A structure-guided reinforcement learning framework for joint scheduling and acceptance in R&D projects under technical risk

　　

摘要

研发（R&D）项目不可避免会面临技术风险，因为持续的研发支出可能无法改善技术性能或确保项目的盈利能力。这为项目管理带来了根本性挑战：在技术性能逐步显现的过程中，何时接受当前结果以及如何安排后续开发。我们在随机技术性能演变和有限产能的约束下，研究了研发项目的联合任务调度与接受决策问题，并将其表述为一个马尔可夫决策过程，以最大化期望净现值。该问题具有维数灾难特征，其状态依赖的动作空间呈组合性。我们提出了一种结构引导的保守近似策略迭代（SG-CAPI）框架，该框架整合了用于结构探索性动作选择的定制分支-Benders割优化器、基于图神经网络的演员-评论家架构用于策略学习，以及保守策略改进方案以稳定策略更新。在不同问题设置下的广泛计算实验表明，所提方法显著优于基准方法，包括成熟的深度强化学习算法和近似动态规划方法，证明了其优越性和实际应用价值。

引言

高科技研发项目驱动着从初始概念化到市场就绪产品的转变，是经济价值创造和持续竞争优势的基本引擎（Ravasi和Turati，2005）。其开发涉及复杂的子系统，通常是硬件密集型的，并通过耗时的实验、测试和原型设计循环推进（Thomke，1998）。此类项目因其执行控制和价值实现方面的深刻挑战而众所周知的难以管理（Cooper，2006）。最近的行业证据显示，超过三分之二的大型高科技研发项目表现出持续的性能规格、预算和计划交付时间偏差，导致每个项目每年超过2000万欧元的不可恢复损失（波士顿咨询集团，2024）。其盈利能力的首要威胁是技术风险，即开发可能无法以达成满足利益相关者期望所需性能水平的方向推进的风险（Hirshorn等人，2017，Deeney等人，2021）。为减轻此风险的影响，有效管理高科技研发项目需要适应性调度以高效分配有限的开发产能，以及价值导向的管理灵活性以避免过度开发和开发不足。这种灵活性意味着基于观察到的性能水平做出适应性决策：是接受当前的研发结果并实现其性能依赖的里程碑价值，还是继续进行另一次开发尝试——我们将此决策称为任务接受。本研究旨在开发高质量且计算高效的动态接受和调度策略，以支持实际高科技研发项目的适应性管理。

一个相关的例子出现在片上系统（SoC）IP开发中（Iyengar等人，2003，Fan，2008），其中每个任务代表特定IP内核的研发工作包。所实现的IP性能，如运行频率，决定了相关的里程碑价值。在有限的EDA计算槽位下，管理者必须联合调度这些任务，并基于观察到的IP性能指标决定是否采用当前结果或承诺进行后续尝试。另一个例子出现在航空航天技术成熟项目中（Magnaye等人，2014），其中子系统级别的技术交付物对应于通过复杂先决关系连接的任务。除了基于有限的实验测试台和原型评估站调度这些任务外，管理者还必须根据每个任务实现的技术准备度（TRL）和整体项目状况决定是否需要进一步开发尝试，因为额外尝试会消耗产能、产生成本并可能延迟下游任务。尽管源自不同的实际背景，这些例子汇聚于高科技研发项目中的核心运营挑战：随着关于技术性能和经济价值的不确定性逐步消解，项目经理必须在先决约束和有限开发产能下协调耦合的接受和调度决策，从而将稀缺资源引导至具有更大价值创造潜力的任务，提高项目盈利能力。

关于涉及技术风险的开发项目管理的先期研究大致可分为两个流派。第一个流派专注于推导最大化期望项目回报的调度策略，其中技术风险通常由二元成功或失败的任务结果或返工循环表示。De Reyck和Leus（2008），Coolen等人（2014），Zhao等人（2020）和Rezaei等人（2024）遵循n-out-of-n系统逻辑，根据该逻辑任何单个任务的失败都会导致项目整体失败。这些模型通过限制每个任务仅尝试一次嵌入了管理僵性。其他研究允许迭代尝试或多个技术路线。例如，Luh等人（1999）在资源受限的项目调度框架内建模了不确定数量的顺序任务迭代，而Ranjbar和Davari（2013）以及Creemers等人（2015）允许同时追求多个备选方案，从而提高至少一条技术路线成功的概率。尽管如此，这些研究仍将技术结果简化为对外部给定成功标准的二元满足，抽象掉了技术性能的分级特性。因此，技术风险主要通过预先确定的项目路径下的运营调度进行管理，而不是通过适应性地重新定向开发方向的基于性能的决策。

第二个流派采用实物期权视角，将如继续或放弃开发以及重新定向努力等期权视为技术风险下的管理灵活性。技术风险通常通过控制性能演变的随机过程进行建模。Huchzermeier和Loch（2001）将研发项目的执行建模为一个多阶段决策过程，允许最优的放弃或策略切换。Kettunen等人（2015）考察了产品性能的不确定性如何塑造管理灵活性的价值，特别是延迟产品发布和切换开发策略的期权。Lin（2023）进一步引入了两种灵活性机制：加速以加快完成和强化以提高已实现回报。Wang和Yang（2012）将合同和对外许可决策与继续、放弃和扩张结合，将期权与在开发阶段识别出的风险相匹配。然而，由于优先考虑战略或项目级别决策，这些模型通常遗漏了诸如任务先决关系和产能约束等基本运营现实，从而将研发项目建模为简化的多阶段决策问题。

因此，我们确定了技术风险下研发项目管理系统研究中的一个关键空白：允许灵活性的接受决策如何与运营项目调度决策集成仍未得到充分探索。低效调度会浪费稀缺的开发产能，并挤出对具有更高价值创造潜力的任务的迭代尝试。时机不当的接受会通过延长资源占用放大计划波动，加剧下游瓶颈。为弥合这一空白，我们针对具有随机技术性能的研发项目，解决任务接受和调度决策的联合优化问题。我们采用期望净现值（ENPV）作为优化目标以量化项目盈利能力。任务允许进行迭代尝试以逐步调整设计配置以应对技术不确定性。每个任务实现的里程碑价值由接受的绩效水平内生决定。低实现绩效通常会产生降低甚至负的价值，而较高绩效则产生更大的里程碑收益。在项目执行期间，管理者必须决定是否以当前绩效水平接受一个任务以及启动哪些下游任务。此联合决策需要在进一步绩效改善的潜在收益与因占用有限产能（该产能本可用于更有希望的任务）而产生的额外时间、成本和机会成本之间进行平衡。

我们问题的随机和动态性质促使采用马尔可夫决策过程（MDP）表述。然而，由此产生的MDP面临经典的维数灾难：状态空间和可行的状态-动作对集合均随问题规模呈指数增长。为应对这一挑战，一种普遍采用的方法是采用深度强化学习（DRL），它利用深度函数逼近为具有高维状态和复杂动态的序贯决策问题学习适应性策略。事实上，DRL在广泛的运营场景中已展示了实证成功，包括研发（Wang等人，2024a）、制造（Liu等人，2023，Li等人，2025，Wang等人，2024b）、交通（Zheng等人，2025，Van Heeswijk，2025，Liu等人，2024）、供应链管理（Rolf等人，2023，Stranieri等人，2024，Mohamadi等人，2024）以及更多领域。

尽管取得了这些进展，实际调度问题本质上表现出组合性动作空间和复杂的可行性约束。对于所研究的问题，当调度与动态任务接受决策耦合时，此复杂性显著加剧，这呈指数级扩大了动作空间。直接处理如此巨大的动作空间对DRL框架构成了严峻挑战，特别是在可扩展的动作选择、表达性策略表示、高效策略学习和训练稳定性方面。现有的DRL研究通常避免直接面对动作空间的组合结构。一种常见方法是启发式替代，即允许DRL在预定义的优先级规则或启发式方法中选择（Zhang等人，2022，Liu等人，2023，Annear等人，2023，Yuan等人，2025）。或者，一些最新研究通过动态可行过滤动作构造或候选动作采样来处理具有复杂约束的组合性动作空间。Lu等人（2024）为随机边缘云环境中的实时任务调度提出了一种优势演员-评论家（A2C）方法，采用可行性检查模块来根据资源和时间约束验证演员为当前任务选择的服务器。类似地，Wang等人（2025）提出了一种近端策略优化（PPO）框架，以在具有不确定性的多模式资源受限项目调度问题中生成动态调度策略，通过动态更新的活动-模式动作集上的可行过滤策略推断来解决组合性动作空间。Fourati等人（2024）通过采样固定数量的可行候选动作，然后选择具有最高估计Q值的采样动作，在其深度Q网络（DQN）框架中缓解了动作空间爆炸。尽管这些设计提高了可处理性，但它们将搜索限制在预定义的决策区域内，而不是在整个组合性动作空间上进行优化，可能会排除高质量的动作并引入结构性偏差。虽然Hoppe等人（2025）和Harsha等人（2025）强调了将优化层与强化学习集成以解决这些限制的潜力，但很少有研究在不确定性下的实际调度问题中系统地验证此类方法。为克服这些挑战，我们为所研究的问题提出了一种新颖的结构引导框架，通过利用复杂问题的结构特征实现有效的学习和优化。

我们的贡献有三点：

第一，本研究将价值驱动的任务接受灵活性纳入了高科技研发项目管理中的运营动态调度中。据我们所知，这是第一个开发统一建模框架来在随机技术演变和绩效依赖的任务里程碑价值下联合优化任务调度和接受决策的研究。

第二，我们引入了一种结构引导的保守近似策略迭代（SG-CAPI）框架，该框架将学习与优化集成以解决组合性动作空间。该框架由三个关键组件组成：（a）参数化：基于图神经网络的演员-评论家架构生成任务得分以参数化贝尔曼单步优化问题的目标系数。（b）优化：我们设计了一个分支-Benders割优化器（BBCO），利用动作空间结构高效生成高质量的可行动作。（c）稳定化：为确保稳健的策略学习，利用了一种具有自适应Kullback-Leibler（KL）正则化和基于共同随机数（CRN）回退的保守策略改进方案。

第三，我们从广泛实验中得出了计算和管理见解。结果显示，SG-CAPI在多种问题设置下展现出有竞争力且计算高效的表现。此外，策略和敏感性分析进一步将学到的决策模式转化为管理见解，展示了管理者如何利用标准化绩效价值和技术上行特征来指导接受和继续决策，同时在预执行规划中保留尝试灵活性并选择性使用产能缓冲。

本文其余部分结构如下：第2节给出问题描述并呈现MDP表述，第3节描述所提算法，第4节报告数值实验，第5节总结全文。

问题描述片段

表1总结了用于表征研发项目的输入参数。该研发项目被建模为一个有向无环图（DAG）G=(N,E)。集合N={0,1,…,n+1}代表研发任务，其中0和n+1分别是虚拟的起始和结束任务。集合E定义了先决约束E?{(i,j) | i,j∈N, i≠j}。令Pre(j)={i∈N | (i,j)∈E}表示任务j的直接前驱集合。在项目先决约束下，每个非虚拟任务j∈{1,2,…,n}代表一个不同的

方法论

本节介绍了我们针对所提问题的算法。我们首先分析关键的计算挑战，并介绍结构引导的保守近似策略迭代（SG-CAPI）框架。

随后我们描述了三个核心组件：分支-Benders割优化器（BBCO）、基于图神经网络（GNN）的Actor-Critic架构，以及一种保守策略改进方案。

**计算实验**

本节我们进行计算实验，从三个方面评估所提出的SG-CAPI算法。首先，我们评估其在小规模实例上相对于精确随机动态规划（SDP）基准的最优性差距，然后将一般实例上的策略质量和计算效率与各种基准算法进行比较。其次，我们进行消融研究，考察主要算法设计选择各自的贡献。最后，我们分析其运行行为。

**结论**

本文研究了研发项目中任务接受与调度的联合优化问题，旨在最大化期望净现值（ENPV）。我们将该问题建模为有限时域离散时间马尔可夫决策过程（MDP），并提出了SG-CAPI算法以应对维度灾难和组合动作空间问题。SG-CAPI结合了基于GNN的Actor-Critic架构用于策略学习、专门设计的BBCO用于利用结构信息的动作选择，以及CPI机制用于稳定训练。

**计算实验部分**

**作者贡献声明**

王新月：撰写原稿、验证、方法论、调查研究、概念构思。胡超明：撰写-审阅与编辑、资源获取、形式化分析。方昊君：方法论、形式化分析、数据整理。刘志铭：可视化、验证、软件。陈浩：软件、方法论。刘新宝：指导、项目管理、资金获取。

**致谢**

本研究得到国家自然科学基金国际合作与交流项目（W2411063）、国家自然科学基金（编号：72501092、72371095、72471069、72071056、72101077、71922009）、青年教师科研创新启动项目B类专项（JZ2024HGQB0089）以及"111"项目（B17014）的资助。

王新月 | 胡超明 | 方昊君 | 刘志铭 | 陈浩 | 刘新宝

合肥工业大学管理学院，合肥，230009，中国