严格安全保证的智能体决策框架（SSGAD）用于安全关键工业系统

《Engineering Applications of Artificial Intelligence》：A strict safety-guaranteed agentic decision framework for safety-critical industrial systems

　　

随着工业系统向工业5.0（Industry 5.0）演进，人工智能正日益嵌入工程系统，以在动态且安全关键的条件下实现自主自适应决策。在此类环境中，智能体（agent）必须同时优化性能并满足由安全、资源限制和实时要求所产生的严格约束。本文对人工智能领域作出贡献，提出了一种严格安全保证的智能体决策框架（Strict Safety-Guaranteed Agentic Decision Framework，SSGAD），该框架明确地将可行性（feasibility）与性能优化相分离。研究人员开发了一种可学习的约束模型（learnable constraint model）来估计未知的系统约束，并基于该模型构建了一种不确定性感知机制，以构造高置信度的可行动作空间。随后，策略优化（policy optimization）在该学习到的可行域内执行，从而确保生成的决策在满足安全与资源约束的同时优化系统性能。所提出的框架被应用于工业边缘调度（industrial edge scheduling），其中多个异构节点在资源和延迟约束下协作执行动态任务。实验结果表明，SSGAD有效平衡了性能优化与安全执行。在压力负载场景下，SSGAD实现了84.6%的任务成功率，同时保持了9.8%的低违规率，在安全关键的工业决策中优于现有方法。

面向安全关键工业系统的严格安全保证智能体决策框架：研究解读

一、研究背景与问题动机

随着工业系统向工业5.0（Industry 5.0）方向演进，人工智能正从数据驱动的学习工具转变为嵌入工程系统的自主决策组件。现代工业环境具有异构实体、紧密耦合过程和动态运行条件等特征，系统行为不仅受数据支配，还受物理规律、资源限制和安全法规的约束。在此背景下，智能体人工智能（Agentic AI）成为一种更广泛的范式，用于构建能够自主观察环境、解释系统状态与目标、推理决策备选方案、与显式运行约束交互、执行动作并通过闭环反馈适应行为的智能实体。与传统强化学习智能体通常被表述为将状态或观测映射到动作以最大化累积奖励的策略不同，智能体AI系统强调目标导向的自主性、对决策备选方案的推理、对运行约束的显式考虑以及对变化系统条件的持续适应。在安全关键的工业系统中，智能体不仅需要学习哪些动作能带来高性能，还必须确定候选动作在动态安全、资源和实时要求下是否可接受。

现有方法通常将工业系统中的决策问题表述为多目标优化（multi-objective optimization），通过加权聚合将效率、能耗和延迟等多项准则合并为标量目标。虽然这种表述支持可处理的优化，但它隐含假设所有目标可以连续权衡。然而，这一假设在许多工程场景中并不成立。特别是，安全约束、资源限制和实时要求具有不可协商的特征，不能被适当地建模为软目标。将此类约束作为奖励函数中的惩罚项可能导致在某些条件下产生不可行或不安全的决策。从理论角度看，这一局限揭示了主流建模范式的根本问题：将决策简化为标量优化忽视了可行性约束与性能目标之间的结构性区别。在工程系统中，决策必须首先满足可行性条件，然后才在可行域内优化性能。因此，传统多目标优化方法不足以应对严格约束下的智能体决策。

二、研究内容与核心结论

针对上述问题，研究人员将工业系统中的智能体决策问题表述为约束驱动的动态决策过程。具体而言，在给定系统状态下，可接受的决策空间由一组状态相关的可行性约束定义，而性能优化在该可行区域内进行。该表述引入了若干关键挑战：可行集是状态相关的且随时间演化，导致非平稳的决策空间；可行性约束与优化目标具有本质上不同的作用；基于学习的策略可能在探索过程中生成不可行动作；多个冲突目标进一步复杂化了可行域内最优决策的搜索。

为应对这些挑战，研究人员提出了严格安全保证的智能体决策框架（SSGAD）。该框架将决策过程分解为两个层次：第一层，一组约束函数定义状态相关的可行动作集，确保所有不可行决策在动作选择之前被排除；第二层，学习面向性能的策略以在可行集内优化多个目标。与将约束作为惩罚项纳入的传统方法不同，所提出的框架将约束视为决策空间的结构性组成部分，通过将策略支持限制在预测的可行动作集内来促进可行性。实验结果表明，SSGAD有效平衡了性能优化与安全执行。在压力负载场景下，SSGAD实现了84.6%的任务成功率，同时保持了9.8%的低违规率，在安全关键的工业决策中优于现有方法。

三、主要技术方法

研究人员采用的主要技术方法包括以下几个方面。首先，构建可学习的约束模型（learnable constraint model），将约束评估重构为监督学习问题，使用参数化的神经函数逼近器将状态-动作对映射为约束满足程度的标量值，并扩展为概率形式，输出高斯分布的均值μ_i(s,a)和方差σ_i²(s,a)以捕捉模型不确定性。其次，基于不确定性感知准则构造高置信度可行动作集，通过μ_i(s,a)+βσ_i(s,a)≤0的条件确保动作以高概率满足约束。第三，采用约束策略优化方法，通过可行性指示函数χ(s,a)将策略支持限制在预测可行集内并重新归一化，确保不可行动作被赋予零概率。第四，实施策略与约束模型的联合学习，通过性能信号更新策略、通过约束违规信号更新约束模型，并引入受控探索机制，以较小概率从放宽的可行集中采样动作以探索可行域边界区域。

四、研究结果

约束学习与可行性建模。 研究人员将约束评估重构为监督学习问题，引入可学习的约束模型来逼近未知的可行性条件。对于每个约束g_i(s,a)，定义参数化函数?_i(s,a)=f_ψ,i(s,a)，并扩展为概率形式?_i(s,a)～N(μ_i(s,a),σ_i²(s,a))。基于此，定义高置信度可行性条件μ_i(s,a)+βσ_i(s,a)≤0，其中β为控制置信水平的可调参数。约束模型通过系统交互期间收集的反馈进行训练，采用负对数似然或交叉熵损失作为训练目标。

概率可行集构造。 基于学习的约束模型，研究人员构造决策就绪的可行动作集。对于每个约束i，动作a在状态s下可接受当且仅当μ_i(s,a)+βσ_i(s,a)≤0。引入可行性指示函数χ(s,a)=1{a∈?_f(s)}，用于与策略的高效集成。在工业边缘调度实验中，动作空间仅包含13个离散动作（12个节点-资源分配组合和1个拒绝动作），因此对所有动作进行穷尽评估。对于大规模或连续动作空间，则从当前策略分布中抽取固定数量N_c的候选动作进行评估。

约束策略优化。 在构造可行动作集后，决策问题简化为在状态相关的可接受域上优化策略。研究人员定义约束策略π_θ^f(a|s)通过可行性指示函数将策略支持限制在可行集内并重新归一化，确保不可行动作被赋予零概率。策略优化采用策略梯度方法，标量化目标R_t=Σ_kw_k(s_t)r_k(s_t,a_t)在学习的可行动作空间内优化。可行性约束直接嵌入策略中而非通过目标函数的惩罚项执行，因此不可行动作在训练和执行过程中均不被探索。

策略与约束模型的联合学习。 整体学习目标结合性能优化与约束建模：min_θ,ψ?J(θ)+λL_constraint(ψ)。在每个交互步骤中，约束模型预测候选动作的可行性以确定可行动作集，策略从该集合中选择动作，执行后系统提供性能信号和约束违规指示。性能信号用于通过强化学习更新策略，约束违规信号用于更新约束模型。为应对联合学习中的探索挑战，引入受控探索机制，以较小概率?从放宽的可行集?_f^?(s)中采样动作，其中β_?<β允许在探索期间使用较不保守的可行性阈值。

理论分析。 研究人员建立了统一的理论分析框架，连接约束学习、可行集构造和策略优化。在系统正则性、约束函数Lipschitz连续性、约束模型准确性和可行动作存在性等假设下，证明了三个关键结果：第一，学习的概率约束模型为真实约束值提供高置信度上界；第二，属于预测可行集的任何动作以至少1?Σ_iδ_i的概率满足所有真实约束；第三，从约束策略采样的执行动作以至少1?Σ_iδ_i的概率满足所有真实约束，从而建立一步安全保证。

五、讨论与结论

该研究提出的SSGAD框架从根本上区别于现有方法。多目标优化方法未显式建模可行性约束，约束强化学习方法通常在期望意义上而非动作层面执行约束，安全强化学习和屏蔽技术依赖预定义规则或已知系统模型，动作掩码方法往往是启发式的且缺乏理论保证。相比之下，SSGAD将智能体决策显式表述为约束驱动过程，引入可学习的、不确定性感知的约束模型来逼近未知的可行性条件，通过构造高置信度可行动作集并将策略优化限制在该域内，在决策层面实现严格安全保证，同时实现高效的多目标优化。这种统一表述将所提出的方法区别于现有方法，为动态工业环境中的安全和自适应决策提供了原则性解决方案。理论分析进一步表明，随着约束模型变得更加准确，预测可行集逼近真实可行集，所得策略收敛于真实约束问题的最优策略，从而刻画了安全性、约束模型准确性与策略最优性之间的关系。