自然与工程化安全强化学习：优化准则修改与探索过程调控的跨学科计算框架

《Communications Psychology》：Natural and engineered safe reinforcement learning

　　

生存不仅取决于最大化奖励，还取决于最小化伤害。尽管强化学习（Reinforcement Learning, RL）为适应性决策提供了规范性框架，但标准算法往往未能像动物那样考虑学习过程中错误的灾难性成本。在本综述中，研究人员综合了近期将安全RL工程与行为神经科学和系统神经科学相联系的进展。研究人员采用一种有原则的分类法，区分两类策略：（1）修改优化准则，将安全嵌入学习目标；（2）修改探索过程，以防止危险动作。研究人员表明，工程解决方案，如最坏情况优化（worst-case optimisation）、风险敏感目标（risk-sensitive objectives，如条件风险价值（conditional value at risk, CVaR））以及约束马尔可夫决策过程（constrained Markov decision processes, MDPs），为焦虑、风险规避和防御反射提供了精确的计算解释。相反，生物机制，包括先天先验（innate priors）、内感受（interoception）以及基于不确定性、可靠性和竞争性需求的元控制（meta-control），为人工智能体中的安全探索问题提供了稳健解决方案。通过桥接这些领域，研究人员突出一个趋同的计算图景：安全通过反应性本能与审慎规划之间的动态相互作用实现。

引言：幸存者困境
学习安全看似悖论：从经验学习必然犯错，但严重损伤或死亡等错误会阻止进一步学习。智能体需在不确定环境中安全探索以收集信息并规避外部威胁，同时进行自我保存以检测、表征和响应稳态偏离等内部威胁。安全强化学习（safe reinforcement learning, safe RL）为研究这些能力提供计算视角，并与行为神经科学和计算精神病学中恐惧、焦虑、恐慌、回避、攻击和反刍等主题相关。既有工作映射威胁临近连续体，本综述将焦点扩展到一般外部伤害，并整合预期性风险规避、焦虑到创伤后自我保存行为。

强化学习 preliminaries and incorporating innate knowledge
通过强化学习学习
强化学习（Reinforcement Learning, RL）提供智能体在不确定环境中通过奖励或惩罚反馈学习行动的数学框架。智能体观察状态、采取动作、接收奖励和新状态，学习最大化累积折扣回报的策略。常见形式化为马尔可夫决策过程（Markov decision processes, MDPs），回报 G_t=Σ_k=0^∞γ^kr_t+k+1，其中 γ∈[0,1] 为折扣因子。核心是值函数。无模型方法直接试错，模型方法学习转移概率 T(s′|s,a) 和奖励结构 R(s,a)，支持规划。二者对应习惯与目标导向行为，仲裁可由不确定性或可靠性引导。Dyna 与后继表征提供混合方案。安全学习可视为对时序差分（temporal-difference, TD）误差目标、转移模型、目标函数或探索策略的修改。

Q-learning
Q-learning 学习状态-动作值 Q(s,a)，在贪婪目标策略下，依据奖励 r_t+1、下一状态价值和当前价值计算 TD 误差 δ_t，再以学习率 η 更新 Q 值。行为策略可用 softmax 采样，温度 τ 控制探索。TD 误差与腹侧被盖区（ventral tegmental area, VTA）多巴胺相位性奖励预测误差相关，并扩展到不同脑区的奖励和惩罚信号。

学习通过其他方式与可能的先天知识形式
除直接强化外，先天结构和先验知识塑造行为。Watkins 提出六类先天知识：物理能力、主观奖励系统、表征与近似方法、初始策略/值函数/模型、边界与约束、实验或探究倾向。先天先验是安全第一道防线；探究倾向关联信息寻求和损伤管理；社会学习通过观察他人错误降低风险。计算精神病学中，传统 RL 将快感缺失建模为奖励功能钝化；新观点则将其重概念化为目标进展表征失败和不可达目标导致的刚性值约束。

安全学习整合分类
Garc?a 和 Fernández 的安全 RL 分类将方法分为两类：修改优化准则，将风险、最坏结果或约束嵌入学习目标；修改探索过程，通过先验、示范或启发式控制经验收集，防止危险动作。该分类可与 Watkins 先天知识分类整合，形成三维比较：改变优化准则或探索过程、利用何种先天知识、改变规范 RL 的哪一项。此框架也组织安全探索与自我保存的区分，后者关注内部完整性。

修改优化准则，行为神经科学应用
最坏情况准则
最坏情况方法优先最大化最坏结果下的表现。最坏情况 Q-learning 优化最坏回报；β-悲观 Q-learning 在最好与最坏价值间插值，β∈[0,1] 表示主观悲观权重。鲁棒 MDP 假设真实模型位于不确定集内，优化 max_πmin_p∈PV^π,p(s)。行为神经科学中，β-悲观 Q-learning 可形式化焦虑障碍的病理性回避：对未来控制的悲观导致恐惧向远离威胁的情境泛化，解释夸大威胁评估、恐惧泛化和持续回避，并连接焦虑抑郁中的自我效能和控制信念。其与风险敏感和约束方法的区别在于直接防范单个最坏未来。

风险敏感准则
风险敏感可通过收益与风险加权和或条件风险价值（conditional value at risk, CVaR）实现。加权和形式为 max_πE_π[G]?λ·ω(G)，λ>0 表示风险规避，λ<0 表示风险寻求；ω(G) 可为收益方差、TD 误差或失败/终止概率。风险敏感 TD 模型允许正负预测误差以不同学习率更新，行为研究发现风险规避与负预测误差学习率较高相关，伏隔核（nucleus accumbens）血氧水平依赖（BOLD）信号编码预测误差。方差风险度量的局限是同等对待正负不确定性，安全更应关注收益分布下尾，即 CVaR_ζ(G)=E[G|G≤v_ζ(G)]，v_ζ(G) 为风险价值；ζ→0 接近最坏情况。序列风险中包括预承诺 CVaR（pCVaR）和嵌套 CVaR（nCVaR）。CVaR 模型可解释两步任务中的风险规避、病理性回避、担忧与反刍，以及小鼠探索威胁物体时从勇敢到胆怯的个体差异。分布强化学习证据支持该计算在基底神经节和前额叶的实现。

约束准则
约束 MDP（constrained MDP, CMDP）在期望成本约束下最大化回报，用于约束策略优化（Constrained Policy Optimisation, CPO）和安全层方法。行为神经科学中，大脑可能以分离而交互的控制系统近似约束优化：工具系统最大化奖励，巴甫洛夫恐惧系统作为专用控制器弱最小化约束违反（如累积疼痛）。这种多系统架构对奖励寻求系统施加软约束。合并奖励与成本 versus 保持独立成本约束具有心理学意义：部分伤害可与奖励互换，严重组织损伤或生存力丧失更像不可协商边界。

优化准则综合
最坏情况、CVaR、方差敏感和约束方法位于同一设计空间，分别防范未来控制不确定性、环境模型不确定性、收益下尾或显式成本通道。多数主要处理外部危险，约束方法也可建模疼痛或组织损伤等内部安全预算。计算代价不同：CVaR 需收益分布且可能昂贵；鲁棒 MDP 需不确定集且基于模型；CMDP 实现层面代价较低并可能由学习反射近似，但需要可测成本信号和专门生物通路。

安全-效率权衡
安全 RL 存在最小化伤害与高效积累奖励之间的基本张力，是探索-利用困境的特例，并依赖惩罚风险。更严格安全约束会降低奖励学习速度，风险敏感性与样本效率间也存在理论权衡。不同策略以不同方式导航该权衡：CVaR 等改变目标函数，求解近似问题的正确解；巴甫洛夫偏见等生物启发式保持规范生存目标但改变探索过程，应用近似解。计算精神病学可据此区分患者是在优化病理目标还是对正常目标应用适应不良启发式。

修改探索过程，行为神经科学洞见
风险导向探索
风险导向探索通过偏向可预测或可控区域实现安全。可控性分数 C(s,a)=?E[|δ_t|] 的运行估计可作为行动选择加性 bonus 或 malus，Q(s,a)+κC(s,a)，正权重鼓励高可控、低预测误差方差状态。行为神经科学中，Pearce-Hall 易联想性作为元控制信号仲裁工具与巴甫洛夫控制：高结果不确定性增加巴甫洛夫恐惧系统权重，促进谨慎退缩；不确定性消退后控制让渡给工具系统。杏仁核和前扣带皮层（pgACC）参与该过程。可靠性仲裁也重要：竞争系统的奖励预测误差可估计相对可靠性，杏仁核调整初始平衡并更新仲裁。多控制系统可分离奖励与惩罚价值，避免恐惧记忆被后续奖励覆盖，并已扩展至机器人导航。

提供初始知识
基于先验初始化是偏置探索的最基本方法，尤其在早期学习。示范学徒学习从教师示范引导，元学习可从多环境获得值初始化。行为神经科学中，先天先验和进化塑造值函数是安全初始化对应物；新恐惧症可视为悲观值初始化，与纹状体尾多巴胺信号相关。动态组合多个不同初始化的值函数，并由推断的威胁信念状态门控，可产生接近-退缩动态。硬接线安全还延伸到状态表征和威胁感知特征。先验概括在早期保护智能体，但过度概括或不能更新会变得适应不良。

专用内部状态和内部模型
具身智能体安全还依赖内部完整性，需要自我监控和故障检测。控制理论中，基于模型故障检测利用前向模型预测传感器读数，残差显著即检测故障。关联技能记忆学习预期感觉运动观测生成模型，偏离流形可触发适应行为。行为神经科学中，内感受（interoception）是身体内部生理状态感，稳态和异稳态理论强调身体状态预测模型。内感受 AI 将内部变量与外部状态因子化，稳态调节 RL 框架以此形成目标。内部状态可视为部分可观察，信息寻求如探查损伤是减少身体状态不确定性的理性行为。自监督预测编码、时间预测编码网络和卡尔曼滤波支持身体模型或世界模型。损伤需求与资源需求竞争可导致内源性镇痛，臂旁核 NPY 受体表达神经元门控痛觉整合，表明生物安全是受稳态经济调节的优先状态。

探索方法综合
先验、可控性 bonus、内部状态模型和仲裁机制保持规范生存目标，但改变学习时行为生成，常属性能效应而非学习效应。与优化准则方法相比，它们通常更便宜、更生物合理，但可能有偏且较硬接线。多数主要防范外部威胁，内感受和自我保存方法更直接处理身体完整性，并适用于具身 AI。

跨切面综合
综述中的反复区分是改变优化内容还是改变学习时行动选择方式。优化准则方法形式透明，但需要收益分布、显式成本信号或良好不确定集等强假设，计算可能昂贵。探索过程方法计算更便宜、更接近生物控制，但启发式、先验或控制器仲裁引入系统偏差。该区分连接安全探索与自我保存：优化准则方法多针对外部危险，原则上也可用于内部/内感受威胁；探索过程方法更接近解释损伤或损伤不确定性出现后如何维持身体完整。边界不锐利，损伤可同时提高风险规避、反刍和恐惧偏见。当前框架仍缺乏联合处理安全探索与自我保存者。

结论
本综述桥接安全 RL 工程与行为及系统神经科学。AI 框架提供描述智能体应为安全优化什么，如最坏情况准则、风险敏感和 CMDP，并解释精神脆弱性；神经科学提供智能体如何实现安全的机制，如先天先验、专用内部模型和灵活元控制。未来挑战是构建联合处理外部威胁、内部完整性和竞争需求仲裁的框架，并在实验室任务和临床环境中保持可检验。

尚待解决的问题与未来方向
未来需设计区分 β-悲观 Q-learning 的未来控制悲观与 CVaR 下尾风险敏感的任务；明确伤害何时应作为显式约束而非奖励-成本求和项；计算心理学可为安全具身 AI 提出新基准；识别威胁信念状态及纹状体多值门控的神经表征；调和预期焦虑促进谨慎回避与急性危险或强直痛触发内源性镇痛之间的防御驱动，并发展统一处理内外危险的框架；理解曾有用回避行为如何在环境变安全后消退；绘制安全 RL 计算到焦虑和创伤相关障碍维度的映射；利用纵向临床数据的决策论模型开发行为生物标志，预测从急性适应防御向慢性功能障碍的转变。