《International Journal of Digital Earth》：Optimizing the spatial layout of urban service facilities under benefit uncertainty: a Bayesian-guided hierarchical reinforcement learning framework
编辑推荐：
城市服务设施的空间布局优化旨在通过合理的设施布局最大化系统级区位效益。然而，由于城市环境特征之间存在显著的空间异质性和非线性交互，区位效益在不同区域间差异显著，并受到不同程度的不确定性影响，导致优化目标难以量化，并使空间布局结果偏离实际需求。为解决这一问题，研
城市服务设施的空间布局优化旨在通过合理的设施布局最大化系统级区位效益。然而，由于城市环境特征之间存在显著的空间异质性和非线性交互，区位效益在不同区域间差异显著，并受到不同程度的不确定性影响，导致优化目标难以量化，并使空间布局结果偏离实际需求。为解决这一问题，研究人员提出一种贝叶斯引导的分层强化学习框架，从历史数据中学习区位效益，并将效益不确定性纳入空间布局优化过程，使布局方案能够在适应空间异质性的同时最大化区位效益。具体而言，研究人员首先构建贝叶斯神经网络（Bayesian neural network, BNN），刻画地理空间要素与区位效益之间的非线性映射，为每个候选位置输出具有显式不确定性量化的概率效益估计；随后通过分层多智能体深度强化学习（hierarchical multi-agent deep reinforcement learning, HMADRL）模型将这些估计集成到优化流程中，在全局协同优化下生成分区差异化的选址决策。在中国深圳的实验表明，该方法优于主流基准方法，总效益提高超过10%，并具有更优的样本外鲁棒性。该工作为智慧城市发展提供了一种新颖且可操作的不确定性感知空间优化框架。
研究背景与问题：城市服务设施空间布局优化旨在通过设施合理布局最大化系统区位效益，是智慧城市规划的关键决策工具。但由于人口分布、土地利用、交通可达性、区域功能和社会经济等多维地理要素共同作用，区位效益在不同区域差异显著，且存在复杂非线性交互与不确定性，传统优化目标难以量化。经典选址模型如最大覆盖模型、p-中位模型和p-中心模型需预先指定目标函数和约束，通过概率分布、情景集或不确定集刻画不确定性，虽可解释性强，但预设目标往往偏离真实运营效益；近期数据驱动方法虽可近似难以显式表达的目标，但大多仅输出确定性点估计，未充分考虑模型拟合不确定性及其向选址决策的传播；集中式搜索或单智能体强化学习（reinforcement learning, RL）难以同时应对空间异质性和多设施协同。因此，该研究提出贝叶斯引导的分层强化学习框架，将区位效益及其不确定性直接嵌入空间布局优化，成果发表于《International Journal of Digital Earth》。
研究内容与总体结论：该研究提出两阶段框架。第一阶段构建基于贝叶斯神经网络（Bayesian neural network, BNN）的效益量化模型，结合蒙特卡洛-置信下界（Monte Carlo-lower confidence bound, MC-LCB）模型处理服务区重叠与不确定性嵌入；第二阶段设计分层多智能体深度强化学习（hierarchical multi-agent deep reinforcement learning, HMADRL）模型，通过自定义全局-局部近端策略优化（global-local proximal policy optimization, GLPPO）算法训练。在深圳市南山区和光明区的共享单车选址实验中，该方法总效益比最优基准提高超过10%，样本外鲁棒性全面优于基准，表明其能为不确定性下的空间布局优化提供有效、可操作的方法支持。
关键技术方法：采用BNN效益量化模型，以多维地理要素为输入，经变分推断近似权重后验，输出概率效益分布；用蒙特卡洛（Monte Carlo, MC）模拟对服务区重叠效益进行空间归属修正，并提取置信下界（lower confidence bound, LCB）作为风险敏感奖励。构建含一个全局监督智能体和多个局部规划智能体的HMADRL模型，将选址建模为多智能体马尔可夫决策过程（Markov decision process, MDP），用GLPPO算法结合局部与全局优势估计训练。实验数据来自深圳市政务开放数据平台2021年1–8月共享单车订单记录（超2.4亿条匿名行程记录）与公开城市地理空间数据。
研究结果：
空间位置质量比较实验：在深圳市南山区和光明区两个异构区域，将BMC-GLPPO（由BNN与MC-LCB效益量化模块BMC和GLPPO选址模型集成的实例）与人口覆盖最大化、交通可达性优化、基于人工神经网络（artificial neural network, ANN）的随机优化和鲁棒优化等基准方法比较。结果表明，BMC-GLPPO在南山区实现日均共享单车解锁130,489次，比最优基准RO(ANN)-GA提高15.49%；在光明区实现30,757次，比最优基准SO(ANN)-GA提高10.54%，且设施级最低效益均显著高于基准，说明数据驱动的效益学习与分层多智能体优化能有效适应不同城市环境。
位置方案鲁棒性比较实验：通过期望效益分布分析和变异系数（coefficient of variation, CV）评估样本外鲁棒性。BMC-GLPPO在南山区最小总期望效益125,107.1，高于所有基准最大值121,591.2；在光明区最小总期望效益40,424.0，高于所有基准最大值33,943.4；两区平均CV分别为0.898%和1.051%，均为所有方法中最低。这表明该方案在不确定性条件下既能保持高期望效益，又能避免单个设施收益的大幅波动。
方法架构消融实验：固定GLPPO选址模型，将BMC替换为确定性神经网络、人口覆盖目标和交通可达性目标；固定BMC，将GLPPO替换为多智能体PPO（MAPPO）、独立PPO（IPPO）和单智能体PPO。结果显示，BMC-GLPPO在两个区均优于所有变体，证明贝叶斯不确定性量化、MC-LCB风险机制以及全局-局部分层协调结构均对性能有显著贡献，缺失任一模块都会导致总效益和最低设施效益下降。
参数敏感性实验：分析LCB显著性水平α和MC模拟次数的影响。随着α增大，期望效益与风险水平均单调上升，表明α的选择体现期望效益与风险之间的权衡；当MC模拟次数达到50次及以上时，重叠服务区效益修正结果趋于稳定，兼顾计算效率与估计稳定性。
讨论与结论：讨论部分指出，BMC-GLPPO的优势源于三项协同设计：BNN直接学习地理特征与区位效益的映射，以全后验分布替代点估计；MC-LCB解决重叠服务区效益归属，并通过风险敏感的LCB避免高不确定性选址；分层GLPPO以多智能体架构实现区域差异化决策与全局协同优化。该研究的主要局限是对高质量历史数据的依赖，未来可结合迁移学习和知识引导优化加以改进。
研究结论：空间优化是改善城市服务设施布局、提升服务绩效和促进可持续智慧城市发展的关键规划决策工具。然而，设施服务绩效受多维地理空间要素联合影响，表现出显著的空间异质性和不确定性，现有空间优化方法难以完整刻画，导致选址优化结果偏离实际需求。为此，研究人员提出贝叶斯引导的分层强化学习框架。第一阶段，基于BNN的效益量化模型直接建立地理空间特征与区位效益的映射，生成具有严格不确定性表征的概率效益估计；MC-LCB模型解决重叠服务区下的效益归属，并通过风险感知的LCB估计将量化不确定性嵌入决策逻辑。第二阶段，通过自定义GLPPO算法训练HMADRL模型，在全局协同优化下生成区域差异化、风险感知的选址决策。深圳两个异构区域的实验表明，该方法在总区位效益和样本外鲁棒性方面优于主流基准，为真实城市规划中不确定性感知的空间选址决策提供了有效方法论支持。
