基于代理指标的离线强化学习用于港口城市货运门户宏观战略决策支持：洛杉矶港可审计情景评估框架

《Urban Science》：Offline Proxy-Based Reinforcement Learning for Port-City Freight Gateway Operations: Macro-Strategic Decision Support at the Port of Los Angeles

　　

当运营信息仅限于汇总观测且决策指标由研究人员构建时，港口城市货运门户的决策支持具有挑战性。本研究利用洛杉矶港2020年1月至2026年4月的76个月度观测，开发了一个可审计的离线情景评估框架。五个相互关联的代理指数分别描述漂移压力（APD）、信息清晰度（PED）、可预测性（GPH）、运营学习稳定性（OLStab）和振荡严重度（GOS）。其代数依赖性使回归与路径检验仅限于内部一致性诊断。研究人员使用四种表格型强化学习算法、维持放行基线、随机动作和始终预约平滑规则评估五类假设响应。按时间顺序的60个月训练和16个月测试设计仅在训练观测上拟合归一化、状态阈值和奖励标准化。在十个随机种子下，与维持放行相比，学习策略使测试期代理GOS降低0.76–1.14%；随机动作实现3.64%，而始终平滑产生规定的10.00%降低。十四个测试观测处于训练期间未见状态，并使用预设的维持放行回退。由于动作效应是施加的且后续月度状态不依赖动作，这些估计描述的是情景评分而非经验证的运营控制。独立的物理验证和动作依赖的转移数据仍是必要的。

复杂运营系统的决策支持需要将变化的观测转化为可解释状态和明确管理响应，但领先指标常由重叠输入构建，指标到动作触发的规则隐含。预测、优化、控制和强化学习（RL，reinforcement learning）依赖状态表示、动作集和奖励函数的透明性与外部可检验性。港口闸口连接集装箱码头、拖车和城市道路网络，预约、协作调度、队列管理、闸口自动化等可重新分配到达并缓解压力；当直接高频测量不可用时，如何使基于代理指标的状态架构可审计成为问题。研究人员开发了可审计的离线情景评估框架，以洛杉矶港2020年1月至2026年4月76个月度观测为案例，构建漂移压力（APD，adversarial perceptual drift）、信息清晰度（PED，perceptual entropy decay）、可预测性（GPH，gate-state predictability horizon）、运营学习稳定性（OLStab，operational learning stability）和振荡严重度（GOS，gate oscillation severity）五个代理指数，比较五类假设响应、四种表格型RL算法及非学习基线。结论是学习策略相对维持放行的代理GOS降低0.760–1.144%，低于随机动作的3.637%和始终预约平滑的10.000%；多数测试观测使用预设回退，动作效应为施加且后续状态不依赖动作，故结果属于情景评分而非经验证运营控制。其意义在于提供从指标、情景代理到响应类别、基准比较和外部验证要求的可检查方法链条，而非实时部署或普适构念验证。

关键技术方法（不超过250字）：数据来自洛杉矶港官方月度集装箱统计，覆盖2020年1月至2026年4月共76个月，前60个月训练、后16个月测试；由总TEUs（twenty-foot equivalent units，二十英尺标准箱）、空重箱、进出口和同比变化构造并归一化体积强度、波动、空箱比、进出口失衡和同比压力，再按显式方程得到APD、PED、GPH、OLStab、GOS。采用Pearson相关、方差膨胀因子（VIF，variance inflation factor）、普通最小二乘、异方差与自相关一致标准误（HAC，heteroskedasticity- and autocorrelation-consistent）、自助法间接效应和中心化交互项检查H1–H7；将状态离散为低/中/高，并在训练期拟合归一化、阈值和奖励标准化后冻结；比较Q-learning、SARSA、Expected SARSA、Double Q-learning与维持放行、随机动作、始终预约平滑，使用十个预设随机种子。

研究结果：
4.1 描述统计与代理指标依赖性：对76个月五个代理指数的描述统计显示指标存在明显变化；Pearson相关和VIF诊断表明PED、GPH、OLStab、GOS等高度相关且VIF很高，作者将其解释为共享输入和嵌套方程造成的结构依赖，而不是独立经验验证。等权重建与基线排序的Spearman相关为0.929–0.991，说明排序不完全依赖原权重，但不建立构念效度。中心化H7模型数值VIF较低，但PED与APD的概念和代数依赖仍存在。
4.2 方向性内部一致性结果：H1–H6的方向与构造代理架构所编码关系一致，H7出现与原假设相反符号；因此H1–H6仅作为内部机制一致性检查，H7未获方向性支持。HAC标准误敏感性保持H1–H4符号，斜率分别为1.0098、1.0683、?0.7543和1.1106；等权代理重建仍保持较高排序一致性。
4.3 H7交互：中心化PED×APD交互系数为b=+0.0210、p=0.005，显示APD升高时PED–GPH正关系增强而非减弱，故H7不支持。作者指出该正交互可能部分反映代理构造的数学几何，也可能对应高压力下更严格预约纪律、放行控制或容量协调的补偿性干预假设，但现有数据无法区分，需独立高频闸口状态、视觉质量、队列等观测验证。
4.4 离线策略比较：在恢复的比例情景规则下，预约平滑产生最高平均复合奖励2.464和最低建模GOS 38.147，容量调整产生最高平均GPH 73.748和最低APD 49.996，但均为规定动作乘子的计算结果，不能解释为真实卡车拥堵下降。十个种子下，学习策略相对维持放行使代理GOS降低0.760–1.144%，随机动作为3.637%，始终预约平滑为10.000%，后者由其固定?10% GOS情景乘子机械决定。新设定未重现历史7.37–8.28%的降幅；没有学习型表格策略优于非学习基准。
4.5 状态覆盖、决策选择与种子稳健性：仅60个训练观测经八变量离散化产生57个分类状态码；16个测试月中有14个观测落入13个训练未见状态码，并使用预设维持放行回退。多数测试决策由回退决定，四种学习算法每个测试序列仅约两次决策可反映学习状态—动作值。学习算法种子间GOS降幅标准差为0.242–0.361个百分点，随机基线为1.461个百分点；算法差异较小，不能据此判断算法优劣或证明发现优越干预模式。

讨论部分总结：该分析表明代理架构可被重建并检查内部方向一致性，但不证明APD、PED、GPH、OLStab、GOS是独立验证的运营构念；强H1–H6关系部分由测量设计生成。新策略评估提供另一诊断：当历史数据覆盖不足时，简单预设规则可优于学习状态—动作值；但即时奖励效应为施加，下一月度状态不响应所选动作，OLStab仍是作者引入的情景指数而非控制韧性或策略收敛的经验测量。该模拟器不应替代Port Optimizer、港口社区系统（PCS，Port Community System）或卡车预约系统（TAS，Truck Appointment System）；公共统计仅为聚合吞吐记录，不能证明卡车周转时间等字段可用，未来需授权接口、数据治理、安全与协调。RL适用性受76个月观测、60个训练月和状态稀疏限制；动作不影响下一状态，更接近情境依赖反事实评分。未来需编码物理队列、周转时间、吞吐、人员、拥堵和干预成本约束，并在共同外部关键绩效指标下比较透明阈值策略、优化、模型预测控制（MPC，model-predictive control）和RL。港口城市、韧性和环境含义需直接道路队列、旅行时间、轨迹、怠速、速度和燃料数据验证，代理GOS不是环境结果。限制包括月度单港数据、代理结构依赖、启发式权重、RL样本小、奖励与转移规格、缺乏直接闸口验证、未实现数字孪生或计算机视觉、结果验证不足及无泄漏预处理局限；未来应获取事件级或亚小时闸口数据并独立验证。

研究结论（翻译）：本研究开发了一种透明的代理指数决策支持方法，并用洛杉矶港76个月度集装箱吞吐量观测进行说明。五个明确构造的情景指数APD、PED、GPH、OLStab和GOS组织运营状态压力、信息清晰度、可预测性、建模稳定性和振荡严重度；其共享输入和嵌套方程使统计关系主要是内部机制一致性检查，而非独立因果证据。一般方法贡献是从运营指标和情景代理到明确管理响应类别、基准比较和外部验证要求的可检查链条。新指定的按时间顺序情景评估在初始60个月拟合全部预处理变换，并在16个留出月、十个预设随机种子上比较策略；四种学习算法相对维持放行实现平均代理GOS降低0.760–1.144%，随机动作为3.637%，始终预约平滑为10.000%。多数测试观测（16个中14个）处于先前未见状态并使用预定回退；动作效应矩阵为施加，后续历史月度状态不响应所选决策。因此，该评估不证明RL优于简单规则、降低物理拥堵或提供经验证自适应控制。主要限制包括粗粒度月度单港观测、结构依赖的启发式指数、稀疏分类状态、动作独立转移、预设而非估计的动作效应以及缺乏直接闸口和环境结果。OLStab应解释为需单独验证的情景描述符。未来研究应获取授权高频卡车、预约、闸口、车道资源和队列数据，估计运营可行且动作依赖的响应与成本，并在共同外部KPI框架下比较RL与调度、数学优化、透明启发式和模型预测控制；这些步骤是可迁移且具有实际意义的港口城市决策支持的前提。