考虑信用分配的深度强化学习用于微观交通仿真中的动态OD矩阵估计

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Deep reinforcement learning for dynamic origin-destination matrix estimation in microscopic traffic simulations considering credit assignment

　　

•出行需求对路段流量的时间依赖性和随机性影响。•将动态起讫点矩阵估计重新表述为序贯决策问题。•采用马尔可夫决策过程建模以捕捉长期效应。•基于无模型深度强化学习进行微观仿真校准。•采用多二值近端策略优化实现具有延迟奖励的稳定学习。1. 引言数据采集和计算能力的进步使得复杂的、计算密集型的交通策略成为可能（Papageorgiou等人，2003）。现代策略，如速度协调、车道变换控制和自适应交通信号控制，现在主要在微观层面进行设计和评估，标志着交通管理范式的重大转变（Ghiasi等人，2019；Xie等人，2019；Li等人，2023）。对微观分析的重视凸显了微观交通仿真的重要性。微观交通仿真的可靠性取决于严格的校准过程，该过程需要复制真实世界的交通动态（Toledo等人，2004；Papathanasopoulou等人，2016；Patwary等人，2021）。该过程通常涉及最小化一个损失函数，该函数量化仿真输出与实地观测之间的差异（Osorio，2019a）。校准的一个关键组成部分是动态起讫点矩阵估计（DODE）问题，该问题旨在调整交通需求输入以重现观测数据，如路段流量（Huo等人，2023）。DODE问题的传统方法涉及构建双层优化问题（Yang等人，1992；Tavana，2001；Ros-Roca等人，2022）。该问题由一个确定最优起讫点（OD）矩阵的上层问题和一个通常将OD矩阵映射为路段流量的动态分配下层问题组成。虽然这种双层方法提供了计算可行性和建模灵活性（Tavana，2001），但将其应用于校准微观仿真面临着相当大的挑战。主要挑战源于微观动态的本质，即序列OD矩阵对路段流量的影响在时间上不是独立的，而是时间复杂且高度随机的。在微观仿真中，动态是以单车级别建模的。这种颗粒度加上复杂的驾驶员交互，使得确定性地追踪未来车辆轨迹变得不可行（Huo等人，2023；Balakrishna等人，2008；Zhang等人，2017；Treiber和Kesting，2013）。这些交互导致了不可预测的网络负荷模式，进而使得将观测到的路段流量归因于特定的、时间滞后的OD输入变得困难——这是一个基本问题，被称为信用分配问题（Minsky，1961；Pignatelli等人，2023）。为了解决这一信用分配问题，我们利用马尔可夫决策过程（MDP）框架将DODE问题重新表述为序贯决策问题。MDP明确考虑了序列OD矩阵的长期随机影响，为传统优化方法通常忽视的信用分配问题提供了一种结构化的方法。然而，将DODE问题作为MDP求解引入了两个技术挑战。第一个挑战是高维状态和难以处理的转移动态的组合，这使得传统的MDP求解器，如动态规划，由于维数灾难和缺乏显式转移模型而变得计算上不可行（Joe和Lau，2020）。为克服这一问题，我们采用了一种深度强化学习（DRL）方法，该方法使智能体能够通过直接与仿真环境交互来学习最优策略。第二个挑战是由于巨大的动作空间、随机噪声和延迟奖励导致的策略训练不稳定性（Arulkumaran等人，2017）。为此，需要一种专门化的DRL方法。巨大的组合式动作空间使得探索变得复杂，而随机噪声和延迟奖励可能导致不稳定的策略梯度和缓慢的收敛。我们采用近端策略优化（PPO）（Schulman等人，2017）配合多二值动作参数化。将动作空间结构化为多二值形式通过让智能体决定在每个时间间隔是否为每个OD对释放需求来减少组合复杂性。此外，PPO的裁剪替代目标隐式限制了更新幅度，减轻了由随机性引起的不稳定性。PPO的演员-评论家架构结合广义优势估计（GAE）（Schulman等人，2015），通过整合即时奖励和价值函数估计来降低方差并促进有效的长程信用分配。本文的主要贡献如下：1. 我们将微观交通仿真中DODE的挑战框定为信用分配问题，并提出了一种MDP框架对其进行形式化。2. 我们提出了一种无模型DRL方法来处理该MDP公式中固有的高维观测和难以处理的转移动态。3. 我们采用多二值PPO来管理组合式动作空间，并在随机性和延迟奖励下实现鲁棒的收敛。本文其余部分的组织结构如下。下一节回顾了DODE问题的相关文献。随后我们提出为了解决已识别的研究空白而设计的问题公式，接着是用于解决该问题的所提出方法。然后我们展示实验结果并讨论其含义。最后一节总结全文并提出未来研究方向。2. 文献综述2.1. 动态起讫点矩阵估计的传统方法OD矩阵估计传统上在规划和应用两个背景下进行研究。在规划阶段，研究人员估计给定区域的出行需求以预测未知的出行模式。相比之下，应用阶段旨在校准需求输入，以使交通模型（如仿真）的输出与观测的真实数据一致。本研究关注应用阶段。具体而言，我们旨在为微观模型确定最优的OD矩阵输入轨迹，使得生成的路段流量与观测的真实数据高度吻合。从观测路段流量估计OD矩阵的初始研究奠定了概念和方法论基础，为后续发展提供了指导（Willumsen，1978）。为了重现观测路段流量，需要将OD矩阵定义的出行分配到网络内的特定路线上。最初，该问题使用与时间无关的分配矩阵将OD矩阵与路段流量关联起来，并被表述为单目标优化问题（Cascetta和Nguyen，1988）。随着研究的推进，DODE问题应运而生，旨在通过将分析时段划分为更短的时间间隔并沿网络路径动态分配时间依赖的OD矩阵来捕捉真实的驾驶员行为。然而，使用固定分配矩阵被证明不足以准确表示OD矩阵与观测路段流量之间动态且随时间变化的关系。为解决这一问题，研究人员扩展了传统公式。Cremer和Keller（1987）将DODE问题表述为约束优化问题，旨在最小化估计路段流量与观测路段流量之间的平方误差以确定时间依赖的OD矩阵。Cascetta等人（1993）将问题视为基于动态交通分配模型的优化问题，使用时间依赖的路线选择比例来近似OD矩阵与观测路段流量之间的关系。Ashok和Ben-Akiva（2000）应用状态空间模型通过建模OD矩阵与历史数据的偏差来估计OD矩阵。Bierlaire和Crittin（2004）将DODE问题表述为单一优化问题，并比较了卡尔曼滤波器与更高效的最小二乘QR（LSQR）算法在求解时的性能。虽然这些方法因其计算便利性仍偶尔被重新审视和扩展（Vahidi和Shafahi，2025），但它们对拥堵和路线选择反馈的简化处理在校准拥堵网络和高分辨率仿真时可能具有局限性。这促使人们采用明确地将OD矩阵估计与动态交通分配相结合的双层优化框架。2.2. 双层优化框架求解DODE问题的另一种方法是将其表述为双层优化问题。为处理现实世界中的拥堵效应和测量误差，Yang等人（1992）认为OD矩阵估计应与均衡交通分配集成，而非单独处理。该公式基于上层决策影响下层问题、其结果随后为上层评估提供信息这一概念（Bard和Moore，1990）。上层问题旨在寻找一系列OD矩阵以最小化观测数据与仿真数据之间的差异，而下层问题是动态交通分配（DTA）问题，涉及基于用户经历的均衡旅行时间分配出行（Huo等人，2023；Shafiei等人，2018）。双层优化公式被认为是解决DODE问题的一个有前景的框架（Tavana，2001）。与寻求相互一致解的方法不同，双层公式在上层的决策中模拟下层的最优响应。其前瞻性特征引导系统趋向更全局最优的状态，从而产生更好的解（Maher等人，2001）。这种分解还提供了灵活性，允许为每一层采用专门的技术。基于该公式的多种方法已经出现。对于上层问题，已开发了同步扰动随机近似（SPSA）及其变体、贝叶斯优化（BO）及其变体等算法（Huo等人，2023；Lu等人，2015）。同时，计算技术的进步使得交通仿真得以广泛用于捕捉解决下层问题时的真实交通动态（Zhang等人，2017；Shafiei等人，2018）。此外，研究人员通过利用额外数据源（Ros-Roca等人，2022；Rao等人，2018；Krishnakumari等人，2020；Pourmoradnasseri等人，2023）、推进算法复杂性（Tang等人，2025）以及采用代理模型（Patwary等人，2021；Osorio，2019b；Min等人，2025）开发了更准确和高效的DODE方法。最近的研究进一步专注于通过利用时空结构、降维和代理辅助评估来提高高维仿真DODE的样本效率和可扩展性。例如，Peng等人提出了一种将基于时空模式的降维步骤与基于元模型的加速相结合的高效框架，以解决高维度和计算效率低的问题（Peng等人，2025）。在互补方向上，Tang等人利用动态OD矩阵中的潜在时空信息来指导校准更新，并在目标函数中纳入宏观交通关系以更好地捕捉非线性网络动态（Tang等人，2025）。相关的基于仿真的交通优化研究也强调了探索策略的重要性；Tay和Osorio提出了一种源自解析网络模型的问题感知采样机制，以在紧凑仿真预算下的高维环境中提高搜索效率（Tay和Osorio，2024）。最后，如BO4Mob等基准测试工作强调，现实网络中的OD矩阵估计构成了一个高维、随机且不可微的黑箱优化问题，这促使对可扩展算法进行系统评估（Ryu等人，2025）。关于近期方法的综合综述可见Osorio（2019b）和Huo等人（2023）的论文。2.3. 研究空白与建议方向尽管取得了上述进展，但将这些传统框架应用于校准微观仿真时揭示了一个根本性挑战。正如之前所述，序列OD矩阵与所产生的路段流量之间时间复杂且随机的关系造成了显著的信用分配问题。基于双层框架的现有方法分为两种途径：同时优化和顺序优化（Pourmoradnasseri等人，2023）。同时优化隐式处理了时间复杂性和随机性，但随着决策变量维度的增加，其计算负担巨大。相反，顺序优化降低了复杂性，但通常是短视的，在有限时域内优化而无法捕捉决策的长期后果。这造成了计算复杂性与分析短视之间的关键权衡，限制了当前方案对信用分配问题的有效性。值得注意的是，大多数最新进展主要旨在减轻优化的计算负担（例如，通过降维、结构化梯度近似和改进探索），但它们仍处于基于优化的校准范式内，直接搜索预参数化的OD需求轨迹，而并未将延迟和随机传播下的时间信用分配表述为序贯决策问题。因此，虽然这些方法可以显著提高样本效率，但当以更细的时间分辨率校准微观仿真时，复杂性-短视权衡依然存在，因为此时延迟和下游效应至关重要。为弥合这一研究空白，我们将DODE问题重新表述为序贯决策任务，并在MDP框架中进行形式化构建。这一视角与最近将DODE重新表述为最优控制问题的概念转变部分一致（Min等人，2026）。虽然可部分观测马尔可夫决策过程（POMDP）公式可以考虑用于建模未测量的微观状态，但它们需要信念状态估计并显著增加学习和规划中的计算复杂性（Hauskrecht，2000；Shi等人，2023）。在本研究中，我们采用具有精心设计状态增广和短输入时间步长的标准MDP，我们发现这足以捕捉长程效应，同时保持计算上的可行性。

这种方法与越来越多的研究成果一致，这些研究成功地将标准马尔可夫决策过程（MDP）应用于复杂的随机交通问题（Farazi等，2021年）。从概念上讲，MDP框架综合了先前两种方法的优点。它将问题分解为一系列随时间推移的决策，类似于顺序优化，从而避免了同时求解方法所面临的复杂度指数级增长问题。然而，与短视的顺序方法不同，MDP的目标是最大化长期累积奖励。这一表述方式本质上是要求模型考虑当前行动带来的延迟和下游后果，从而正式解决了信用分配问题并克服了分析上的短视性。因此，MDP提供了一条理论上合理的路径，在保持顺序过程可操作性的同时实现长期最优视角。

然而，尽管MDP提供了一个鲁棒的概念解决方案，但其实际实施受到微观模拟的挑战。状态空间维度极高——这是经典的"维度灾难"问题——且状态转移动力学难以处理且具有随机性（Mnih等，2013年）。因此，传统的MDP求解器，如动态规划，在计算上是不可行的。为了弥合理论与实践之间的差距，我们采用了一种无模型深度强化学习（DRL）方法。DRL之所以成为解决复杂MDP的最先进方法，正是因为它使用深度神经网络作为函数逼近器来处理高维状态，并且能够在没有显式转移模型的情况下，通过直接交互学习有效的策略（Farazi等，2021年）。DRL因此提供了求解所 formulated 的MDP所需的工具，使智能体能够在复杂环境中学习最优策略。

通过将MDP框架与无模型DRL方法相结合，我们展示了一条克服复杂度与短视性之间权衡的实践路径。这一综合确立了一种新的范式，使需求估计达到了先前难以处理的粒度水平，并为高保真模型标定和控制开辟了新的途径。

## 3. 方法

### 3.1. 核心概念

本研究估计OD矩阵序列，用于微观交通模拟的离线标定。主要目标是模拟检测器数据，即按5分钟间隔聚合的链路流量，确保其与真实观测数据密切匹配。一个基本挑战源于车辆级动态中固有的时间复杂性和随机关系。

输入-输出关系如图1所示，该图展示了具有相同OD对的车辆如何以不同方式影响检测器数据。例如，车辆#1和#2同时出发但选择不同的路径，导致它们在各自的检测器处被检测。相反，车辆#1和#3在不同时间步出发，但由于网络条件变化（如拥堵），在同一个时间步内被记录。任何检测器都可能无法捕获车辆#4，如果其选择的路径不经过受监控的链路，或者如果它离开网络或在模拟结束时仍在途中。这些复杂且具有随机性的结果使得将无法解析地将观测到的链路流量归因于特定的出发决策，这正是信用分配问题的核心（Arulkumaran等，2017年）。

> 下载：下载高分辨率图片（157KB）
> 下载：下载全尺寸图片

**图1. 具有相同OD对的车辆检测器数据对比。**

为了应对这一挑战，我们将DODE问题重新表述为一个顺序决策任务。该任务使用MDP框架进行正式结构化（Arulkumaran等，2017年）。我们将由车辆出发及其后续行驶驱动的网络动态表示为具有足够短时间步的离散时间系统。这种离散表示允许马尔可夫性质——即后续状态仅取决于当前状态和所选动作——作为对现实交通动态的合理近似。通过将DODE过程表述为具有随机转移的MDP，我们表征了由微观交互引起的时间复杂且具有随机性的演化过程。微观模拟器中转移核没有闭式解；相反，模拟器提供转移核的样本。

尽管MDP提供了合适的理论框架，但由于高维状态空间，其直接求解在计算上是不可行的。因此我们采用无模型DRL方法，使智能体能够通过直接与模拟环境交互来学习最优策略，如图2所示。策略将当前网络状态映射为每个OD对的调度决策。智能体的学习由最大化长期累积奖励驱动，该奖励定义为模拟数据与真实数据之间误差的负值。在训练过程中，选择能最好地再现真实数据的策略，其生成的需求输入轨迹即为最终输出。该轨迹由每个时间步中每个OD对的二值出发决策序列组成。

> 下载：下载高分辨率图片（384KB）
> 下载：下载全尺寸图片

**图2. 所提出方法的总体框架。**

以下各节详细说明了具体的MDP表述和采用的DRL算法。为促进和实现透明可重复的研究，本研究的代码和数据与社区共享（参见"数据可用性"部分）。

### 3.2. 问题陈述

#### 3.2.1. 符号说明

在呈现数学表述之前，我们定义本节中使用的关键符号。为便于参考，符号汇总于表1中。

**表1. 符号说明。**

**时间**

| 符号 | 含义 |
|------|------|
| $\mathcal{T}$ | 输入时间索引集合（$=\{1,2,\cdots,T\}$） |
| $T$ | 输入的最大索引 |

**动作**

| 符号 | 含义 |
|------|------|
| $\mathcal{A}$ | 动作空间 |
| $a$ | 覆盖整个时段的输入轨迹（$=\{a_t\}_{t=1}^T,\; a_t \in \mathcal{A}$） |
| $a^*$ | 最优输入轨迹 |
| $a_t$ | $t$时刻的OD矩阵 |

**状态**

| 符号 | 含义 |
|------|------|
| $\mathcal{S}$ | 状态空间 |
| $s$ | 所有时间步的状态轨迹（$=\{s_t\}_{t=0}^T,\; s_t \in \mathcal{S}$） |
| $s_t$ | $t$时刻的交通网络和环境状态 |
| $s_0$ | 任何输入之前的初始状态 |
| $N_l$ | 链路$l$上的车辆数 |
| $\bar{v}_l$ | 链路$l$的平均速度 |
| $v_f$ | 自由流速度 |

**检测器数据**

| 符号 | 含义 |
|------|------|
| $\mathcal{K}$ | 输出时间索引集合（$=\{1,2,\cdots,K\}$） |
| $K$ | 输出的最大索引 |
| $d$ | 覆盖整个时段的真实检测器数据（$=\{d_k\}_{k=1}^K$） |
| $d_k$ | $k$时刻的真实检测器数据 |
| $d'$ | 覆盖整个时段的模拟检测器数据（$=\{d'_k\}_{k=1}^K$） |
| $d'_k$ | $k$时刻的模拟检测器数据 |

**函数**

| 符号 | 含义 |
|------|------|
| $\mathcal{L}$ | 对应标定误差的损失函数 |
| $\mathcal{M}$ | 映射函数，定义了$\mathcal{T}$和$\mathcal{K}$之间时间关系的规则。$\mathcal{P}(\cdot)$表示任意集合的幂集。对于$T>K$，$\mathcal{M}:\mathcal{K}\to\mathcal{P}(\mathcal{T}),\;\mathcal{M}(k)=\psi(k)\subseteq\mathcal{T}$。当输入数量大于输出数量时，输出索引集映射到输入索引集的幂集。因此，该函数返回贡献输出索引$k$的输入索引$t$的集合。 |
| $\mathcal{F}$ | 由映射函数$\mathcal{M}$结构化以生成模拟检测器数据的微观模拟模型 |
| $p$ | 状态转移函数 |
| $r$ | 奖励函数 |
| $\gamma$ | 折扣因子 |

#### 3.2.2. 动态起讫点矩阵估计问题

DODE问题旨在确定一个OD矩阵输入序列，以最佳方式再现给定的真实数据集。该真实数据集由在离散时间步收集包括链路流量的检测器数据组成。在本研究中，检测器数据指每5分钟在特定链路上收集的链路流量向量。时间步$t$处的OD矩阵$a_t$表示每个OD对的流量率，即从起点节点$i$出发到达目的地节点$j$的出行，可表示为向量：

$$a_t = [a^{(1,1)}, a^{(1,2)}, \cdots, a^{(i,j)}, \cdots, a^{(\max(I),\max(J))}], \tag{1}$$

其中$a_t$是时间步$t$处的OD需求向量，$a^{(i,j)}$是从起点$i$到目的地$j$出行的流量率，$I$是起点节点索引集合（$i \in I$），$J$是目的地节点索引集合（$j \in J$）。

本研究解决的是微观模拟模型中输入轨迹估计的逆问题。在已知初始状态和一组经验检测器数据的情况下，目标是推导出最优输入轨迹$a^*$，以最小化模拟输出与观测数据之间的偏差。目标函数$\mathcal{L}$量化了这一偏差，定义为整个模拟时域上欧几里得距离的平方和，如下所示：

$$\min_{a \in \mathcal{A}} \mathcal{L}(a, s_0, d) = \|d' - d\|_2^2 = \sum_{k=1}^{K} \|d'_k - d_k\|_2^2, \tag{2}$$

其中$d'_k = \mathcal{F}(a|s_0)$对所有$k \in \mathcal{K}$成立，给定初始状态$s_0 \in \mathcal{S}$。

在本文中，我们在MDP框架内表述DODE问题，将其定义为根据当前网络状态依次确定每个OD对最优出发决策的过程。MDP由一个元组$<\mathcal{S}, \mathcal{A}, p, r, \gamma>$正式定义，包括状态空间$\mathcal{S}$、动作空间$\mathcal{A}$、状态转移函数$p$、奖励函数$r$以及折扣因子$\gamma \in [0,1]$。这种基于MDP的方法允许优化长期结果，从而解决顺序方法的短视性。此外，通过学习策略而不是同时优化整个轨迹，它规避了同时求解形式中固有的复杂性。MDP假设的经验分析见附录A。

#### 3.2.3. 状态

在MDP中，状态是智能体和环境在特定时间点的完整描述。在本研究中，状态由两个元素组成：网络状态和环境状态。首先，为保持维度一致性，我们提出了一种基于链路的网络状态，表示为包含每条链路车辆数$N_l$和链路平均速度$\bar{v}_l$的一维向量。链路车辆数（$N_l$）编码了车辆在链路上的瞬时分布，这是网络内车辆累积和排队形成的直接代理。链路平均速度（$\bar{v}_l$）提供了拥堵状态及其传播的紧凑表示，反映了当前网络负荷如何影响后续步骤的未来运动和旅行时间。共同地，$(N_l, \bar{v}_l)$作为网络条件的基于链路的快照，模拟器使用它来向前推进车辆。

此外，提出了一种环境状态，为智能体提供关于标定目标的环境信息。环境状态由当前时间步和检测器数据记忆组成。首先，时间步索引为智能体提供时间信息。虽然它不直接提供需要拟合的目标信息，但它有助于智能体通过训练发现隐式奖励函数。其次，检测器数据记忆通过指示在每个检测间隔内每个检测器检测到了多少车辆，提供关于目标已完成多少的信息。每当检测器数据聚合完成并更新时，该记忆初始化为零向量。状态配置通过考虑当前网络状态、当前目标值以及目标已完成多少，来确定向哪些OD对输入多少需求。

图3展示了一个状态的示例。该图解释了在智能体需要在时间步$t$采取动作$a_t$时如何构造状态$s_t$。$s_t$完全取决于时间步$t-1$模拟中的最后一个快照，这是车辆在输入间隔内沿时间依赖最短路径行驶的结果。我们从最后一个快照中提取网络状态和环境状态，然后展平并拼接以创建$s_t$。在此，无车辆的链路的平均速度假设为自由流速度$v_f$。在此示例中，网络由12条链路组成，安装了两个检测器；因此，网络状态的维度为24，环境状态的维度为3。因此，状态的维度为27。关于状态设计的实验和讨论见附录B。

> 下载：下载高分辨率图片（342KB）
> 下载：下载全尺寸图片

**图3. 状态描述。**

#### 3.2.4. 动作

在所提出的方法中，输入间隔被设置为5秒的短间隔。这降低了当前状态和下一状态之间发生不可观测事件的概率，从而提高了MDP框架的稳定性。根据这一实验设置，智能体只需决定是否在当前步骤为每个OD对调度一辆车辆。OD矩阵$a_t$的所有元素取值为0或1，使其可以表示为一个展平的向量。

#### 3.2.5. 状态转移概率

状态转移概率$p(s_{t+1}|s_t, a_t)$是一个函数，表示在当前状态$s_t$采取特定动作$a_t$时转移到下一状态$s_{t+1}$的概率。在DODE问题中，该函数描述了在给定交通条件下输入新的OD矩阵时交通条件如何变化。该转移过程使用微观交通模拟来完成。因此，转移函数不是显式已知的，被视为一个黑盒函数。这就是需要无模型强化学习方法的原因。

#### 3.2.6. 奖励

在本问题中，奖励$r_t$由模拟链路流量向量$d'_k$与真实链路流量向量$d_k$之间的差值定义。由于输入间隔被设置为较短时间，我们的表述对应于$T > K$的情况。

奖励函数可以写为：(3)$r_t = \begin{cases} 0 & (t \neq \max(\psi(k))) \\ -\|d'_k - d_k\|_2^2 & (t = \max(\psi(k))) \end{cases}$，受 $d'_k \mathcal{F}(a_{\psi(k)} | s_{\min(\psi(k))-1})$ 的约束，其中给定状态 $s_{\min(\psi(k))-1} \in \mathcal{S}$ 且 $a_{\psi(k)} \in \mathcal{A}_{|\psi(k)|}$。需要注意的是，在我们的框架中，输入区间和输出区间通常不同，因此我们引入了一个映射函数 $\mathcal{M}$。例如，当输入周期为5秒且输出周期为300秒时，映射函数为 $\mathcal{M} = \psi(k=1) = \{t \in \mathbb{Z} \mid 1 \leq t \leq 60\}$。在这种情况下，奖励 $r_t$ 除了 $r_{60}$（即生成输出时）外均为零。为了将对累积奖励最大化的强化学习目标与最小化该偏差的目标对齐，我们简单地定义奖励为误差的负值。

**3.2.7 折扣因子**

折扣因子 $\gamma$ 是0到1之间的一个值，用于决定未来奖励的现值。当 $\gamma = 0$ 时，智能体表现出短视行为，只考虑即时奖励。相反，当 $\gamma \to 1$ 时，智能体变得更加具有远见，对当前奖励和未来奖励赋予同等重视。在本文中，我们使用 $\gamma = 0.99$ 以强调长期奖励并促进稳定学习。

**3.3 用于DODE问题的深度强化学习**

智能体的行为由策略 $\pi(a_t | s_t)$ 描述，它将每个状态 $s_t$ 映射为动作 $a_t$ 上的一个概率分布。强化学习的目标是找到一个最优策略 $\pi^*$，以最大化折扣奖励的期望总和，也称为回报。该目标可以正式写为：

(4) $\pi^* = \arg\max_\pi J(\pi) = \arg\max_\pi \mathbb{E}_{\tau_\pi}\left[\sum_{t=1}^{T} \gamma^{t-1} r_t\right]$

其中 $\tau = (s_0, a_1, s_1, a_2, \cdots)$ 是遵循策略 $\pi$ 生成的轨迹。

为了解决该问题，我们采用多二进制PPO，这是PPO算法的一种变体，其特点是采用了因式分解的伯努利策略头。PPO是一种著名的无模型DRL算法（Schulman等人，2017）。该算法直接参数化并优化策略 $\pi_\theta(a_t | s_t)$，其中 $\theta$ 代表策略的参数。PPO利用演员-评论家架构。演员作为策略网络 $\pi_\theta(a_t | s_t)$ 来选择动作。评论家由价值网络 $V_\phi(s_t)$ 表示，其参数为 $\phi$，通过估计状态的预期回报（状态价值）来评估状态的质量。

我们将动作建模为一个多二进制向量：演员将每个状态映射到一个 $n$ 维的logits向量，应用sigmoid函数以获得每个分量的概率，然后从伯努利分布中为每个OD对的出发决策采样一个二值结果。这定义了一个因式分解的策略，其各分量在给定状态条件下是条件独立的。虽然可以将 $\{0,1\}^n$ 视为一个包含 $2^n$ 个联合动作的单分类空间，但该方法会导致参数化和探索的组合爆炸。相比之下，所提出的因式分解伯努利头在策略输出维度和参数数量方面随OD对数量线性扩展，具有更好的可扩展性。尽管因式分解假设了条件独立性，但共享的骨干网络仍然可以通过共享特征来考虑隐式依赖关系。该因式分解动作头近似可能带来的偏差和性能影响在附录C中通过与联合分类PPO头在独立、分组和完全耦合的OD需求场景下进行比较进行了实证检验。

为引导演员学习，PPO使用优势估计 $\hat{A}_t$，它量化了在状态 $s_t$ 下给定动作 $a_t$ 相比于平均动作好多少。我们使用GAE来计算该优势，GAE通过平衡即时奖励和评论家的长期价值预测来提供低方差估计。为提高稳定性，优势在每个批次内进行归一化。

在PPO中，演员和评论家通常通过优化单一的复合目标函数来联合训练。该目标由三个主要部分组成：用于策略的截断代理目标（$L_{\text{CLIP}}$）、价值函数的误差项（$L_{\text{VF}}$），以及鼓励探索的熵奖励项。它们的公式如下：

(5) $L_{\text{CLIP}}(\theta) = \mathbb{E}_t\left[\min\left(r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t\right)\right]$

(6) $L_{\text{VF}}(\phi) = \mathbb{E}_t\left[(V_\phi(s_t) - V_t^{\text{target}})^2\right]$

(7) $L_{\text{PPO}}(\theta, \phi) = -\mathbb{E}_t\left[L_{\text{CLIP}}(\theta) - c_1 L_{\text{VF}}(\phi) + c_2 \mathcal{H}[\pi_\theta(\cdot | s_t)]\right]$

其中 $\hat{A}_t$ 是优势估计，$r_t(\theta)$ 是新策略与旧策略之间的概率比率，$\epsilon$ 是截断范围，$V_t^{\text{target}}$ 是评论家的目标值，计算为 $V_t^{\text{target}} = \hat{A}_t + V_\phi(s_t)$，$\mathcal{H}[\pi]$ 是策略熵，$c_1$ 和 $c_2$ 分别是价值函数损失和熵奖励的系数。

该目标函数通过惩罚落在 $[1-\epsilon, 1+\epsilon]$ 区间之外的概率比率 $r_t(\theta)$ 来防止策略过度更新。当PPO应用于DODE问题时，演员网络学习基于状态 $s_t$ 进行OD车辆出发决策 $a_t$ 的策略。评论家提供对状态的评估，由此产生的优势函数 $\hat{A}_t$ 为信用分配提供了具体依据。在此基础上，PPO通过稳定的更新逐步改进需求生成策略，旨在最小化整个分析期间的检测器数据误差。

选择PPO是有意为之的，也是解决微观DODE问题挑战的核心所在。首先，截断代理目标（$L_{\text{CLIP}}$）对于确保学习稳定性至关重要。微观模拟本质上是随机的，意味着相似状态下的相同动作可能导致不同的结果。截断机制施加的信任区域防止策略对此噪声过度反应，从而在实验中观察到更加可靠和单调的改进。其次，在演员-评论家框架中使用GAE直接应对了长期信用分配问题。由于奖励仅提供每5分钟（基于聚合的路段流量）一次，而动作每隔5秒执行一次，GAE使智能体能够正确评估其精细化决策的长期后果，使其成为该问题的非常合适的选择。

**3.4 计算设置**

所有实验都在一台配备AMD Ryzen Threadripper PRO 5975WX CPU（32个物理核心和64个逻辑处理器）和128 GB RAM的工作站上进行。所提出的方法使用多个独立的SUMO环境收集模拟经验。每个环境在单独的Python子进程中运行，产生的经验同步聚合用于PPO更新。小实验使用了20个并行模拟环境，而案例研究使用了30个。这种向量化展开架构非常适合PPO，因为来自多个独立随机环境的轨迹可以纳入每次策略更新中。所获得经验结果的多样性可以支持更稳定的策略更新，同时通过并行模拟减少周转时间。相比之下，在每次试验中，本文研究中实现的传统方法使用单个SUMO环境一次评估一个候选解。因此，报告的壁钟时间反映了所评估的实现方式及其不同的并行程度，不应被解释为聚合计算成本。

**4. 小实验**

**4.1 实验设置**

我们构建了一个小实验来评估所提方法的有效性。Nguyen-Dupuis网络，包含4个OD对、13个节点和19条有向路段，被选作简单的实验设置以比较方法论的有效性（Nguyen和Dupuis，1984）。每条路段被假设为单车道。为了确保OD矩阵的影响在较宽的时间范围内明显，我们将所有路段长度乘以3倍。我们假设在图4所示网络的部分路段上存在虚拟检测器。这9个检测器每5分钟统计通过每条路段的车辆数量。

下载：下载高分辨率图片（218KB） 下载：下载全尺寸图片 图4. Nguyen和Dupuis网络。

使用SUMO进行微观交通模拟（Barceló，2010）。所有超参数均设置为SUMO的默认值。例如，所有车辆被实现为小轿车，使用Krauss模型作为跟车模型。此外，加速度为2.6 m/s2，减速度为4.5 m/s2。在路径分配方面，每5秒为所有车辆更新时间依赖最短路径，并使它们遵循该路径。

真值检测器数据按以下流程生成。首先，定义分析时段。在本研究中，我们测量9条路段每5分钟的流量，持续30分钟，生成一个6行9列的真值数据集。其次，确定在定义的分析期间内输入目标网络的车辆总数。为了生成真值数据，在整个30分钟分析期间共创建了300辆车。对于每个5秒的时间步，为每个OD对概率性地做出出发决策。结果，我们需要通过OD矩阵估计来拟合的观测数据如表2所示。

**表2. 真值检测器数据。**

| 时间(mm:ss) | 路段流量(辆/5分钟) | D1 | D11 | D12 | D15 | D16 | D19 | D3 | D7 | D8 |
|---|---|---|---|---|---|---|---|---|---|---|
| 00:00–04:59 | | 1 | 2 | 0 | 1 | 0 | 7 | 7 | 0 | 9 |
| 05:00–09:59 | | 1 | 3 | 1 | 0 | 1 | 7 | 2 | 7 | 1 |
| 10:00–14:59 | | 3 | 3 | 9 | 1 | 9 | 1 | 6 | 1 | 0 |
| 15:00–19:59 | | 6 | 1 | 6 | 8 | 1 | 7 | 1 | 4 | 5 |
| 20:00–24:59 | | 5 | 1 | 4 | 1 | 6 | 1 | 7 | 7 | 1 |
| 25:00–29:59 | | 0 | 4 | 1 | 5 | 2 | 3 | 1 | 2 | 6 |

在本研究中，对比方法大致分为三类。第一种方法基于假设的真实需求使用不同随机种子重现检测器数据。第二种是同时优化方法。第三种是顺序优化方法。为了展示现有方法的局限性，我们分别采用了传统的5分钟输入区间和所提方法的5秒输入区间进行基准测试。对于优化算法，采用了在优化高成本目标函数方面表现良好的贝叶斯优化（BO）（Frazier，2018）。此外，我们还采用了各种黑盒优化技术——包括SPSA、微分进化（DE）和协方差矩阵自适应进化策略（CMA-ES）——应用于5分钟区间的同时优化并比较结果。各方法的详细说明见表3。

**表3. 方法描述。**

| 方法 | 索引 | 缩写 | 方法 | 算法 | 迭代次数 | 搜索空间 |
|---|---|---|---|---|---|---|
| 1 真实需求 | — | — | — | — | — | — |
| 2 RL-PPO | | DRL | PPO | 75次/环境 | [0, 1]$^n$ | |
| 3 ST-BO (5分钟) | | 同时优化 | BO | 300 | [0, 60]$^n$ | |
| 4 ST-BO (5秒) | | | | | [0, 1]$^n$ | |
| 5 SQ-BO (5分钟) | | 顺序优化 | | | [0, 60]$^n$ | |
| 6 SQ-BO (5秒) | | | | | [0, 1]$^n$ | |
| 7 ST-SPSA (5分钟) | | 同时优化 | SPSA | 600 | [0, 60]$^n$ | |
| 8 ST-DE (5分钟) | | | DE | 9 | | |
| 9 ST-CMA-ES (5分钟) | | | CMA-ES | | | |

| 超参数 | 算法 | 超参数 | 值 |
|---|---|---|---|
| PPO | 学习率 | 3 × 10?? | |
| | Gamma | 0.99 | |
| | 步数 | 180 | |
| | GAE的Lambda | 0.95 | |
| | 熵系数 | 0.01 | |
| BO | 初始点数 | 0 | |
| | 采集函数 | 期望改进 | |
| | 高斯过程核 | Matérn (ν = 2.5) | |
| | 高斯过程alpha | 1 × 10?? | |
| SPSA | Alpha | 0.602 | |
| | Gamma | 0.101 | |
| | 学习率 | 3.0 | |
| | 扰动大小 | 2.0 | |
| DE | 种群大小 | 24 | |
| | 微分权重 | 0.8 | |
| | 抖动 | (0.5, 0.9) | |
| | 交叉率 | 0.9 | |
| CMA-ES | 种群大小 | 16 | |
| | Sigma | 12.0 | |

*注：n为OD对的数量。

**4.2 结果**

为了评估所提方法的性能，比较了表3中的九种方法。每种方法在相同的实验设置下运行五次。由于研究目的是离线标定，主要考虑误差最低的点。我们保存了每次试验中获得最大奖励的OD矩阵，然后在获得的OD矩阵上使用不同种子运行模拟，以公平地重新计算每种方法的平均最大奖励。

图5(a)显示了所提方法每集的奖励趋势。粗线代表平均值，阴影区域代表平均值与标准差之间的范围。虚线显示真实需求场景的平均最大奖励。真实需求场景的最大奖励不为零，这是因为微观动力学以及不同的随机种子导致了不同的车辆路径结果。

下载：下载高分辨率图片（255KB） 下载：下载全尺寸图片 图5. (a) 所提方法的奖励图；(b) 各方法在最高奖励、耗时壁钟时间和模拟预算方面的比较。

图5(b)绘制了每种方法的平均最大奖励、平均壁钟时间和计算预算。基于平均最大奖励，结果如下：真实需求 ?122.98，RL-PPO ?180.29，ST-BO (5分钟) ?236.27，ST-BO (5秒) ?1,996.84，SQ-BO (5分钟) ?294.02，SQ-BO (5秒) ?2,096.76，ST-SPSA (5分钟) ?848.22，ST-DE (5分钟) ?380.29，以及ST-CMA-ES (5分钟) ?270.44。这一结果表明，我们的方法在降低路段流量误差方面比表现最佳的现有方法提升了23.69%（从?236.27到?180.29）。DRL需要大量与环境交互，导致计算预算较高。然而，在使用PPO算法时，可以在单个策略中进行多次并行交互，从而降低壁钟时间。因此，所提方法同时实现了最小壁钟时间和最大奖励。

如本文开头所强调的，结果揭示了现有方法的多种局限性。首先，ST-BO (5秒) 表现近乎最差，与ST-BO (5分钟) 表现第二好形成鲜明对比。这突出了同时优化方法的复杂性，即尽管维度增加了60倍，仍然同时估计所有决策变量。其次，SQ-BO (5分钟) 表现不如ST-BO (5分钟)，表明当输入维度较小时，同时探索所有决策变量以避免信用分配问题比短视地估计OD矩阵更为合适。最后，SQ-BO (5秒) 和ST-BO (5秒) 表明减少时间输入单位是不利的。我们的方法通过MDP建模和DRL解决微观交通模拟中的DODE问题，同时通过降低时间输入单位并在更高分辨率下调整需求来实现最佳性能。

图6展示了各方法重现数据的散点图。每个子图的x轴表示真值，y轴表示模拟值。在该图中，R2表示皮尔逊相关系数的平方。

下载：下载高分辨率图片（983KB） 下载：下载全尺寸图片 图6.

基于各方法估计的OD矩阵的探测器数据散点图。图7展示了一组性能与稳定性指标，包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）、误差标准差（SDE）、绝对误差的95百分位数（P95 AE）、最大绝对误差（MaxAE）、平均偏差误差（MBE）以及决定系数（R2）。

图7. 各方法的多指标性能与稳定性对比。

综合来看，这些指标评估了各子图中所有评估点上复现链路流量的准确性与稳定性。MSE和RMSE分别表示平方误差的平均幅值及其平方根，而MAE衡量模拟流量与真实流量之间的平均绝对偏差。MAPE以百分比表示相对误差，在计算时排除了真实值为零的点以确保数值稳定性。SDE量化误差分布的离散程度，P95 AE和MaxAE分别代表高百分位偏差和最大偏差，MBE则反映模型是否系统性地高估或低估链路流量。最后，R2衡量复现的链路流量对真实数据变异的解释程度。

一个值得注意的观是，微观交通仿真本质上具有随机性，即使在相同的真实需求条件下，链路流量也会出现相当大的波动（MSE = 20.50 (veh/5min)2，MAPE = 33.15%）。所提方法实现了30.05 (veh/5min)2的MSE和41.60%的MAPE，与真实需求情形非常接近。这些结果表明，我们的方法在链路级动态的复现精度和随机稳定性方面均与真实需求相当（SDE = 5.47，R2 = 0.44）。相比之下，传统方法如ST-BO（5分钟）和SQ-BO（5分钟）显示出更高的误差（MSE分别为39.38和49.00 (veh/5min)2，MAPE分别为48.83%和53.67%），表明其估计的OD矩阵经常高估或低估链路流量。

尽管同时优化通过联合调整所有时间步输入隐式地考虑了复杂的时间与随机依赖关系，但其计算复杂度随决策变量数量的增加而迅速增长，降低了搜索效率和精度。顺序优化虽然降低了问题的维度，但本质上具有短视性，因此在随机环境中难以捕捉长期时间依赖关系。相比之下，本研究提出的基于MDP的DRL框架在执行自适应逐步决策的同时，显式评估了每个动作的长期后果。这种框架允许在高度随机且时间相关的交通系统中进行更有效的信用分配。因此，所提出的RL-PPO方法在微观环境中相比其他方法展现出更强的精度和稳定性。

我们使用双单侧检验（TOST）程序评估了每种校准仿真输出与具有真实OD矩阵的参考仿真之间的探测器级实际等价性。设$y_{r,t,d}$表示参考探测器输出，$\hat{y}_{r,t,d}$表示候选方法在时间$t$、探测器$d$和试验$r$（即在随机初始化不同的独立运行）下的输出。对于每个随机种子和探测器，我们计算了时间平均的符号误差：

(8) $e_{r,d} = \frac{1}{T} \sum_{t=1}^{T} (\hat{y_{r,t,d}} - y_{r,t,d})$

并检验平均误差$\mu_d = \mathbb{E}[e_{r,d}]$是否落在预先指定的等价边界$[-\Delta_d, +\Delta_d]$内。在我们的实验中，对所有探测器使用了绝对边界$\Delta_d = 5.0$，显著性水平$\alpha = 0.05$。对于每个探测器$d$，TOST通过两个单样本单侧$t$检验实现：(i) $H_{0,1}: \mu_d \leq -\Delta_d$ 对 $H_{1,1}: \mu_d > -\Delta_d$ 以及 (ii) $H_{0,2}: \mu_d \geq +\Delta_d$ 对 $H_{1,2}: \mu_d < +\Delta_d$。仅当两个零假设均被拒绝时（即两个单侧$p$值均小于$\alpha$），该方法才在探测器$d$处被判定为等价。我们额外报告了$\mu_d$的90%置信区间，与$\alpha = 0.05$下的TOST一致，并将其与等价带一起可视化；同时叠加了每次试验的误差点以说明运行间的变异性。如图8所示，RL-PPO对所有探测器均满足等价性，而每种基线方法至少在一个探测器上未通过等价性检验。

图8. 探测器级TOST等价性检验结果（带符号的链路流量误差，$\alpha = 0.05$，$\Delta_d = 5.0$）。

### 4.3 正则化扩展

本节介绍了所提方法的一种扩展，以解决DODE问题中的多解问题。在实际的OD矩阵估计任务中，获取真实的OD需求值通常具有挑战性。因此，链路流量的拟合结果常被用作估计性能的间接指标。然而，由于可能存在多个产生相似链路流量的解，链路流量的低误差并不必然意味着准确的OD矩阵估计，这是一个局限性。该扩展仅在玩具实验中进行了评估，其中真实OD矩阵可用，可以从OD恢复和链路流量拟合两个角度直接评估正则化的效果。

在我们之前的实验中，我们假设OD矩阵之间相互独立，没有任何先验信息。如果我们对OD矩阵的时间连续性或每个OD对的需求比例有所了解，我们可以通过添加正则项来约束向量变化的幅度或方向，从而估计出更好的OD矩阵。在这种情况下，可以根据信息的可靠性设置不同的权重。该扩展包含两项修改：奖励函数和状态表示。首先，我们将代理的动作在时间块中进行累积。第$k$个时间块内的累积OD矩阵$A_k$是该时段内需求的总和，根据表1中的符号定义如下：

(9) $A_k = \sum_{\min(\psi(k))}^{\max(\psi(k))} a_t$

然后，我们在公式(3)的奖励函数中添加幅度惩罚和方向惩罚，以惩罚代理行为的突变：

(10) $r_t = -w_1 \Delta_{det} - w_2 \Delta_{OD} - w_3 \theta_{OD}$

其中$t = \max(\psi(k))$，$\Delta_{det} = \|d'_k - d_k\|_2^2$，$\Delta_{OD} = \|A_k - A_{k-1}\|_1$，$\theta_{OD} = \arccos\frac{A_k \cdot A_{k-1}}{\|A_k\|\|A_{k-1}\|}$，$w_1 = 1.0$，$w_2 = 0.2$，$w_3 = 30.0$。$\Delta_{OD}$鼓励代理逐步增加或减少需求，而$\theta_{OD}$鼓励OD需求的空间分布与前一时间块的分布相似。

此外，状态表示也需要修改，因为代理需要关于之前步骤中选择了哪些动作的记忆信息，以便根据修改后的奖励函数来改进奖励。如图9所示，我们将前一时间块的累积OD矩阵和当前时间块截至目前的累积OD矩阵包含在动作状态中，并将其提供给代理。

图9. 状态表示的扩展。

图10显示了估计的OD矩阵结果。x轴代表OD对索引，y轴代表时间索引。单元格的值是每种方法在达到最大奖励时获得的OD需求的平均值。表4定量展示了真实需求与估计OD矩阵之间的相似度。所使用的评估指标包括：MSE（表示绝对尺度误差）、余弦相似度（衡量整体分布比例的一致性）、平均结构相似度指数（MSSIM）（Djukic, 2014）（评估局部空间结构的平滑性）以及OD矩阵的归一化Levenshtein距离（NLOD）（Behara等人, 2020）（同时考虑偏好排序和需求误差）。

图10. 真实与估计OD矩阵的热力图。

表4. 真实与估计OD矩阵的定量相似度（MSE、余弦相似度、MSSIM和NLOD）

| 方法 | MSE | 余弦相似度 | MSSIM | NLOD |
|------|-----|-----------|-------|------|
| RL-PPO（扩展版） | 6.48 | 0.982 | 0.777 | 0.237 |
| RL-PPO | 11.14 | 0.967 | 0.661 | 0.313 |
| ST-BO (5分钟) | 45.57 | 0.884 | 0.432 | 0.399 |
| ST-BO (5秒) | 255.52 | 0.957 | 0.210 | 0.602 |
| SQ-BO (5分钟) | 55.94 | 0.882 | 0.245 | 0.527 |
| SQ-BO (5秒) | 252.81 | 0.951 | 0.200 | 0.549 |
| ST-SPSA (5分钟) | 105.40 | 0.926 | 0.219 | 0.466 |
| ST-DE (5分钟) | 57.16 | 0.871 | 0.063 | 0.492 |
| ST-CMA-ES (5分钟) | 38.64 | 0.891 | 0.189 | 0.547 |

RL-PPO系列总体上记录了较低的MSE和较高的余弦相似度，以相对较高保真度复现了真实OD矩阵的总量和整体分布模式。值得注意的是，RL-PPO（扩展版）显示出最小的误差，MSE为6.48，其余弦相似度也为最高，达到0.982，展示了需求分布比例方面最佳的整体一致性。从结构相似度的角度来看，RL-PPO（扩展版）的改进也清晰可见。RL-PPO（扩展版）显著增强了局部结构相似度，MSSIM为0.777，同时基于目的地偏好的结构误差最小，NLOD为0.237。相比之下，基线RL-PPO在MSE方面表现良好（11.14），但在MSSIM（0.661）和NLOD（0.313）方面相对处于劣势，表明减少尺度误差并不总能带来结构保持。

### 5. 案例研究

#### 5.1 实验设置

为评估所提方法在真实网络中的有效性，我们进行了一项案例研究。我们选择了美国加州圣克拉拉和圣何塞的一部分网络。该网络位于880号州际公路、101号美国国道和87号加州州道交汇处，并已被用于DODE问题基准测试（Ryu等人, 2025）。该区域的纬度范围为(37.344, 37.396)，经度范围为(?121.956, ?121.870)。该网络由245个节点和281条链路组成。该网络包含240个OD对和40个探测器，但我们通过三个不同的案例进行了实验，以检验所提方法的性能如何随OD对数量或探测器数量的变化而变化。这些案例如图11所示。

图11. 使用真实网络的实验案例。

我们获取了加州交通局性能测量系统（PeMS）的数据，时间段为2026年1月26日04:00至04:30（加州交通局）。在此期间，可以观察到交通量从非拥堵状态逐步增加到早高峰状态的过程。在实际应用中，精确的真实OD需求矩阵通常是不可观测的。因此，遵循OD矩阵估计研究的标准做法，现场实验通过估计的OD需求输入对观测到的探测器链路流量的复现能力进行评估。该评估应被理解为基于观测的OD需求估计现场评估，而非对OD矩阵唯一性或精确恢复的证明。我们框架中估计的变量仍然是时间依赖的OD需求；链路流量仅作为通过这些输入经仿真产生的可观测后果。

PPO超参数根据每个实验设置的规模和时序特征进行了调整。玩具网络的OD维度较小且信用分配周期相对较短，因此标准的PPO配置配合适中的rollout长度和熵正则化即可满足需求。相比之下，案例研究网络涉及更大的OD空间、更嘈杂的探测器响应以及OD动作与观测链路流量之间更长的延迟效应。因此，我们使用了更长的rollout、更大的批次、更高的折扣因子和更保守的学习率来稳定策略更新。

#### 5.2 结果

结果通过重复五次不同随机种子的过程获得。图12报告了RL-PPO在三个案例中的奖励曲线，以30个并行环境中回合回报的均值±标准差绘制。在所有案例中，策略均表现出稳定的提升，而随着问题规模增大，收敛速度变慢。我们将RL-PPO与ST-BO（5分钟）进行对比，后者是玩具实验中表现最佳的常规基线方法。RL-PPO所需时间为162.68分钟（案例I）、255.56分钟（案例II）和927.09分钟（案例III），而ST-BO（5分钟）所需时间为183.47分钟（案例I）、480.06分钟（案例II）和1,450.24分钟（案例III）。

图12. 所提方法的奖励曲线（按实验案例，案例研究）。

图13对比了两种方法的探测器流量拟合情况。表5汇总了时钟时间和误差指标。表5中报告的误差指标是通过汇总五次评估运行的输出计算得出的合并点估计值。基于使用相同随机种子的五次配对评估，RL-PPO与ST-BO之间在MSE、RMSE、MAE和R2上的差异在所有三个案例中均具有统计显著性（双侧配对t检验，所有$p \leq 0.0124$）。RL-PPO在案例I中将MSE从495.53降低至201.97，在案例II中从505.07降低至175.73，在案例III中从4,710.99降低至550.11，分别对应59.2%、65.2%和88.3%的降幅。RL-PPO在MSE之外的RMSE、MAE和R2方面同样表现出优于基线的优异性能。

图13. 基于各方法估计OD矩阵的探测器数据散点图（案例研究）。

表5. 按案例和方法对比时钟时间与校准性能

| 类别 | 子类别 | 案例I（42 OD对，4探测器） | 案例II（42 OD对，8探测器） | 案例III（132 OD对，19探测器） |
|------|--------|------------------------|------------------------|----------------------------|
| 经过时钟时间（分钟） | RL-PPO | 162.68 | 255.56 | 927.09 |
| | ST-BO（5分钟） | 183.47 | 480.06 | 1,450.24 |
| MSE | RL-PPO a | 201.97 | 175.73 | 550.11 |
| | ST-BO（5分钟） b | 495.53 | 505.07 | 4,710.99 |
| 每个探测器的MSE | RL-PPO | 50.49 | 21.97 | 28.95 |
| | ST-BO（5分钟） | 123.88 | 63.13 | 247.95 |
| MSE相对降幅 | value = 100(b?a)/b | 59.2% | 65.2% | 88.3% |
| RMSE | RL-PPO | 14.21 | 13.26 | 23.45 |
| | ST-BO（5分钟） | 22.26 | 22.47 | 68.64 |
| MAE | RL-PPO | 9.04 | 10.05 | 18.73 |
| | ST-BO（5分钟） | 17.27 | 17.32 | 51.93 |
| R2 | RL-PPO | 0.913 | 0.928 | 0.878 |
| | ST-BO（5分钟） | 0.787 | 0.767 | 0.257 |

RL-PPO在所有三个案例中均持续优于ST-BO（5分钟），但不同案例的改进来源不同。比较案例I和案例II可以分离探测器覆盖度的效应，因为OD维度保持在42对不变。

将检测器数量从4个增加到8个可改善标定拟合效果：RL-PPO将原始MSE从201.97降至175.73，将每个检测器的归一化误差从50.49降至21.97，并将R2从0.913提升至0.928。尽管由于智能体需要匹配更大的检测器流量目标集，墙钟时间从162.68分钟增加到255.56分钟，但RL-PPO仍显著快于ST-BO（5分钟），后者的墙钟时间从183.47分钟增加到480.06分钟。相对于ST-BO的MSE降幅也从59.2%提升至65.2%。这些结果表明，额外的检测器覆盖度改善了标定问题的可辨识性，且所提出的方法能够比基线方法更有效地利用额外的观测数据。对比案例II和案例III可进一步检验当OD维度和检测器覆盖度同时增加时的可扩展性。如预期般，在更大规模的设置中，绝对计算负担有所增加；然而，RL-PPO的相对优势变得更加显著而非减弱。在包含132个OD对和19个检测器的案例III中，RL-PPO将MSE从4,710.99降至550.11，降幅达88.3%，并将R2从0.257提升至0.878。同时，相对于ST-BO（5分钟），墙钟时间从1,450.24分钟降至927.09分钟。这表明随着标定问题复杂度的提升，所提出的方法变得更加 advantageous，因为其学习到的策略能够做出依赖状态的序贯决策，而非反复在高维OD矩阵上进行搜索。尽管如此，在最大案例中的绝对训练时间仍然不可忽略，因此仍需在动作空间结构化、OD聚类、分层控制以及奖励分解等方面进行进一步研究，以实现其在更大规模城市网络中的部署。

6. 结论

本研究提出了一种基于强化学习的OD矩阵估计方法，以解决DODE中微观交通仿真长期存在的信用分配问题。我们通过将DODE问题重新定义为MDP框架下的问题，并应用无模型深度强化学习来推导考虑长期随机效应的最优OD输入序列，从而克服了传统方法的局限性——即同时优化的复杂性和序贯优化的短视性。

实验结果表明，我们的方法在误差方面显著优于现有的同时优化和序贯优化方法。在玩具网络中，与表现最好的基线相比，我们的方法将链路流量MSE降低了23.7%。基于PeMS数据的真实世界高速子网案例研究表明，该方法能够超越玩具实验的范畴，在所测试的网络规模内提升链路流量标定性能。在三个案例中，我们的方法相对于基线将链路流量MSE最多降低了88.3%，并在提高拟合精度的同时实现了更低的墙钟时间。

本研究的核心贡献在于针对DODE问题提出了一种新颖的基于强化学习的方法，克服了现有优化方法中高维性与短视决策之间固有的权衡。所提出的MDP和DRL框架通过评估每个动作的长期影响来应对微观仿真的复杂性和随机性，从而解决了DODE中的信用分配问题。该方法的有效性得到了多二进制PPO的支持，其截断代理目标有助于在仿真噪声和延迟奖励存在的情况下稳定策略更新。总体而言，所提出的框架为微观仿真中的高分辨率OD需求标定提供了一种有前景的方法，并为未来可扩展标定和运营应用的工作奠定了基础。

未来研究建议专注于提高可扩展性和效率。有前景的方向包括学习简洁的状态表示、通过OD聚类或分层需求控制等方法结构化动作空间，以及采用多样化或多目标奖励塑造。另一个方向是部分可观测性。在本实验中，我们使用链路计数和速度经验性地验证了近似MDP表述；然而，我们的系统对于单个车辆的精确位置、速度和路线仍属于部分可观测。在这种情况下，DODE更自然地表述为POMDP，这意味着需要记忆和信念状态估计。整合循环策略和显式状态估计模块以融合多种数据源是提升在现实约束下鲁棒性和可迁移性的有前景路径。

作者贡献声明

Donggyu Min：撰写——审阅与编辑，撰写——初稿，可视化，方法学，调查研究，形式分析，概念化。Seongjin Choi：撰写——审阅与编辑，撰写——初稿，方法学，形式分析。Dong-Kyu Kim：撰写——审阅与编辑，撰写——初稿，指导，方法学，资金获取，概念化。

Donggyu Min | Seongjin Choi | Dong-Kyu Kim