学习如何利用基于物理知识的、不受模型约束的机器学习方法来绘制宏观基本图(macroscopic fundamental diagram)

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:Learning to learn the macroscopic fundamental diagram using physics-informed and model agnostic machine learning

【字体: 大 中 小 】 时间:2026年05月08日 来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 7.9

编辑推荐:

  阿玛莉·罗克(Amalie Roark)、塞里奥·阿格里埃斯蒂(Serio Agriesti)、弗朗西斯科·卡马拉·佩雷拉(Francisco Camara Pereira)、吉多·坎特尔莫(Guido Cantelmo) 丹麦技术大学,Kgs. Lyngby,2800,丹麦

  阿玛莉·罗克(Amalie Roark)、塞里奥·阿格里埃斯蒂(Serio Agriesti)、弗朗西斯科·卡马拉·佩雷拉(Francisco Camara Pereira)、吉多·坎特尔莫(Guido Cantelmo)
丹麦技术大学,Kgs. Lyngby,2800,丹麦

**摘要**
宏观基本图(Macroscopic Fundamental Diagram,简称MFD)是一种常用的工具,用于以聚合方式描述交通动态,其应用范围从交通控制到事故分析。然而,估算给定网络的MFD需要大量的环路检测器,而这在实际中并不总是可行的。本文提出了一种框架,通过利用元学习(Meta-Learning)来缓解数据匮乏的问题。元学习是机器学习的一个子类别,它训练模型能够自主理解和适应新任务。我们使用元学习从数据丰富的城市中识别并利用可迁移的模式,以帮助那些数据不足的城市估算MFD。所开发的模型通过利用多个城市的数据进行训练和测试,并据此模拟其他具有不同检测器数量和拓扑结构城市的MFD。所提出的元学习框架被应用于一个专门为估算MFD设计的多任务物理信息神经网络(Multi-Task Physics-Informed Neural Network)。结果显示,在不同城市的流量预测中,平均平均绝对误差(MAE)提高了约50%(具体取决于测试的环路检测器子集)。因此,元学习成功地在不同的城市环境中进行了泛化,并在数据有限的城市中提高了性能,展示了在检测器数量有限时使用元学习的潜力。我们通过将元学习的结果应用于未见过的城市来模拟实际应用场景,从而验证了所提出方法的广泛适用性。最后,将所提出的框架与传统迁移学习方法进行了对比,并使用文献中的FitFun模型进行了验证,以证明其可迁移性。

**1. 引言**
城市交通与许多问题相关,如空气污染(Batista等人,2022a;Wang等人,2023)、健康状况下降(Levy等人,2010)或经济产出减少(Weisbrod等人,2003)等负面现象,这些现象与城市的社会运作紧密相连,几乎影响到所有人口。已有大量研究致力于理解城市拥堵的本质和动态及其传播方式,以减少其对经济、健康和环境的影响。其中一个关键要素是基本图(Fundamental Diagram,简称FD),它定义了单一道路上的交通流量、密度和速度之间的关系。FD在理论和实践中都有广泛应用,因为它能够识别自由流和拥堵之间的状态转换。宏观基本图(Macroscopic Fundamental Diagram,简称MFD)将这些原理扩展到网络层面,描述了整个城市区域内的聚合流量和密度之间的关系(Daganzo,2007)。这一概念最初是为了捕捉宏观层面的交通动态而提出的,此后已成为分析和管理城市交通网络的强大工具(Geroliminis和Daganzo,2008)。实际上,文献中有很多MFD的应用案例,包括但不限于路线引导(Chen等人,2024;Hajiahmadi等人,2013;Yildirimoglu等人,2015;Zhong等人,2018)、交通控制(Guo和Ban,2020;Keyvan-Ekbatani等人,2015;Sirmatel和Geroliminis,2021)、自动驾驶车辆协调策略的评估(Zhang等人,2022)以及行为分析(Batista等人,2025)。关于MFD的更广泛文献综述见Zhang等人(2020)。然而,从实证数据中推导出MFD是一项具有挑战性的任务,因为:(i) 它需要大量环路检测器的数据;(ii) 检测器应覆盖整个网络;(iii) 来自检测器的数据容易受到各种偏见和不准确性的影响,这使得数据清理和处理变得困难(Aghamohammadi和Laval,2022)。Leclercq等人(2014)指出,除非拥有完整的车辆轨迹信息,否则无法无偏见地估算MFD,这在大数据时代也是一个不现实的假设。

为了应对这一问题,已经提出了多种分析和基于模拟的方法来估算代表性的MFD。例如,Daganzo和Geroliminis(2008)提出的切割方法(Method of Cuts)可以估算MFD参数的上限。Laval和Castrillón(2015)以及Aghamohammadi和Laval(2022)扩展了该方法以考虑数据偏差和随机性。Tilg等人(2023)改进了该方法以适应不同的空间需求模式和不规则的网络拓扑。Shim等人(2019)专注于识别MFD高密度分支中出现的分叉趋势的主要来源,这些趋势导致其形状随时间不断变化。Maiti等人(2025)设计了方法来估算那些检测器覆盖不足区域的较少偏差的MFD,而Saeedmanesh等人(2021)应用了扩展的Kalaman滤波算法来实时估算MFD。Saffari等人(2020)使用探针车辆数据并结合主成分分析(PCA)来识别关键道路,并通过这些记录的数据重建MFD。Ambühl和Menendez(2016)以及Saffari等人(2022)还将探针数据与环路检测器(LDs)结合用于MFD估算。Bramich等人(2023)指出MFD中测量值的分布是非高斯且非对称的,并提出了基于广义加性模型(GAMLSS)的非参数工具FitFun来拟合FD。作者在超过200个不同模型上测试了FitFun,这些模型对MFD的形状和噪声有不同的假设。

数据并不是影响MFD估算的唯一因素。Ambühl等人(2018)评估了网络不均匀性的影响,并设计了一种重采样方法来估算关键密度。El Bukhari等人(2024)使用PCA将网络划分为更均匀的区域,以提高MFD的质量。聚类也被用于MFD的分区,有些作者认为高斯混合模型(Gaussian Mixture Models)是最适合确保在聚类过程中满足基本MFD假设的技术(Batista等人,2021)。Yuan和Knoop(2023)研究了出发时间、用户均衡以及MFD滞后现象和缺失拥堵分支之间的关系。Batista等人(2025)进一步分析了活动和出行目的对MFD的影响,展示了异质出行偏好对用户均衡在拥堵和出发时间方面的影响。

MFD文献中的另一个研究方向是机器学习(Machine Learning,简称ML),它通常尝试利用数据中的模式来泛化MFD的形状。例如,在Yuan等人(2021)的工作中,提出了一个基于物理正则化的高斯过程(GP)模型用于宏观交通流量建模。这种方法将交通流量物理特性整合到GP框架中以提高预测精度。类似地,Shi等人(2021)提出了一种基于物理信息的深度学习方法来估算MFD,该方法结合了交通流量物理特性。Jin等人(2023)比较了多种传统ML技术在重建不同城市MFD方面的能力,而Alayasreih等人(2025)比较了ML技术在基于交通均匀性和空间连通性对MFD中的交通状态进行聚类方面的能力。Lin等人(2024)使用LSTM和遗传算法(GA)来预测未来短期时间间隔内的MFD。Zhang等人(2024)开发了一种基于物理信息的计算图方法来估算MFD的自由流速度和关键密度。Jin等人(2024)使用图注意力网络(Graph Attention Networks)和门控循环单元(Gated Recurrent Units)来提高基于MFD的链接级别交通速度估计的精度。Bansal和Graham(2023)使用因果统计建模和贝叶斯机器学习来实证估算无偏的宏观基本关系,同样使用了UTD19数据集。其他作者提出使用主动学习(Active Learning)来采样具有代表性的行程集(无论是通过模拟还是使用GPS数据),用于MFD估算(Batista等人,2022b)。

与本研究相关的是,机器学习文献中出现了一个新方向,即利用元学习(Meta-Learning)来解决数据不足的问题。元学习通常被称为“学习如何学习”,它的目标是训练能够在多个任务或数据集之间泛化的ML模型。它广泛应用于其他领域和主题,例如模式识别(Luo等人,2022)、药物设计(Olier等人,2018)或网络安全(Yang等人,2023)。Vettoruzzo等人(2024)提供了该方法的全面综述。元学习也被应用于交通研究(例如,Sao等人(2023);Sun等人(2024);Yang等人(2024)),但据作者所知,只有Sun等人(2023)和Liu等人(2023)(以及当前的工作)将其用于解决MFD估算的特定挑战。在Sun等人(2023)的工作中,提出了一个利用元学习来提高交通预测精确度的框架。Liu等人(2023)的工作展示了跨城市的应用,用于交通预测的少样本学习。这项工作专注于在数据匮乏的情况下改进MFD的预测,通过利用元学习在具有不同检测器分布和网络结构的城市环境中进行泛化。因此,它不同于Sun等人(2023)在蒙特卡罗方法中应用元学习来减少方差的工作,以及Liu等人(2023)探索少样本数据集蒸馏的工作。

综上所述,基于上述研究,元学习尚未被广泛应用于所描述的问题。与传统的基本图(FD)类似(Bramich等人,2022),MFD的形状取决于可用数据以及主导的需求模式(Ambühl等人,2021;Tilg等人,2021)。因此,更广泛的科学文献尚未就MFD的功能形状达成一致。例如,一些作者建议使用三次多项式来近似MFD的连续形状(Geroliminis和Daganzo,2008;Huang等人,2023),而其他作者则建议使用双二次插值作为分析近似(Batista等人,2019;Daganzo和Geroliminis,2008)。在实际中,推导出MFD的准确形状仍然主要是为每个案例研究和/或实施而进行的数据驱动任务。本文认为,鉴于我们对MFD的分析和理论理解,以及来自不同城市的数据集,应该可以在数据有限的城市中近似MFD。因此,有理由假设,虽然机器学习技术可以利用问题的数据驱动特性,但元学习可以提高结果的普遍性,学习数据丰富数据集中的模式并将其转移到数据较少的新场景中。本文基于这些假设进行了扩展。正如将要描述的那样,机器学习有潜力在数据齐全的情况下识别MFD的形状,并在数据稀缺的情况下通过元学习估算类似的MFD。

**本文的贡献可以总结为:**
- 开发了一种非参数神经网络(MTPINN)用于MFD估算,该网络嵌入了领域知识;
- 设计了一个元学习框架,能够利用数据丰富城市的数据模式来估算数据匮乏城市的MFD;
- 证明了所提出方法在交通领域的适用性,即使在只有10个环路检测器的情况下也能估算出与完整数据集相当的结果。

通过这项工作,我们不仅扩展了可以估算MFD的城市数量(即检测器较少的城市),还为那些由于维护或预算限制等原因需要减少操作检测器数量的城市提供了解决方案。

本文的结构如下。在第2节中,详细介绍了用于训练所开发的MTPINN模型和模型不可知的元学习框架(MAML)的数据集;第3节报告了MTPINN和MAML背后的算法,并设计了一个双抛物线混合模型作为基准;第4节描述了实验的设计;第5节报告了实验结果,并证明了MAML在有限的路测数据(LDs)下的优越性能。第6节通过将元学习框架应用于另一个非参数模型FitFun(Bramich等人,2023年)来验证其有效性。它还比较了元学习性能与迁移学习方法和传统神经网络(NNs)的性能。最后,第7节和第8节总结了研究的局限性和未来研究方向。

2. 数据
由于元机器学习模型需要来自多个城市的数据,我们首先介绍所采用的数据集。本研究使用了UTD19数据集(Loder等人,2020年),该数据集包含了来自全球39个城市的车测数据。这些案例研究涵盖了具有不同特征和特点的城市,这些特点反映在车测数据的空间分布和记录数据中。实际上,车测数据的空间分布对流量需求函数(MFD)的偏差有重要影响,这一点已被Lee等人(2023年)所证明。捕捉不同的城市动态和类型非常重要,因为研究的目标是设计一个能够泛化到不同案例研究的元学习算法。数据集中的数据总结在表1中。MFD通过平均密度、流量和速度来定义。在实践中,经常使用占用率来近似密度,因为它更容易测量。由于UTD19数据中占用率测量得当,因此在本研究中,我们将MFD表示为平均流量与平均占用率的函数。数据预处理采用了Aghamohammadi和Laval(2022年)讨论的相同步骤。具体来说,以下模式被认为是不合理的并从数据中删除:
- 负数或非数值的流量或占用率测量
- 占用率大于1
- 流量测量值大于2500辆/小时/公里
- 当占用率在0.2到0.75之间时,流量测量值小于10辆/小时/公里
- 当占用率超过0.95时,流量测量值大于100辆/小时/公里

表1. 车测特征和记录信息

| 车测特征 | 记录信息 |
|---------------|--------------------------------------|
| 监测的车道数量和长度 | |
| 聚合间隔 | |
| 道路类型 | |
| 占用率 | |
| 一天中的时间 | |
| 速度限制 | |

与Aghamohammadi和Laval(2022年)的做法一致,我们只保留了在80%以上时间内数据有效的检测器,以及来自80%以上检测器的有效观察间隔。没有或仅有有限占用率测量的城市被排除在数据集之外。数据清洗后,原始的39个城市中只剩下29个。不同城市的车测数量和观测数量各不相同,大多数城市有100到350个检测器。然而,也有例外情况,例如伦敦有2620个车测点,而埃森只有36个车测点。为了确保实验中包含的城市之间的可比性,只包括了至少有100个车测点的城市,最终选择了21个城市。这样做是为了确保各城市的样本一致性(例如,不可能从埃森抽取75个车测点,因为它只有36个)。此外,卢塞恩被排除在外,因为它的数据量比第二多的城市(汉堡)多出120,000多个观测值。因此,最终考虑的城市数量是20个。每个城市的数值如图1所示。如图所示,这并不妨碍我们在具有挑战性的配置中测试MAML,因为某些场景可能只涉及10个车测点。图2展示了根据UTD19数据(Loder等人,2020年)选定的城市的平均占用率 [%] 与平均流量 [车辆/小时/车道] 的关系图。

图1. 每个考虑城市的车测数量和总观测数量概览。

图2. 图表显示了从UTD19(Loder等人,2020年)选定的城市的平均占用率 [%] 与平均流量 [车辆/小时/车道] 的关系。

车测数据的不同分布以及由此产生的MFD值的广泛范围和模式对于当前的目标来说是一个理想的特征,因为一个涵盖不同MFD趋势的数据集更适合通过元学习算法来训练机器学习模型。然而,在检查图2中的MFD时,一些共同的趋势显现出来。例如,自由流条件表现为准线性行为。此外,在所有城市中,拥堵分支(即理论基本图右侧的部分)并没有完全观察到。在其他方面,不同组城市的记录数据产生了不同的MFD形状。在某些城市(例如多伦多),在不同平均占用率值下观察到最大平均流量值,导致MFD曲线的顶部拉长。在其他城市(例如达姆施塔特、汉堡和马赛),流量值的上三分之一显示出较大的占用率分布,形成了一个带有膨胀部分的曲线形状。有趣的是,达姆施塔特、汉堡和马赛也是观测数量最多的三个城市。另一个需要分析和比较的相关方面是不同数据集的观测密度变化,即MFD的哪个部分包含更多的测量数据。图3报告了部分城市的观测密度分布。总体而言,观察到在左下角观测密度非常高,那里的流量和占用率都较低。沿曲线的密度变化在不同城市之间略有不同,但在曲线的顶部通常观测密度很高,这表明自由流和轻微拥堵状况可能是最常见的。

图3. 基于UTD19(Loder等人,2020年)数据的20个拥有超过100个车测点的城市的平均占用率与流量的观测分布和密度。

总的来说,在探索UTD19数据集的过程中,观察到MFD的几个有趣特征,包括其形状、时间依赖性以及数据集中不同道路类型的MFD通常定义明确。关于MFD的整体形状,观察到一个城市的总观测数量似乎与MFD的散布或扩散程度有关。还注意到,拥有最多车测点的城市的MFD形状并没有显著差异。由于在第4.3节中报告的各种实验中为元模型构建了有偏见的数据集(即,隐藏了部分可用记录以模拟不同级别的数据稀缺性),因此选择给定城市的不同检测子集会导致MFD形状的不同。使用较少的车测点时,MFD形状会变得更加分散或扩散。

3. 方法论
在本节中,我们描述了本文中用于估计MFD的算法。目标是让模型估计MFD的形状,因此论文中只考虑了空间维度。首先,我们介绍了一个简单的双抛物线模型,作为理论基准,用于验证其他模型在预测MFD的临界占用率(CO)和最大流量方面的性能。然后,我们介绍了一个基于多任务物理信息神经网络(MTPINN)的非参数机器学习模型,该模型专为基于车测数据的单个城市的MFD估计而设计。本质上,MTPINN代表了传统双抛物线模型的一个非参数替代方案。最后,我们讨论了MAML框架背后的算法以及如何将其与前面的算法结合,以便在仅有有限数量车测点的城市中估计MFD的参数。实现这3个模型的代码可在https://github.com/s184227/MAML_for_MFD公开获取。

MFD通常是通过聚合网络中所有道路段的数据获得的,其中网络范围内的流量是所有路段的平均流量,而密度是所有路段的加权平均密度。因此,为了从占用率和流量中推导出MFD,首先需要从占用率数据中得出链路级别的密度值。这种转换需要额外的数据,例如每个环形检测器的测量所在道路段的长度以及每个城市的平均车辆长度,以估计每个环形的平均检测区长度(Bramich等人,2023年)。幸运的是,链路级别的占用率大致与密度成正比(Bramich等人,2023年;Kim和Hall,2004年;Sun等人,2014年)。此外,在本文中,流量和密度值通过容量流量和拥堵密度进行了标准化。这意味着可以假设占用率和密度值之间存在线性关系。然后,可以将占用率值视为标准化后的密度值(Aghamohammadi和Laval,2022年)。这也适用于本研究,因为在所有这些情况下,MFD中使用的关键变量是聚合流量和占用率。在下面的方程式中,平均占用率是自变量x,而平均流量是因变量f(x)。

3.1. 双抛物线混合模型
双抛物线混合模型设计使用两个共享相同顶点的抛物线来近似每个城市的MFD。这些函数对应于理论上的形状,并允许对其参数进行物理解释。该模型将这些关系编码为在共享顶点相交的两段式抛物线函数,代表交通流量达到最大值的临界占用率(CO)。它被实现为一个完全可解释的白箱模型,其参数通过反向传播进行估计。它使用PyTorch(Paszke等人,2019年)实现,因为它通过基于梯度的方法直接优化可学习参数,利用PyTorch的专门组件有效结合了物理直觉和数据驱动的学习。选择双抛物线模型作为理论基准,以评估以下小节中介绍的模型(即MTPINN和MAML)的性能,因为其结构是完全已知的,因此结果完全可以解释。尽管当双抛物线函数形式与MFD的函数形式有很大不同时,双抛物线模型可能会偏离预测的MFD流量,但基准测试并不是基于任何密度值的平均流量进行的,而是基于CO和最大流量进行的,在20个选定城市中,双抛物线模型表现更为可靠。此外,双抛物线形状在MFD文献中最常用(Batista等人,2022a)。正如将要展示的,所描述的非参数模型实际上处理了那些通过MFD预测的平均流量具有不同函数形式的情况。

使用两个抛物线,双抛物线模型将交通流量f(x)作为x的函数进行预测。描述非拥堵状态的第一条抛物线必须穿过原点(0,0),然后在顶点(xco, fvertex)处结束,定义为:
[数学处理错误]f1(x) = ?a1(x ? xco)^2 + fvertex, x ≤ xco
其中[a1 = fvertex / xco^2]确保抛物线穿过原点。第二条抛物线描述拥堵状态,并从顶点延伸到与x轴的第二个交点:
[数学处理错误]f2(x) = ?a2(x ? xco)^2 + fvertex, x ≥ xco
其中a2 > 0。通过对数变换确保a2为负,从而使得抛物线向下开口。该模型使用复合损失函数进行训练,可以总结为:
[数学处理错误]Ltotal = (L1 + L2) + αLλ
在这个表达式中,[数学处理错误]L1和[数学处理错误]L2是给定方程式(1)和(2)中描述的两个状态的均方误差(MSE)损失。如上所述,模型在训练过程中学习了用于两个抛物线拟合的最优参数,给定了损失函数。两个拟合的交点就是它们的共同顶点,这个位置的确定是在拟合的质量(即它们对总损失的贡献)和鼓励位置与理论一致性的惩罚之间进行折中。惩罚的设计目的是促使模型确定的临界占用率与城市观测到的最大流量值之一相对应。这是通过让惩罚项随着大于当前选定最大流量值(xco, fmax)的流量观测次数而增加来实现的。由于图中存在一些散点,允许一定的灵活性是可取的,即不强制模型选择最大流量值,而只是选择接近最大流量的一个值。αLλ是一个惩罚函数,确保估计的CO值既符合数据又与理论一致。通过调整超参数α,可以平衡拟合质量与通过惩罚项进行的正则化的权重。抛物线拟合的共同顶点位置被定义为临界占用率xco和一个提供良好拟合的fvertex值。图4给出了一个视觉表示。该模型的主要特点是两个抛物线的参数和临界占用率是联合估计的。xco表示为占用率的加权softmax,并通过梯度下降计算得出:(4)[Math Processing Error]xco=∑i=1Nwi·xiwi=exp(li)∑j=1Nexp(lj),其中li是可学习的logits。最后,应用权重来补偿数据分布的不均匀性。这一步是必要的,因为拟合两部分之间的数据分布非常不均匀,未拥堵分支的数据被完全观测到,而拥堵分支只有少量的数据点,通常只占总观测量的5-10%。此外,这些观测点往往集中在CO点附近。为了处理不平衡的数据并确保模型同时重视两种拟合的质量,通过逆频率加权对MSE损失L1和L2进行了加权,其中权重与每种状态的样本数量成反比。下载:下载高分辨率图像(140KB)下载:下载全尺寸图像图4. 双抛物线模型参数与MFD图之间的关系。

3.2. 多任务物理信息网络(Multi-task Physics-Informed Neural Networks)
类似于双抛物线方法,MTPINN是一个非参数模型,旨在估计MFD的三个关键参数:临界占用率、最大流量以及流量-占用率关系。MTPINN结合了多任务学习(MTL)和物理信息神经网络(Physics-Informed Neural Networks)。更具体地说,使用了物理信息正则化技术将领域知识引入MTL架构中。由于该架构由两个主要部分组成,我们首先介绍MTL及其结构,然后是其物理信息约束。
多任务学习(Multi-Task Learning):MTL是一种机器学习架构,可以在共享框架内同时学习多个相关任务。通过利用共享表示,MTL可以利用任务之间的共性来提高学习效率和学习泛化能力(Zhang和Yang, 2018)。MTL模型的结构通常包括一个共享基础和特定于任务的输出分支,如图5所示。共享基础包括学习输入数据统一表示的通用层,捕获所有任务相关的特征。对于MFD来说,它捕获了临界占用率、最大流量和流量-占用率关系之间的共同特征。每个特定于任务的输出分支包含独立的层,分别用于预测每个特定目标任务。这种模块化设计提高了学习效率和泛化能力。本研究使用的具体网络包括:
1. 特征提取层:一系列具有ReLU激活函数和dropout的正连接层,用于正则化。这些层将输入的占用率值映射到潜在特征表示,并在预测任务之间共享。
2. 输出分支:如上所述,有三个输出分支,每个分支分别学习一个特定任务:流量预测器、临界占用率预测器和最大流量预测器。
3. 可学习参数:定义了两个可学习参数以协助损失函数。一个是偏移量(即用于定义最大流量和CO处的流量之间差异的参数),另一个是占用率缩放器(即用于调节未拥堵和拥堵抛物线宽度比例的参数)。

下载:下载高分辨率图像(162KB)下载:下载全尺寸图像图5. 多任务模型的基本结构。共享层学习输入数据X的统一表示,然后将其输入到各自独立的输出分支中。这些分支由针对不同任务的独立层组成,用于预测不同的变量。该架构是在PyTorch(Paszke等人,2019年)中实现的,PyTorch是一个广泛使用的Python深度学习框架。需要注意的是,如图5所示,模型在训练期间需要事先知道临界占用率、最大流量和平均流量,以最小化损失。然而,其中一些信息在训练前是不可用的(例如,临界占用率)。因此,下一节将介绍物理信息损失函数,以克服这一限制。

物理信息正则化:尽管MTL功能强大,但在拥堵分支数据有限的情况下,它可能无法准确捕捉拥堵分支和未拥堵分支之间的差异。因此,我们对损失函数应用了物理信息正则化,以迫使模型遵循MFD的分析特性。因此,损失函数由两部分组成:
[Math Processing Error]Ltotal=LMSE+αLPhysics
[Math Processing Error]LMSE表示纯粹数据驱动模型的损失,而 [Math Processing Error]LPhysics计算物理信息损失,旨在鼓励预测结果呈现双抛物线形状。α是一个超参数,用于控制两种损失组分的相对强度。
[Math Processing Error]LMSE的公式如下,fi和 [Math Processing Error]fi^ 分别是预测值和估计的平均流量:
[Math Processing Error]LMSE=1/N∑i=1N(fi?fi^)2
[Math Processing Error]LPhysics 包括以下项:
[Math Processing Error]LPhysics=w1·L1+w2·L2+λoffset+λscale+λmax
也就是说,有两个损失项 [Math Processing Error]L1 和 [Math Processing Error]L2,使用w1和w2进行加权,以及三个用于精细调整预测的惩罚项。由于该模型旨在预测MFD的一些关键值,即最大流量和临界占用率,并根据占用率预测平均流量,物理损失旨在调节这些参数的学习方式及其可能取的值。[Math Processing Error]L1 和 [Math Processing Error]L2 指导模型预测,并确保两个抛物线共享一个顶点。第一个抛物线描述了从0到临界占用率xco的观测值。其定义为:
[Math Processing Error]f1(x)=a1+(x?xco)2+(fmax?foffset)
其中a1的值由下式给出:
[Math Processing Error]a1=?(fmax?foffset)xco2
第二个抛物线描述了临界占用率右侧的观测值,定义为:
[Math Processing Error]f2(x)=a2+(x?xco)2+(fmax?foffset)
其中a2的值由下式给出:
[Math Processing Error]a2=?(fmax?foffset)((xscaler?1)·xco)2
a1和a2表达式中的分母控制了抛物线的宽度,即与x轴的交点与顶点之间的距离。对于a1,期望的距离是xco;而对于第二个抛物线,则不同,xscaler使其定义为xco距离的某个倍数。抛物线的形状由模型对数据集的预测决定,即形状参数a1是根据抛物线顶点的高度计算的。这是通过fmax - foffset确定的,因为最佳的拟合值通常会穿过xco处流量数据的平均值,而不是峰值。三个惩罚项分别引导模型朝向预测MFD的某些行为。λoffset鼓励模型确定的临界占用率位置与包含最大流量观测值的区域对齐,λscale通过惩罚超出此范围的宽度来鼓励第二个抛物线的宽度在第一个抛物线的1到4倍之间。最后,λmax惩罚大于模型确定的fmax的流量值。

3.3. MAML模型
本节描述了MTPINN在元学习(Meta-Learning)架构中的嵌入。其基本逻辑是让MAML学习一组模型参数(θ),作为在MTPINN中微调可能的新任务的良好初始化。为此,MAML在两个主要循环中操作:
- 内循环:对于每个任务,使用少量梯度步骤在特定于任务的数据上更新模型的参数。[Math Processing Error]θt′。
- 外循环:通过在每个任务的单独验证集上评估特定于任务的参数 ([Math Processing Error]θt′) 来计算元目标。在传统的MAML中,使用元目标的二阶导数来更新共享初始化参数(θ)(Finn等人,2017年)。
图6提供了元学习过程的概览。要实现元学习,首先需要定义一个任务。在我们的案例中,任务包括使用MTPINN在给定多个LDs的情况下估计MFD参数。如前所述,如果有来自多个城市的数据,我们可以使用这些数据通过MAML对MTPINN进行预训练。这可以通过为UTD19数据库中的每个城市生成一些人造任务来完成。每个人造任务对应于使用随机选定的检测器生成的平均网络占用率和流量。对于每个任务,模型将尝试估计目标MFD参数(即使用所有LDs的数据会获得的参数)。在内循环中,MTPINN将尝试在几个步骤中局部调整模型参数(θ),以避免过拟合。在外循环中,MAML评估估计值与目标MFD的接近程度,即如果所有链接都装有LDs时将获得的MFD。元学习框架基于MAML公式(Finn等人,2017年),并且如将会展示的那样,即使在只有有限数量的链接装有检测器的情况下也能成功估计MFD图。所提出的MAML实现与Finn等人(2017年)的实现不同,因为原始方法不能直接应用于MFD而不显式考虑生成MFD所需的数据聚合步骤。learn2learn软件库(Sebastien等人,2020年)基于PyTorch构建,为Python中的元学习提供支持,并用于实现该模型。

下载:下载高分辨率图像(746KB)下载:下载全尺寸图像图6. 这个图说明了元学习模型的基本设计。创建一个模型并初始化其参数。然后将其克隆用于元训练的内循环,在其中模型在包含Nsamples样本的任务特定支持集上进行训练,这些样本包括h个子任务(或目标类别),每个子任务包含k个示例(因此 [Math Processing Error]k·h=Nsamples)。这也被称为h-way, k-shot训练任务。在示例中(绿色和黄色框),这对应于一个3-way, 2-shot任务——即3个类别,每个类别有2个示例。在内循环的N个步骤中对模型进行训练并相应地更新克隆的模型参数后,模型将在包含h个子任务中的M个观测值的查询集上进行测试。存储损失,然后重复整个过程——即克隆原始模型参数,并在内循环中使用新训练任务对模型进行训练。这被称为一次元训练(episode),p次元训练构成一个元学习周期(epoch)。在每个周期结束时,存储每次循环的损失构成元损失,并用于计算元梯度并优化模型的元参数。然后通过模型反向传播这些元梯度,使用更新后的参数在下一个周期中使用模型。

元训练过程:交通数据按城市分组,每个城市都有单独的训练(支持集)和验证(查询集)数据集。本文中创建这两组数据的方式与通常生成任务的方式不同,这是为了考虑到MFD是对LD数据的汇总表示。在元学习(Meta-Learning)中,任务是在城市层面定义的,每个任务都对应于根据特定城市的占用数据预测平均流量。支持集用于内循环适应(inner-loop adaptation),仅使用一部分LD来计算汇总流量和占用率。查询集则包含使用网络中所有LD计算出的汇总流量和占用率,并评估内循环后模型适应版本的性能。为了确保代码的模块化,已经实现了一个用于任务抽样的类。用于支持集和查询集的城市是从每个任务的训练数据和验证数据中随机抽取的,以确保LD的空间分布不会对模型性能产生偏见。一致的随机种子确保了结果的可重复性。用于验证的数据是来自给定城市完整数据集的流量和占用率平均值。对于训练数据,数据是由每个城市随机选取的一部分探测器在可用的整个观测期间计算出的平均值。选取的探测器数量分别为n = 75、50、25和10。对于每个城市,这个数量的探测器随机抽取30次,从而得到四个数据集——每个探测器数量对应一个数据集,每个数据集包含30个有偏的平均值。为了确保构建的有偏MFD数据集与完整的MFD数据集有显著差异,只使用了拥有超过100个探测器的城市。此外,只有那些观测天数超过一天的城市才被纳入考虑,因此共有20个城市。

元学习的结构围绕两个优化目标构建。内循环的目标是通过调整模型参数θ来最小化特定任务的损失[Ltask]: [θi′=θ?α?θLtask(Disupport;θ),其中α是内循环学习率,[Di]是[θi](即采样的任务i)的支持集,θs是为每个新任务复制的共享元参数,[θi′]是针对[θi]的任务调整后的参数。每个[θi′]代表学习到的用于估计特定城市(即任务)MFD的神经网络(NN)权重,而θ代表通过MAML“学习如何学习”来解决新的MFD估计问题的最佳共享表示。对于MTPINN模型,这个共享表示由一组权重θ捕获(即多个线性层——特征提取器、流量预测器和关键占用预测器以及最大流量预测器的权重)。元目标是在执行内循环适应后,最小化所有任务的查询集上的预期损失: [minθETi~p(T)[Ltask(Diquery;θi′)],其中[Diquery]是[θi]的查询集,[θi′]来自内循环的计算结果,[p(T)]是任务的分布。通过内循环更新求导,计算出元梯度,以便使用外循环学习率β来优化θ: [θ←θ?β?θ∑iLtask(Diquery;θi′)。

算法1用伪代码描述了模型训练过程的步骤,并且深受Finn等人(2017年)的研究启发。然而,与原始设计存在一些差异。这些差异是由于算法被调整以更有效地应对MFD估计中通常面临的数据稀缺问题,即不是观测样本少,而是因为LD分布有限且不均匀而导致观测数据有偏。因此,每个任务对应的是由特定采样探测器子集得到的特定城市的MFD。换句话说,任务可用的数据点很多,但是有偏的。虽然原始的MAML框架假设只有很少的观测样本K可用,因此例如在内循环的每个梯度步骤中使用一个观测样本(在一次性学习的情况下),但这种调整使用每个步骤中所有可用的信息N,以利用支持集中所有城市的观测数量。N代表图2中绘制的MFD的所有可用数据点。由于算法要求[K·Nite=M]且查询点数M是一个超参数,因此总观测数N代表了元学习步骤中使用的数据的上限,所以M ≤ N。在内循环集,这些点是使用一部分探测器生成的;而在查询集,则使用所有可用的LD。

元测试程序:每次构建数据集时,从20个城市中随机选择3个城市进行测试,并将其与训练数据(支持集)分开,以确保用于测试的数据对模型来说是未见的。元测试阶段旨在模拟我们在多个城市上预训练MAML模型后,用来估计只有少量探测器(n个)的城市MFD的情况。模型训练完成后,在这三个随机城市上进行测试,并存储以下统计数据以供后续评估:平均绝对误差(MAE)、均方误差(MSE)、平方根相对误差(RRSE)和相关系数r。该系数衡量真实值和预测值之间线性关系的强度和方向,计算公式为: [r=∑i=1N(yi?yi ̄)(yi^?yi^ ̄)/∑i=1N(yi?yi ̄)^2。元测试程序模仿内循环的过程,即训练好的MAML模型执行的梯度步数Nite与内循环步数相同,并且在内循环中从支持测试集中使用相同数量的观测样本K。内循环的学习率被用于此过程,因此模型在适应新任务(即城市采样数据集)时遵循与训练阶段相同的程序,然后再对查询集进行预测。当模型通过Nite梯度步骤适应了测试数据集后,就会对该城市的整个查询集进行预测。

4. 实验设置
本节介绍了每个模型的实验设置。

4.1. 双抛物线混合模型
双抛物线混合模型的实验目的是使用完整数据集获得MFD的稳健拟合,以便后续作为基准使用。换句话说,使用每个城市可用的所有探测器,目标是让模型确定最能描述MFD的抛物线函数,并根据理论描述确定关键占用率和最大流量。需要根据第3.1节报告的公式调整两个超参数α和β。为了确定最优参数值,执行了[0.01, 0.1, 1.0, 10.0]范围内的所有组合,并且学习率也在0.001到0.01之间变化。这些组合应用于所有城市。最优组合是α = 1.0,β = 0.1,学习率为0.01。通过研究训练损失的轨迹图来确定最优学习率,通过抛物线描述MFD曲线的效果以及最大流量位置是否与实际最大流量值紧密对齐,以及关键占用位置是否与未拥堵和拥堵状态之间的分界线对齐情况来确定α和β的最优值。

4.2. MTPINN
与双抛物线模型类似,MTPINN也是在标准化的占用率和流量数据上训练的。此外,在训练过程中采用了留出法(hold-out approach)。数据集被分为训练集、验证集和测试集,以确保评估的稳健性。为了确定导致最佳拟合的参数组合,进行了一项实验,每次改变一个参数,以了解每个参数对拟合的影响。基于此,为每个参数选择了一组值,然后在嵌套的for循环中组合测试这些值。对于每个城市,目标是让模型很好地适应所有城市,并且无需针对每个具体城市调整参数即可做出适当的预测。对于4个超参数中的每一个,评估了3个值。这意味着为20个城市测试了[3^4=81]种组合,即训练了2349个模型。最佳超参数组合在表2中报告。

表2. 在20个城市中获得最佳拟合的超参数组合。
| 参数 | 值 |
|-------------------|-----------|
| α | 1.0 |
| 学习率 | 0.001 |
| 批量大小 | 32 |
| 投弃率 | 0.0 |

4.3. MAML
MAML从略微不同的角度处理MFD问题。实际上,之前的模型是针对每个城市的完整数据集训练来估计MFD的,而元模型则是训练来学习不同城市之间的共同模式,尤其是如何在数据稀缺的情况下转移这些模式。因此,创建了数据集来模拟每个城市只有75、50、25和10个随机选择的探测器的情况,从而得到有偏的MFD。选择MTPINN模型作为元学习算法中的“学习者”模型,目标是通过第3.3节描述的MAML算法找到该模型的最优参数和权重初始化。第一步包括定义内循环和外循环的学习率,并初始化模型参数。MTPINN模型有两个可学习的参数:偏移量o和占用率缩放因子s,它们与物理信息损失中的惩罚项有关。它们分别初始化为0.0和3.0。偏移量0.0意味着用于通知物理损失项的双抛物线拟合将通过关键占用率和最大流量值指定的顶点,而不是“偏移”到较低的流量值。将占用率缩放因子初始化为3.0意味着假设损失项中的第二个抛物线宽度是第一个抛物线的两倍,这并不罕见。除了学习率之外,还可以调整其他几个超参数以促进元学习,包括每个任务的内循环步数Nite、元迭代次数、每次元迭代采样的任务数量、每次内循环步骤使用的支持观测数K、用于元测试的支持观测数M,以及元训练和元测试阶段使用的丢弃率。每个参数测试的不同值限于表3中显示的范围,其中选定的最优值用粗体表示。

表3. 元模型实验的超参数值
| 参数 | 测试值 |
|-------------------|--------------|
| α | 0.0, 0.02, 0.05 |
| β | 0.001, 0.005, 0.01 |
| Nite, 内循环步数 | 5, 150, 300 |
| 每次元迭代的任务数量 [Ti] | 1, 3, 5 |
| 每次内循环的支持观测数 | 50, 150 |
| 元测试的支持观测数 | 250, 750 |
| 元训练中的丢弃率 | 0.0, 0.1 |
| 元测试中的丢弃率 | 0.0, 0.1 |

模型参数是使用包含75个随机选择探测器的有偏MFD数据集进行调整的,然后应用于从50个、25个和10个随机选择的探测器创建的数据集进行比较。从这些城市中构建了30个数据集(即75个或50个、25个、10个LD的不同组合),并且在训练中从其中一个数据集中采样K·Nite个观测点作为支持集。为了更好地考虑城市内部和之间的数据集变异性,模型在每个由75个、50个和10个随机选择的探测器创建的数据集上分别训练了50次。对于查询集中的每个城市,MAML的性能不受训练过程中考虑不同城市顺序的影响,这可以通过比较所有实验中MAML的输出来观察到(扩展结果可以在Github仓库中找到)。实际上,由于模型被训练了50次,大多数城市会在查询集中出现多次。尽管训练集不同,但表格中报告的结果仍然相似。图7展示了在75个检测器数据集的任务集上训练的模型在150次元训练迭代期间损失的变化情况。图A3则展示了10个检测器数据集的相同结果。下载:下载高分辨率图像(400KB)下载:下载全尺寸图像。图7显示了使用来自75个随机选择的检测器的观测值平均值组成的数据集进行元训练时,模型内部和外部循环的元损失。训练损失对应于一次实验,即对150个随机样本的任务(城市数据集)进行训练。在每次元迭代中,模型参数在内部循环中通过5个梯度步骤进行克隆和更新,使模型能够为其当前任务优化参数。这从上图中的振荡可以看出,每次模型面对新任务时都会出现一个新的峰值。元参数,即在内部循环中克隆的模型参数,用于根据在3个不同任务上执行的内部循环的结果来计算元损失(下图)。然后在下一次元迭代之前使用元损失来更新模型参数。在每个任务集中,从20个城市中选择3个城市进行元测试(见图1中的列表),这意味着元模型将在其他18个城市上进行训练,然后使用这三个保留城市的支持集和查询集进行测试。为了进行以下部分中报告的比较,还从头开始使用MTPINN模型对M观测值(通过对相应LD子集的观测值进行平均得到)进行训练,以便适应新任务,即新城市。它们都进行预测,并将预测的最大流量和临界占用率存储起来以供后续比较,同时也会存储流量预测的计算性能统计数据。MTPINN的参数已从第5节中报告的在整个数据集上使用的参数更新,以便在此数据集上实现最佳性能。它以10个样本为一个批次进行训练,发现0.1的丢弃率可以提高性能。5. 结果与讨论在本节中,我们首先评估了在所有可用LD的情况下开发的模型的性能,然后在数据稀缺(75/50/25/10 LD)的条件下的性能。将展示在没有元学习的情况下,减少LD数量会如何阻止估计出真实的MFD(即目标城市的平均流量、临界占用率和最大流量)。当实施元学习时,即使只有LD的一个子集可用,也能够估计出这些参数。正如将要讨论的,结果表明,当只有部分LD可用时,MAML能够改善估计的MFD,从而可以将结果扩展到配备较少检测器的城市,或者可能实际上减少配备更多检测器的城市的LD数量(例如,由于大规模维护或为了降低成本)。5.1. 充分利用LD数据集在这里,我们展示了双抛物线模型和MTPINN的结果,重点关注它们在所有检测器都可用时(因此,在不那么具有挑战性的条件下,这些条件不可转移到LD数量成为问题的城市)估计不同城市MFD的表现如何。然而,特别是重要的是评估当UDT19数据集的所有LD记录都可用时,MTPINN作为元模型的表现,因为开发的MTPINN的性能强烈影响了本节后面讨论的MAML的能力。如图8所示,无论MFD的类型如何,双抛物线模型都表现相当好。对于所有情况,总损失最初迅速下降,但最终趋于平稳,表明模型在改进并最终收敛。图8报告了部分结果,完整集合可在https://github.com/s184227/MAML_for_MFD获取。所考虑的城市确实代表了第2节描述并在图2中报告的MFD图的典型特征,例如与大量观测值相关联的增加的散布(例如多伦多)以及“带灯泡的茎”形状(例如斯图加特),其中MFD曲线在较低的占用率时较窄,但在顶部变宽。这些情况反映了网络中不同的交通模式(例如不同的道路类型或普遍存在的轻度拥堵情况),并确保模型能够捕捉到具有不同特征的MFD。双抛物线混合模型的观测结果主要位于阴影区域内,表明95%的预测区间,这通常是比较MTPINN和MAML结果的一个公平基准。不过应该注意的是,有些异常值。例如,桑坦德尔的许多测量值低于95%的范围,尤其是在原点附近(图A1),这种行为桑坦德尔只与伯尔尼和不来梅在这20个城市中共享。正如第3节中提到的,当MFD的实际形状与双抛物线函数形式非常不同时,这是可以预料的。下载:下载高分辨率图像(658KB)下载:下载全尺寸图像。图8显示了两个不同城市——斯特拉斯堡和斯图加特的结果,它们的MFD图表形状不同,可用观测值的数量也不同。模型确定了临界占用率和最大流量点,两个抛物线在由相应占用率值确定的共享顶点处相交,而该顶点的流量值由抛物线的最佳拟合确定。阴影区域显示了95%的预测区间。右侧的图表显示了训练损失作为时代的函数,即参数模型的梯度更新次数。当MTPINN训练的数据在抛物线的非拥堵和拥堵侧都有足够条目时,它也达到了令人满意的性能,如图9中的子集所示。然而,当拥堵状态下的数据稀缺时,MFD的预测就不那么可靠了。这从图A2中可以看出,它再次显示了部分预测结果。如第3节中提到的,损失函数中嵌入的惩罚之一引导模型朝向拥堵状态的抛物线(图9中的橙色部分),其宽度是第一个蓝色抛物线(非拥堵状态)的1到4倍。然而,例如对于施派尔和桑坦德尔,这种情况并不满足。这是因为对于施派尔来说,不清楚是否有相当一部分测量数据属于拥堵分支;而对于桑坦德尔,虽然观察到了拥堵状态的开始,但它没有包括预期的流量下降,而斯特拉斯堡和斯图加特的观测数据捕捉到了这部分下降。下载:下载高分辨率图像(723KB)下载:下载全尺寸图像。图9显示了两个不同城市——斯特拉斯堡和斯图加特的结果,它们的MFD图表形状不同,可用观测值的数量也不同。这扩展到了其他城市;当观测数据包括了拥堵分支的部分特征行为时,基于物理信息的损失项成功地帮助模型预测下降趋势,但当没有或很少观察到拥堵分支的数据时,模型对这一部分的重视程度很低,相比之下更关注整体流量增加的趋势。此外,对于所有考虑的城市,模型平均流量预测的绿线形状与蓝色抛物线相似,但有所偏离,以更好地适应城市的观测分布模式。这在临界占用率点大致发生变化,此时橙色抛物线为基于物理信息的损失函数提供了MSE损失项。5.2. 使用有偏和有限的LD数据的性能从第5.1节的结果可以看出,即使利用所有可用的检测器,预测城市的MFD也不是一项简单的任务,因为每组LD很少能捕捉到基本图表的所有部分。当可用的LD记录(从而数据点)较少时,这个问题对于传统的机器学习模型来说很快就会变得难以处理。然而,在现实生活中的案例研究中这种情况很常见,因为许多城市的LD覆盖并不完整。为了克服这一挑战,开发的框架利用元学习来学习共享的表示,使NN模型能够利用可推广的模式并在LD数据有限的情况下预测MFD。正如第4.3节中提到的,采用随机选择的检测器不同比例进行训练,分别使用了75、50、25和10个LD。需要再次强调,这不是一个简单的障碍,因为可用检测器的平均数量约为250个(图2),峰值高达2620个。实验旨在捕捉不同设置下的数据稀缺情况,因为LD是随机抽样的,并且城市顺序在50次实验中进行了修改(这确保了在不同的实验中将不同的城市视为“数据稀缺”)。从75个LD的子集开始,MAML成功地完成了这一任务(结果摘要见图10)。如第3节中提到的,MFD参数和结果已经进行了标准化。对于MSE,基于75个检测器数据集训练的元模型具有最低的中位数和最窄的分布(如图11和表4中报告的值所示),表明其表现最好,并且在预测上是一致的,其性能可以与双抛物线模型相媲美,如图11所示。下载:下载高分辨率图像(763KB)下载:下载全尺寸图像。图10显示了在75个检测器数据集上训练的元模型的元测试样本——黑点是使用所有可用检测器的完整数据集的观测值,黄点显示了模型用于适应之前未见过的任务的[数学处理错误]K·Nite=M采样的来自有偏MFD数据集的观测值,即绿线。下载:下载高分辨率图像(269KB)下载:下载全尺寸图像。图11的箱形图显示了在完整数据集上训练的双抛物线模型和MTPINN模型的MSE分布。元模型和MTPINN比较模型的MSE已包含作为参考尺度。表4显示了不同模型预测的临界占用率和最大流量。城市双抛物线CO双抛物线最大流量MTPINN COMTPINN 最大流量MAML测试(75)COMAML测试(75)最大流量MAML测试(10)COMAML测试(10)最大流量奥格斯堡0.7680.9650.8870.9740.9210.9070.8870.919伯尔尼0.9210.9750.9500.9830.9360.9050.9150.895波尔多0.8790.9830.8060.9780.9220.9210.9200.887不来梅0.9190.9620.9500.9880.9240.9110.886达姆施塔特0.7240.9600.8840.9520.9110.9020.9220.886格拉茨0.8910.9720.9210.9740.9380.9120.9250.889汉堡0.7010.9640.8330.9450.9300.9030.9250.891卡塞尔0.8580.9720.9500.9600.9450.9090.898伦敦0.8520.9790.8970.9730.9410.9050.9340.894洛杉矶0.9130.9830.7940.9660.9100.9230.9250.907马德里0.8250.9830.8580.9780.9410.9130.9410.899马赛0.6980.9720.6880.9600.9350.9020.926桑坦德尔0.7900.9620.9500.9540.9350.8970.919斯图加特0.5530.9790.6280.9550.9400.9170.926台北0.7970.9780.9420.9890.9360.894多伦多0.4860.9650.6170.9180.9220.9110.9220.901图卢兹0.7580.9870.7480.9850.9160.9180.906苏黎世0.7850.9770.8480.9740.9140.9180.9140.879对于50、25和10个LD,也获得了类似的结果,完整的标准化集在Github仓库中报告,网址为https://github.com/s184227/MAML_for_MFD。图A4展示了MAML在最具挑战性的情况下的表现,每个城市只有10个LD。在50、25和10个检测器数据集上训练的元模型具有非常相似的均值和分布。然而,正如预期的那样,随着MFD变得更加有偏,均值和变异性略有增加,异常值也变得更加分散。这表明模型的预测性能随着训练数据的偏置程度增加而慢慢下降。尽管如此,报告未标准化的平均值仍然值得,以了解MAML性能的提高。我们在表5中报告了这些值。例如,可以看出当使用75个激光雷达(LDs)时,对MAML平均预测流量计算的MAE(平均绝对误差)为30.34,这一结果在各个城市之间是均匀的;而MTPINN的MAE为60.34。由于对城市间的MAE进行平均处理会使得误差值趋于平缓,从而可能掩盖较大的误差,我们在附录(表A.1)中报告了每个城市的MAE值。如第4.3节所述,MTPINN的实验也是在类似的环境下进行的,以便可以对其性能进行比较。从结果来看,MTPINN单独使用时无法预测出具有75个激光雷达输入的交通流密度(MFD)的形状,更不用说10个激光雷达了。如表5所示,这些情况下的均方误差(MSE)和相对标准误差(RSPP)分别为6139.60和0.4(对于75个激光雷达)以及11490.71和0.57(对于10个激光雷达),这些数值是在所有城市中平均得出的。

表5. 均方误差(MSE)、平均绝对误差(MAE)、相对标准误差(RRSE)以及相关性,在所有城市中的平均值。

| 激光雷达数量(LDs) | MAML MSE | MAML MSE | MTPINN MSE |
|---------------|----------|-----------|-----------|
| 75 | 1767.91 | 1968.18 | 6139.60 |
| 50 | 1481.87 | 1477.40 | 6712.78 |
| 25 | 1291.64 | 1236.50 | 5927.66 |
| 10 | 168.49 | 1201.64 | 5859.19 |

表5中显示,与MAML相比,MTPINN在预测75个激光雷达输入下的MFD形状时存在较大误差。此外,MTPINN在50和10个激光雷达输入下的均方误差(MSE)和相对标准误差(RSPP)也分别达到6139.60和6712.78,远高于MAML的6139.60和1481.87。

从表5的数据可以看出,MTPINN单独使用时在预测MFD形状方面表现较差。同时,MAML在不同城市之间的性能差异也较小,说明其泛化能力较强。

图12的结果清楚地表明,使用MAML得到的误差(均方根误差RMSE)系统性低于使用MTPINN得到的误差。相关系数也更高,这表明MAML能够更好地捕捉城市间交通流密度(MFD)的变化趋势。这说明MAML成功地学习了通用的MFD特性,并为未见过的城市提供了更好的预测结果,尤其是在数据量有限的情况下。

MAML框架的优势在评估不同类型数据集的最大流量预测时尤为明显。如表6所示,MAML使MTPINN模型的预测结果更加稳健(MAML 75和MAML 10的预测结果都非常接近双曲线基准)。而单独使用的MTPINN模型则性能下降,例如在马赛(10个激光雷达)的情况下,每个时间间隔的误差最高可达289辆车辆;而使用MAML时,同一数量的激光雷达下的误差仅为48辆车辆。即使在75个激光雷达的情况下,MAML的误差也比MTPINN低得多(马赛为174辆车辆,洛杉矶为83辆车辆)。

尽管MAML在数据稀缺情况下的MFD预测并不完美——它能够准确捕捉到MFD的形状,但未能完全反映MFD曲线末端的下降趋势。此外,图10中的虚线红线表示了各个城市的预计最大流量和临界占用率,从中可以看出MTPINN通常低估了最大流量,而临界占用率的估计值明显高于双曲线模型给出的参考值。

尽管存在这些限制,但与MTPINN单独使用时性能的显著下降相比,这些不足是由于MAML面临激光雷达数量严重不足直接导致的。从结果可以看出,通过对来自不同城市的数据进行预训练,模型能够更好地泛化并在新城市进行预测,即使新城市只有有限的观测数据。这一点在基于50个和25个随机选定激光雷达的数据集训练的模型中也有体现。这些场景下的MFD可视化结果可以在Github仓库中找到。

5.3 应用于交通问题
虽然所提出的框架已经应用于20个选定城市的多种组合,但迄今为止的报告实验主要是为了验证框架的工作原理。在这里,我们复现了一个MAML框架能够解决的交通问题:即埃森(Essen)市的交通流密度(MFD)预测。如第2节所述,只有激光雷达数量超过100的城市被选中进行测试。因此,埃森虽然只有36个激光雷达,但它是该框架的理想案例研究对象。通过将MAML框架应用于MTPINN,可以利用来自数据丰富城市(即20个选定城市)的模式来初始化MTPINN的权重θ,并将这些模式转移到埃森市及其36个激光雷达的测量数据上。第3节描述的架构得到了复制,ただ一处的修改是:测试集不再是3个城市,而是使用了埃森市的数据和36个激光雷达的测量数据。MTPINN仅在埃森数据上进行了5次迭代(即梯度步骤),因为它使用了第3节中计算出的权重。这些步骤使MTPINN能够快速适应新任务,并生成较为准确的MFD形状。

在埃森市的案例中,我们使用了来自39个激光雷达的所有可用数据来进行模拟。在这种情况下,(标准化的)均方误差(MSE)为0.0059,这一数值仍在图11所显示的分布范围内,这是可以预期的,因为埃森的激光雷达数量少于75个。图14展示了在同一实验和相同权重θ下,对巴塞尔(Basel)和法兰克福(Frankfurt)进行的测试结果。值得注意的是,法兰克福的记录间隔非常短(仅一天),这也是它未被纳入主要实验的原因之一。这使得法兰克福的测试特别具有挑战性,尽管从理论上讲它的激光雷达数量与75个激光雷达的阈值相当。

6. 模型验证
在前一节中,我们从定量和定性的角度描述了MAML和MTPINN的结果。我们展示了模型的物理信息结构如何帮助学习临界占用率,以及即使在信息有限的情况下也能学习到交通流的拥堵和非拥堵部分。结果还表明MAML能够利用多种数据源来提高泛化能力。然而,也有其他研究提出了用于MFD的拟合方法。因此,本节分为两部分。首先,我们展示了MAML可以与其他统计模型结合使用,而且其泛化能力不仅限于MTPINN。接着,我们分析了使用迁移学习(Transfer Learning)处理数据稀缺性和多种数据源时的结果,以及物理信息领域知识对模型输出和可解释性的影响。在本节的其余部分,除非另有说明,否则模型都是在75、50、25和10个激光雷达的情况下运行的,使用的是表3.6.1中描述的相同超参数。

现在,我们将MAML与FitFun(Bramich等人,2023年提出的一种基于Generalised Additive Models for Location, Scale, and Shape(GAMLSS)家族的模型)进行结合测试。许多模型(包括MTPINN)使用某种最小二乘拟合方法,该方法假设噪声分布是对称的,但FitFun打破了这一假设(Bramich等人,2022年,2023年)。Bramich等人测试了200多种不同的模型,并得出结论:Sun等人(2014年)提出的功能形式结合Skew Exponential Power III噪声成分取得了最佳结果。在本文中,我们将该模型称为SN2014SEP3。尽管图15的结果仅代表了三个城市,但图16通过MSE和RRSE展示了MAML在20个考虑城市中的显著改进。下载:下载高分辨率图像(774KB)下载:下载全尺寸图像图15。使用75个车道检测器(LDs)进行MFD估计的结果摘要。MAML的结果(上排)和单独使用的FitFun的结果(下排)。下载:下载高分辨率图像(161KB)下载:下载全尺寸图像图16。比较了使用75个LDs的实验中的标准化MSE和RRSE。FitFun在超参数调整时的表现:考虑到Bramich等人在2023年提出的结果,FitFun显然无法拟合提供的数据。因此,我们将迭代次数增加到了1000次。为了将这种超参数调整方法与75个LDs的情况相匹配,本节中报告的MAML结果是在300次元训练迭代(meta-iteration)下运行的,而不是150次。图17显示,在参数调整后,FitFun能够拟合出更合理的抛物线行为,与MAML的结果非常相似。实际上,如图18所示,单独使用的FitFun也达到了与MAML相当的性能,其在各个城市中的MSE分布相似,但异常值较少。同样,两种情况的平均RRSE也相当,不过单独使用的FitFun的方差较低。尽管如此,值得强调的是MAML+FitFun能够更快地达到这些可比的结果,因为它只需要5次迭代。总体而言,虽然结果证实FitFun是一个强大的MFD拟合模型,但它们也表明MAML可以轻松地与不同的架构集成,在数据有限的情况下提供可比甚至更好的结果。下载:下载高分辨率图像(788KB)下载:下载全尺寸图像图17。使用75个LDs和调整后的超参数进行MFD估计的结果摘要。MAML的结果(上排)和单独使用的FitFun的结果(下排)。下载:下载高分辨率图像(172KB)下载:下载全尺寸图像图18。比较了使用75个LDs和调整后的超参数的实验中的标准化MSE和RRSE。图19清楚地显示,测试城市的内循环从更有利的起点开始,并且以更快的速度减少损失(单独使用的FitFun需要超过600次迭代才能达到MAML FitFun在5次元训练迭代中达到的2.3损失值)。虽然本文中对这两个超参数的称呼不同(迭代次数与元训练迭代次数),但它们在概念上是相同的,因为它们代表了模型调整损失并改进MFD估计的步骤。实验表明,虽然在足够的步骤下单独使用的FitFun和MAML + FitFun可以表现出相似的性能,但MAML允许模型从更有利的起点开始。图15和图17中所有测试城市的MFD估计图可以在https://github.com/s184227/MAML_for_MFD找到。下载:下载高分辨率图像(151KB)下载:下载全尺寸图像图19。比较FitFun训练(左侧)和MAML内循环(右侧)中的损失增益。6.2. 与迁移学习的比较本节将MAML-MTPINN与一系列受文献启发的基准模型进行了比较。首先,MAML的主要思想是通过跨任务平均解决方案来找到一个良好的起点。因此,我们尝试在不同任务上训练MTPINN并通过对结果进行平均来获得权重。这种简单的方法(包括多次重新训练)导致了较差的性能,本文没有报告这些结果。相反,我们展示了迁移学习的结果,该方法在Mahajan等人(2023年)的交通流预测研究中成功应用,结果表明,当数据的分布允许观察网络的MFD时,该模型是合适的。具体来说,我们使用了基于模型的迁移学习进行领域适应(Pan和Yang,2009年;Redko等人,2019年),其中模型使用支持集和查询集的所有数据进行预训练以获得良好的初始值。训练后,共享层被冻结,而任务特定层的权重在目标城市可用的数据上进行重新训练。我们测试了以下设置:• 带有冷启动(TC)的迁移学习:在这种情况下,任务特定分支中的权重在重新训练之前被重置为零• 带有热启动(TW)的迁移学习:在这种情况下,任务特定分支中的权重从支持集训练阶段获得的值开始更新。在实践中通常更倾向于使用冷启动,因为预先估计的参数可能接近局部最优解,这意味着热启动不利于泛化。此外,每种方法都使用了5次迭代(TC 5/TW 5)和1000次迭代(TC 1000/TW 1000)进行测试。这是为了与MAML进行公平比较,因为MAML只需要5次内循环迭代。然而,迁移学习并不一定适用于快速适应,因此我们预计可能需要更多的迭代次数。因此,下面没有报告TC 5的结果,因为系统显示在使用冷启动时5次迭代是不够的。最后,为了评估所提出的基于领域信息的MTPINN方法的影响,我们还使用深度神经网络(NN)对这些方法进行了测试。神经网络的架构与MTPINN相同,但它只有一个输出层,并且没有物理信息损失。因此,唯一的输出是平均链路流量。结果如表7和表8所示。表7. 在10个和25个检测器时的性能指标(MSE和RRSE平均值(标准差)空单元格10个检测器25个检测器模型MSE(平均值(标准差)RRSE(平均值(标准差)MSE(平均值(标准差)RRSE(平均值(标准差)神经网络6925.96 (5378.18)0.4017 (0.1318)2879.58 (2217.52)0.2739 (0.0832)MAML NN6089.97 (4776.80)0.3667 (0.1173)2519.77 (2584.68)0.2450 (0.0696)TC 1000 NN5831.43 (3956.05)0.3738 (0.1127)2072.22 (1707.54)0.2353 (0.0777)TW 5 NN5693.06 (3948.61)0.3671 (0.1144)2027.68 (1641.25)0.2338 (0.0767)TW 1000 NN5753.61 (3833.67)0.3714 (0.1104)2064.21 (1672.25)0.2358 (0.0800)MTPINN18728.16 (14149.30)0.6591 (0.2211)8337.29 (4269.23)0.4926 (0.1357)MAML MTPINN5053.14 (4463.30)0.3310 (0.1144)2634.95 (2428.46)0.2566 (0.0746)TC 1000 MTPINN5693.60 (3770.01)0.3706 (0.1081)2020.63 (1625.81)0.2335 (0.0766)TW 5 MTPINN6437.32 (4817.00)0.3894 (0.1277)2284.85 (1721.35)0.2504 (0.0855)TW 1000 MTPINN5665.90 (3758.90)0.3697 (0.1083)2052.85 (1667.85)0.2356 (0.0788)表8. 在50个和75个检测器时的性能指标(MSE和RRSE平均值(标准差)空单元格50个检测器75个检测器模型MSE(平均值(标准差)RRSE(平均值(标准差)MSE(平均值(标准差)RRSE(平均值(标准差)神经网络2237.6 (3294.03)0.2381 (0.0825)2208.46 (1678.9)0.2532 (0.0747)MAML NN1730.62 (2334.57)0.2240 (0.0616)1292.10 (814.64)0.1956 (0.0580)TC 1000 NN1460.56 (1657.92)0.2141 (0.0646)973.30 (664.65)0.1718 (0.0545)TW 5 NN1520.67 (1644.14)0.2187 (0.0707)1035.02 (721.94)0.1754 (0.0547)TW 1000 NN1529.43 (1641.20)0.2204 (0.0713)983.71 (672.13)0.1723 (0.0547)MTPINN5452.38 (6982.01)0.3896 (0.1247)5972.85 (4503.78)0.4131 (0.1227)MAML MTPINN1868.77 (2064.24)0.2467 (0.0593)1177.63 (682.23)0.1911 (0.0500)TC 1000 MTPINN1449.13 (1552.93)0.2147 (0.0638)1029.29 (652.52)0.1773 (0.0504)TW 5 MTPINN1690.66 (1646.32)0.2298 (0.0657)1314.63 (881.45)0.1967 (0.0559)TW 1000 MTPINN1489.03 (1585.07)0.2173 (0.0695)1028.41 (649.07)0.1776 (0.0505)首先,可以看出MAML-MTPINN在10个检测器的情况下表现最好,与第二好的模型(TW-1000-MTPINN)相比MSE提高了11%,与MAML-NN相比提高了17%。对于更多的检测器,迁移学习变得更加有竞争力,并且优于MAML,其中TC-1000-MTPINN是在50个和25个检测器情况下最好的模型。虽然在25个、50个和75个检测器的情况下大多数模型的误差指标接近,但如前所述,应该使用冷启动来确保良好的泛化。虽然TC-1000-NN在50个和75个检测器时提供了良好的性能,但在25个和10个检测器时改进效果不明显,TW-5-NN是NN在10个和25个检测器情况下表现最好的模型。这表明迁移学习在简单的神经网络中可能不适用。还应记住,仅仅看MSE并不理想,因为NN可能正确地拟合了数据,但完全忽略了拥堵分支,如前所述。此外,MTPINN提供了更可解释的结果,包括关键密度,这使得它在实践中更受欢迎,尽管性能相当。尽管如此,本节只关注MSE和标准化RRSE。结果还清楚地表明,与简单的NN相比,MTPINN是一个具有相对较低方差和较高偏差的模型。结果显示,使用MAML训练MTPINN可以使MSE指标减少65%到80%。这表明带有三个输出分支和物理信息损失的结构使得过拟合数据变得非常困难。一个批评可能是这使得模型太难了,因为即使在使用75个检测器的情况下,模型的误差也相对较高。另一方面,MTPINN在使用MAML和迁移学习时表现出一致和可靠的行为,随着检测器数量的减少,这些模型都能进一步减少误差。尽管不如MAML表现好,但TC-1000-MTPINN在所有实验中都表现出可靠的性能和相当可预测的行为。在NN中则观察不到这一点。7. 局限性和未来研究方向MTPINN(具有对LDs记录的完全访问权限)和MAML(访问受限)的性能对于应用来说是令人满意的,如前一节所详述的。尽管如此,仍然可以列出一些局限性。首先,在UTD19数据中只观察到了拥堵的非常早期阶段。因此,对于任何非参数模型来说,评估描述拥堵状态的第二个抛物线的拟合质量都非常困难,因为观察到的数据很少。未来的工作可能会专注于改进MFD拥堵部分的预测,例如采用概率方法对MFD的拥堵分支进行建模。此外,从MTPINN和MAML的超参数校准中可以看出,找到一个能够准确且均匀地适应所有城市的组合可能是不可能的。有可能(并且值得进一步研究)如果模型针对个别城市进行校准,或者可能针对具有特定MFD特征的一组城市进行校准,它可以获得更好的性能。此外,在这项工作中我们只使用了一个数据源(LDs),但有些城市可能拥有不同的数据源(例如,浮动车辆数据)。未来的工作可能会专注于数据融合技术,将各种数据源合并为数据驱动模型的代表性输入,然后将其嵌入到MAML框架中。另一种方法是保持不同的数据源分开使用,一个(LDs)用于元训练,另一个(例如,浮动车辆数据)用于验证。最后还应该指出,在验证所提出的框架时,有意没有将FitFun与MTPINN进行比较,因为这两种模型有不同的假设以及不同的训练方法(如Bramich等人(2023年)所描述的,在训练期间使用了特定的似然函数)。例如,可以观察到FitFun(图18)在使用MAML和不使用MAML时的MSE远高于MAML-NN和MAML-MTPINN(表8)。然而,这并不自动意味着MAML-MTPINN优于FitFun,特别是当有大量检测器可用时。在没有MAML的情况下,FitFun的误差与MTPINN相当,这表明该模型是稳健的,并且没有过拟合数据,因此显示了良好的拟合,但MSE较高。需要更多的研究来比较这两种模型,并探讨如何更好地结合使用MAML和FitFun。8. 结论本文研究了数据稀缺情况下的MFD估计问题。更具体地说,我们考虑了网络中只有少数道路段落装有环路检测器的情况,这可能会在MFD估计过程中引入偏差。本文有两个主要的方法论贡献。首先,我们研究了基于模型不可知的元学习框架的新元机器学习模型(MAML)在MFD估计中的应用。该框架旨在通过利用从其他城市学到的模式来估计MFD参数,以便在数据有限的情况下快速适应新城市。该方法旨在解决城市环境中数据稀缺的问题,在这种环境中,仅有的LDs数量不足以进行稳健的MFD估计,这本身就是一个有争议但并非微不足道的问题,因为其理论公式使得估计特别容易受到噪声、时间变化和分叉现象的影响。MAML的设计针对这些挑战进行了详细说明,包括其算法过程和模块结构。其次,我们引入了一个多任务物理信息神经网络(MTPINN)用于非参数MFD估计。MTPINN被明确设计为能够充分利用MAML(Meta-Learning for Autoreference)和领域知识。该模型可以预测平均流量、关键拥堵量以及关键占用率。MTPINN由共享层和输出分支组成。共享层有两个作用:首先,它们学习在不同输出中共同的潜在特征;其次,它们有助于提高模型的泛化能力,这对于利用多个数据集进行MAML训练至关重要。此外,该模型采用了一种基于物理信息的损失函数进行训练,这种损失函数促使预测结果呈现传统的双抛物线形状。尽管模型的偏差较高,但其方差较低,因此相比简单的非参数神经网络具有更强的鲁棒性。我们使用了UTD19数据集(包含39个城市的交通数据)来测试我们的模型,并公开了代码以便他人复制实验结果。MTPINN在是否包含元学习组件(Meta-Learning)的情况下都进行了测试。这两种方法(MAML和MTPINN)都与传统的双抛物线模型进行了对比。总体而言,结果表明MAML-MTPINN是一个用于交通流量分布(MFD)估计的稳健框架。然而,尽管MAML-MTPINN的拟合效果更好,但在处理非拥堵路段时存在问题——由于许多城市中这种路段并不存在,因此MTPINN以及其他非参数模型往往无法准确捕捉这部分数据。而传统的双抛物线模型在数据量较少时表现更为稳定。

MAML模型能够学习通用的交通流量分布特性,并利用这些特性来实现更好的泛化能力。在所有测试配置中,MAML模型的平均误差显著较低(例如,平均均方误差(MSE)介于1768到3082之间,而MTPINN的MSE范围为6140到11,491)。较低的误差和较低的方差表明元学习组件不仅提升了交通流量分布的估计精度,还增强了模型对数据量减少的鲁棒性。最后,MAML和MTPINN还与其他已发表的模型进行了对比。MAML还与FitFun模型进行了测试,FitFun是一种非参数模型,其函数形式与MTPINN不同,对误差的假设和损失函数也有差异。MAML与FitFun模型的结合 Either提升了预测效果,或者至少加快了运算速度。此外,我们将MAML与两种替代方法进行了比较:一种是结构相似的简单神经网络;另一种是迁移学习(Transfer Learning),这种训练方法同样可以利用不同数据集来提高泛化能力,尤其是在需要将现有模型适配到较小数据集的情况下。在探测器数量非常有限的情况下,MAML和MTPINN的组合表现优于所有基准模型;而在探测器数量较多的情况下,迁移学习与MTPINN的结合能获得更好的结果。值得注意的是,无论使用迁移学习还是MAML,MTPINN总能达到预期的性能。而神经网络在探测器数量有限时容易过拟合数据。MAML系统性地有助于减少过拟合现象,且简单神经网络在结合MAML后也能表现出可预测的行为。相比之下,迁移学习在某些情况下反而会降低模型的性能。尽管在某些情况下迁移学习的表现优于MAML,但在训练简单神经网络时可能会导致更差的结果。然而,MTPINN因其较高的偏差而同样适合用于迁移学习,尤其是当数据集规模较大时。

本研究的贡献在于正式提出了元学习方法,并利用该方法在数据量有限的情况下改善交通流量分布的估计。与不使用元学习组件的类似方法相比,该方法在数据稀缺的情况下显著提升了交通流量分布的估计精度。当探测器数量为75个时,使用MAML后的平均MSE从6139(未使用MAML)降低到1768辆/时间间隔;城市间的平均MAE也从60辆/时间间隔降至30辆/时间间隔。当探测器数量为10个时,MSE和MAE分别降至11,491辆/时间间隔和3082辆/时间间隔以及86辆/时间间隔和41辆/时间间隔。如第5节中埃森市的案例所示,我们的方法已可将MAML初始化后的MTPINN应用于检测器数量较少的城市的交通流量分布估计。这意味着那些数据情况与实验相似的城市可以直接使用该方法及其结果来改进自身的交通流量分布估计(适用于中型城市),或在大规模设备维护等情况下弥补设备暂时减少带来的影响。我们的研究为多个方向提供了探索空间,包括跨区域的可扩展多区域交通流量分布估计,以及解决数据稀缺问题带来的非拥堵路段估计难题。此外,我们的工作还将致力于开发能够生成真实模拟输出的交通流量分布估计方法。

**作者贡献声明:**
- Amalie Roark:撰写、审阅与编辑、原始草稿撰写、软件开发、方法论设计、数据分析、概念化。
- Serio Agriesti:撰写、审阅与编辑、原始草稿撰写、验证工作、方法论设计、数据分析、概念化。
- Francisco Camara Pereira:撰写、审阅与编辑、项目监督、项目管理、资金筹措、方法论设计、数据分析、概念化。
- Guido Cantelmo:撰写、审阅与编辑、原始草稿撰写、验证工作、项目监督、项目管理、方法论设计、数据分析、概念化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号