《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Combine and conquer: Model averaging for out-of-distribution forecasting
编辑推荐：
出行行为建模文献广泛关注两类模型，即推理模型（inference models）和预测模型（forecasting models）。推理模型旨在理解当前出行行为（例如恢复旅行时间价值），而预测模型旨在预测新场景下的未来出行行为（例如因收费道路和燃油税等交通政策
出行行为建模文献广泛关注两类模型，即推理模型（inference models）和预测模型（forecasting models）。推理模型旨在理解当前出行行为（例如恢复旅行时间价值），而预测模型旨在预测新场景下的未来出行行为（例如因收费道路和燃油税等交通政策变化）。研究人员评估这些模型时标准不同：推理模型关注行为上合理的解释因素及其相对影响，预测模型则强调准确预测行为的能力。预测涉及在新场景中预测行为，因此模型必须泛化到样本外（out-of-sample），甚至分布外（out-of-distribution），例如属性值超出估计数据范围的情况。出行行为分析师对多样化模型兴趣增加，包括计量经济学模型、数学心理学模型（如决策场理论，DFT）和机器学习技术（如多层感知器，MLP和XGBoost，XGB）。然而，目前尚不清楚如何评估和整合模型在经验数据上的拟合性能以开发预测模型。良好样本内拟合未必转化为强分布外性能，行为基础更强的模型可能更稳健。本文贡献有二：一是揭示不同行为基础模型在训练数据与预测场景“距离”函数下的预测性能；二是通过模型平均（model averaging）方法改进预测性能，根据不同距离赋予不同模型权重。研究人员聚焦于单一连续属性——出行距离，作为分布外度量，并采用神经网络（MLP）进行模型平均，以学习距离与权重间的非线性关系。通过两个案例研究验证该方法。
**研究背景、问题与目的**
出行行为建模领域长期存在两类模型：推理模型（inference models）和预测模型（forecasting models）。推理模型侧重于理解当前出行行为，如恢复旅行时间价值；预测模型则旨在预测新场景下的未来行为，例如因交通政策变化（如收费道路、燃油税）导致的出行方式转变。预测模型的核心挑战在于泛化到样本外（out-of-sample）乃至分布外（out-of-distribution）场景，即预测属性值（如时间、成本、距离）超出估计数据范围的情况。近年来，分析师对多样化的模型兴趣增加，包括计量经济学结构（如随机效用最大化RUM离散选择模型）、数学心理学模型（如决策场理论DFT）以及机器学习方法（如MLP、XGBoost）。然而，当前理解不足的是：如何权衡模型在经验数据上的拟合性能与分布外泛化能力。尽管机器学习模型在样本内拟合优异，但行为基础更强的模型在分布外场景中可能更稳健。现有研究缺乏系统方法结合不同模型优势，特别是针对分布外预测。为此，本文提出一种基于模型平均（model averaging）的框架，以出行距离为特征度量分布外程度，利用MLP动态分配权重，旨在提升分布外预测性能。论文发表在《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》。
**主要关键技术与方法**
研究人员采用多层感知器（MLP）作为元模型进行模型平均，将距离特征（原始距离、对数变换、平方项）输入MLP，学习各子模型（嵌套Logit NL、决策场理论DFT、MLP、XGBoost）的权重。子模型在缩减距离区间（20-80百分位）上训练，模型平均结构在更宽区间（10-90百分位）上训练，以学习分布外权重变化。数据来源：DECISIONS数据集（利兹大学选择建模中心，GPS跟踪，415人，10,990次出行，六种方式）和LPMC数据集（Hillel等编制的伦敦出行方式选择数据，31,921人，80,943次出行，四种方式）。超参数通过五折交叉验证调优，MLP训练100次后保留前20%模型。
**研究结果**
**Performance of individual sub-models（子模型性能）**
在估计样本（距离段3-8）上，两个数据集中机器学习模型（MLP、XGB）的似然值（LL）均显著高于行为模型（NL、DFT）。DECISIONS数据中MLP优于XGB，LPMC数据中XGB优于MLP。跨距离段分析显示，不同模型在不同距离段表现各异：在估计段内，MLP和XGB优势明显；但在分布外段（段2和9，即子模型未训练的距离），行为模型表现更优，例如DECISIONS数据段9中DFT优于XGB，LPMC数据段2中NL和DFT最佳。在测试数据上，段1（极短距离）行为模型优势突出，段10（极长距离）趋势不明确。总体未发现过拟合。
**Model averaging results（模型平均结果）**
模型平均结构在估计数据（段2-9）上获得比任何单个子模型更高的LL，两个数据集均如此，且增益在测试数据上更大。权重分析显示：在估计距离区间（段3-8）内，MLP和XGB几乎获得全部权重；超出该区间后，行为模型权重显著增加。例如，LPMC数据中，低于子模型训练下限的距离段，MNL权重超过80%；DECISIONS数据中，高于子模型训练上限的距离段，NL获得大部分权重。测试数据上，模型平均在段1略逊于NL，但在段10取得最佳性能，且整体在段1和10的联合性能优于所有子模型，证实了模型平均在分布外预测中的优势。
**总结讨论与结论**
讨论部分指出，行为基础更强的模型在分布外场景中表现更稳定，可能因其参数受行为理论和正则条件约束，减少了对估计数据中虚假模式的捕捉；而灵活的数据驱动模型可能因过拟合上下文特异性模式而降低分布外鲁棒性。尽管如此，模型平均方法通过结合两者优势，避免了单一模型局限。未来工作可扩展至多属性分布外度量，或探索更复杂的元模型结构（如深度堆叠网络、贝叶斯集成）。
研究结论：本研究在结合不同建模方法进行出行需求预测方面迈出了重要一步。具体而言，研究人员量化了不同模型在估计数据范围内外的预测差异。主要贡献在于开发了一种基于MLP的模型平均方法，该方法根据与估计数据距离的函数估计不同模型的权重。以出行距离为特征，在两个方式选择案例中，数据驱动机器学习模型在估计数据类似距离上获得几乎全部权重；但超出该范围后，模型平均方法增加行为模型权重。预测性能上，模型平均在估计和测试数据上均获得最佳整体性能，且优势在分布外预测中最大。尽管分析聚焦于预测性能，观测到的模型类差异可根据其底层结构解释：行为基础更强的模型在分布外场景中可能表现更稳定，因其参数受行为理论约束；而更灵活的数据驱动模型在样本内拟合优异，但泛化时可能缺乏稳健性。本研究为旅行需求预测中结合模型优势提供了实用框架。
