采用基于大型语言模型（LLM）的增量类学习方法来解决在线增量交通模式选择预测问题

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Addressing the online incremental transport mode choice prediction problem with an LLM-augmented class-incremental learning approach

　　陈泰杰|沈子健|周斌|刘阳|王淑玲|柯金涛
香港大学土木工程系，中国香港

摘要
由于按需出行服务、自动驾驶汽车和飞行汽车等创新技术的推动，新的交通方式迅速出现，正在重塑我们的城市出行格局。此外，出行即服务（Mobility-as-a-Service, MaaS）提供商经常更新其捆绑服务产品，进一步扩展了出行方式的选择范围。在这种动态环境中，传统的交通方式选择预测（Transport Mode Choice Prediction, TMCP）模型往往表现不佳，主要是由于缺乏关于新引入交通方式的数据，以及它们依赖于固定和静态的选择集。这些挑战凸显了需要能够随着新选项的出现而进行适应性调整的预测模型的必要性。为了解决这个问题，我们提出了增量TMCP（Incremental TMCP, ITMCP）问题，并设计了一种新颖的算法框架——基于大型语言模型（Large Language Model, LLM）增强的重放（Replay）的ITMCP-LAR，该框架能够在保留现有交通方式知识的同时，持续适应新出现的交通方式。ITMCP-LAR结合了实时流数据处理、基于LLM的新模式少样本数据增强、动态可扩展的神经分类器以及基于重放的增量学习模块，以防止灾难性遗忘。在真实世界出行数据上的实证结果表明，ITMCP-LAR的表现始终优于传统的静态模型，能够在快速变化的交通环境中提供更高的预测准确性，并有效平衡稳定性和适应性。

引言
技术的快速发展催生了新的交通方式。例如，移动互联网技术推动了网约车服务的发展（Chen等人，2025a, 2025b, 2025c, Feng等人，2024b）；自动驾驶技术使得无人驾驶成为可能（Liu等人，2025b, Zeng等人，2025）；而飞行汽车正在推动低空区域空中客运的发展（Wang和Qu，2023）。此外，服务提供商会根据市场需求频繁调整捆绑出行产品，如修改服务组合、定价结构或促销优惠。例如，一些出行即服务提供商会根据用户需求定制月度票务套餐（Caiati等人，2020）。随着新的交通方式和捆绑服务的出现，旅行者的选择也在自然演变。因此，针对以往场景训练的交通方式选择预测模型（无论是使用行为统计方法还是深度学习方法）无法直接应用于具有新出行选项的新环境。这一限制凸显了需要一个新的研究方向：在实践中，TMCP模型必须随着新交通方式的引入而不断适应。为了解决这一挑战，我们将这种动态适应过程形式化为增量TMCP（ITMCP）问题，其中数据持续流入，新的交通方式也随着时间的推移而出现。与标准TMCP不同，ITMCP受到一个耦合约束结构的控制：模型必须使用新到达的数据进行在线更新，并且只能在保留有限历史数据的情况下扩展其输出空间。因此，目标是在不断扩展的交通方式选择集合上支持准确的在线预测，涵盖现有和新引入的交通方式。

为了有效解决ITMCP问题，我们引入了一个在线的、动态可扩展的神经分类器。随着新交通方式的引入，该模型可以增加其输出维度。然而，在在线环境中更新分类器面临两个主要挑战，每个挑战都需要专门的解决方案。第一个挑战是，在在线环境中，数据以流式方式依次到达。模型必须在新数据可用时立即更新参数，但这样的更新很容易覆盖先前学到的知识，导致模型失去在早期任务上的表现能力——这种现象称为灾难性遗忘（Wang等人，2020；Zhou等人，2024）。为了解决这个问题，我们借鉴了计算机视觉领域的最新进展，采用了基于类的增量学习（Class-Incremental Learning, CIL）方法，该方法允许模型在学习新特征的同时保留先前获得的知识（Gao等人，2024；Roy等人，2024；Wang等人，2024d；Wu等人，2024）。具体来说，我们采用了基于重放的增量学习策略，维护一个包含代表性样本子集的重放记忆。当新的流式数据到达时，模型使用新数据和部分重放记忆来更新其参数。通过有效的记忆维护和采样策略，模型可以在实时学习新模式的同时，保留其先前学到的经验。

第二个挑战是当新交通方式出现时，只有有限的选择行为数据可供使用，这使得微调深度学习模型变得困难。这种情况被称为少样本问题（Ravi和Larochelle，2017；Song等人，2023；Tao等人，2020；Tian等人，2024；Wang等人，2020）。为了解决这个问题，我们引入了生成式数据增强。大型语言模型（LLM）在大量语料库和网络数据上预训练，具有出色的生成能力，可以生成逼真的合成样本来补充训练（Wang等人，2024b；Yoo等人，2021）。先前的研究表明，LLM能够捕捉人类决策的有用方面（Li等人，2024a；Yang等人，2024），并且已有研究将其成功应用于TMCP相关任务（Liu等人，2024；Mo等人，2023）。然而，在我们的设置中，LLM在新模式出现时不会被反复微调。相反，我们使用一个冻结的LLM作为辅助条件生成器，因为新引入的模式最初只有少量的观测数据，而在线环境需要低延迟更新。基于这些考虑，我们利用LLM为新出现的交通方式生成伪标记的交通方式选择样本，然后通过生成后的筛选来提高其可靠性，再将其纳入训练。总体而言，我们提出了一个统一的算法框架——基于LLM增强的重放的ITMCP-LAR。该框架结合了流式特征提取、基于LLM的少样本数据增强、可扩展的神经分类器以及基于重放的增量学习策略，以在新交通选项出现和用户偏好演变时实现稳健的ITMCP。

除了集成算法框架ITMCP-LAR外，我们还为出行数据流引入了两种专门的算法设计。首先是交通感知重放采样器，它选择起点-终点对和时间戳与当前数据流的时空背景高度匹配的重放项。这种有针对性的方法能够实现与上下文匹配的重放，即使在数据分布随时间演变的情况下，也能保留关键的通勤和活动规律模式。第二种设计是平衡的重放缓冲区，它根据梯度范数或不确定性度量等指标，强制执行类别感知的配额，并根据样本的重要性进行优先排序。这种策略防止了主导模式过度占用缓冲区，确保了稀有但操作上重要的模式得以保留，并保持了高价值的样本——即从先前场景中保留的一小部分代表性样本用于重放。这些改进共同通过将重放与相关交通背景对齐，并确保稳定的、具有代表性的记忆组成，增强了基于LLM的增强效果。

•我们将ITMCP形式化为一个受限的在线类增量预测问题，模型必须在固定的记忆预算下进行更新，同时交通方式标签空间随时间扩展。这种表述突出了标签空间增长、历史数据访问受限以及新引入模式观测数据少这三个相互关联的挑战。
•我们提出了一个统一的框架ITMCP-LAR，它结合了基于LLM的少样本数据增强、平衡的重放记忆和可扩展的神经分类器，共同解决新模式的数据稀缺性和现有模式的灾难性遗忘问题。
•我们设计了两种定制的算法增强措施：（i）交通感知重放采样器，根据时空接近性检索历史上相关的出行记录，从而在重放过程中增强上下文一致性；（ii）类别平衡的重放缓冲区，根据重要性分配样本，同时保留高价值的样本以支持持续学习。
•我们使用大规模的真实世界出行数据集进行了全面的实证实验，证明ITMCP-LAR在动态出行环境中始终优于传统的静态离散选择模型和基线持续学习模型，实现了稳健且上下文一致的预测。

本文的其余部分结构如下：第2节回顾相关文献；第3节正式定义ITMCP问题；第4节详细介绍所提出的方法；第5节概述实验设置并讨论实证发现；最后，第6节总结研究并指出未来研究方向。

文献综述
本节从三个角度回顾了相关文献。首先，我们讨论了TMCP模型，强调了从传统离散选择模型向机器学习方法的转变；其次，我们研究了减轻顺序更新过程中灾难性遗忘的CIL方法；第三，我们回顾了LLM及其在行为建模和语义数据增强中的新兴作用。这些视角共同构成了所提出的ITMCP-LAR框架的理论基础。

问题定义
本节正式定义了TMCP问题，这是预测和理解个人出行方式选择行为的基本任务。然后，我们将这一形式扩展到更动态和现实的ITMCP场景，其中新的交通方式或捆绑服务会随着时间的推移不断出现。图1展示了TMCP和ITMCP之间的概念性比较，突出了它们在任务定义、模型更新机制等方面的本质差异。

方法论
我们提出了ITMCP-LAR，这是一个专为动态交通系统设计的框架，其中新的出行方式会出现，用户偏好也会随时间演变。ITMCP-LAR是一个以交通为导向的类增量框架，可以使用不同的持续学习框架来实现，而不仅仅是一个固定的持续学习算法。与受固定模式集限制的传统模型不同，ITMCP-LAR能够适应流式数据，并结合领域特定信息进行增量适应。

实验
本节对所提出的ITMCP-LAR框架进行了全面的实验评估。首先介绍实验设置，详细说明硬件环境和实现配置；随后介绍数据，并描述用于比较分析的基线模型和所提出框架的不同配置；然后定义了标准分类性能和CIL动态的评估指标，以评估模型性能。

结论
在本研究中，我们提出了ITMCP问题，解决了现代出行系统中动态扩展交通方式类别的实际挑战。与受固定选择集限制的传统模型不同，ITMCP使预测模型能够灵活扩展其输出空间，并在新服务或捆绑产品出现时调整参数。这是通过将有限的历史数据与不断到达的实时样本相结合来实现的。

作者贡献声明
陈泰杰：概念化、方法论、软件开发、验证、形式分析、调查、可视化、撰写——原始草稿。
沈子健：数据整理、撰写——审阅与编辑。
周斌：撰写——审阅与编辑。
刘阳：撰写——审阅与编辑。
王淑玲：撰写——审阅与编辑。
柯金涛：资源协调、监督、项目管理、资金获取、撰写——审阅与编辑。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。