面向基于大语言模型的出行方式选择预测的检索增强生成策略基准测试

《Travel Behaviour and Society》：Benchmarking retrieval-augmented generation strategies for large language model-based travel mode choice prediction

　　

摘要：准确预测出行方式选择对于有效的交通规划至关重要，然而传统统计与机器学习模型受限于僵化的假设、有限的情景推理能力和较弱的可迁移性。本研究探讨了大语言模型（LLM）作为一种更灵活、更具情境感知能力的出行方式选择预测方法的潜力，并通过检索增强生成（RAG）技术将预测锚定在实证数据之上。我们开发了一个模块化框架，将RAG集成到基于LLM的出行方式选择预测中，并评估了四种检索策略：基础RAG、均衡检索RAG、采用交叉编码器重排序的RAG，以及均衡检索与交叉编码器重排序相结合的RAG。这些策略在三种LLM架构（OpenAI GPT-4o、o4-mini和o3）上进行测试，以考察模型推理能力与检索方法之间的交互作用。我们利用2023年普吉特海湾地区家庭出行调查数据进行了一系列实验，以评估模型性能。结果表明，RAG在多种模型中显著提升了预测准确性。值得注意的是，GPT-4o模型结合均衡检索与交叉编码器重排序达到了80.8%的最高准确率，超过了传统统计与机器学习基线模型。此外，基于LLM的模型展现出优于这些基线模型的零样本迁移能力。研究结果突出了LLM推理能力与检索策略之间的重要相互作用，证明了将检索策略与模型能力相匹配对于最大化基于LLM的出行行为建模潜力至关重要。

1. 引言

个体选择特定交通方式进行出行的过程，即出行方式选择，是出行需求预测领域中最关键且研究最广泛的组成部分之一（Ben-Akiva和Lerman，1985）。对这些选择的准确预测不仅是交通建模中的技术工作，更是有效城市规划、可持续发展和提升公共福祉的基本前提（Handy，1996；Schneider，2013）。个体所做的决策——无论是开车、乘坐公共交通、骑自行车还是步行——汇聚成系统层面的结果，显著塑造着城市格局。这些集体选择决定了交通基础设施的需求，影响交通拥堵的严重程度，决定出行的环境足迹，并最终定义城市的生活质量。因此，开发稳健可靠的出行方式选择预测模型对于致力于创建高效、公平、宜居城市环境的决策者和规划者而言至关重要。

预测出行方式选择本身是一项复杂的任务，受旅行者人口特征、出行特征和交通选项的影响（Barff等，1982；Paulssen等，2014；Buehler，2011；Bhat，2000）。传统上，基于随机效用最大化理论的多项Logit等离散选择模型通过模型系数提供了可解释的行为洞察（Ben-Akiva和Lerman，1985；Ben-Akiva和Bierlaire，1999；Bhat，1995）。然而，其僵化的假设往往无法捕捉人类行为的非线性动态，导致预测偏差。随机森林等机器学习模型通过直接从数据中学习复杂模式来提高预测准确性，但代价是牺牲了可解释性（Hagenauer和Helbich，2017；Zhao等，2020；Kashifi等，2022）。此外，这两种方法都依赖于结构化数值数据，缺乏情境推理能力，限制了它们向训练范围之外的新情况或政策的可迁移性。

大语言模型（LLM）的兴起带来了新的范式，有可能解决上述局限。在海量文本语料上预训练的LLM具有独特的情境感知能力，能够解读非结构化的定性信息（Achiam等，2024）。更重要的是，LLM展现出涌现的推理能力。通过思维链（Chain-of-Thought, CoT）等技术，它们可以用自然语言阐述预测的逐步推理过程，提供一种透明而直观的、可解释的形式（Xu等，2025）。此外，其强大的零样本和少样本学习能力使其具有很高的数据效率和泛化能力。

尽管功能强大，LLM容易产生幻觉，其知识也仅限于训练数据。为了克服这一问题以应对交通规划等高风险应用，检索增强生成（RAG）已成为一项关键的支撑技术。RAG通过动态检索相关的外部信息——在本案例中是数据库中相似的历史出行——并将其作为上下文提供给模型用于预测，从而增强LLM的性能（Lewis等，2020）。这一过程将LLM的推理锚定在实证数据上，降低了幻觉风险，将通用模型转变为专业化、数据驱动的决策工具（Gao等，2024）。

尽管LLM和RAG的潜力显而易见，但它们在出行方式选择预测中的应用仍然有限。本研究旨在解决两个关键的研究空白。第一，需要系统地评估先进的RAG策略，以理解从基础检索到更复杂流程的不同检索方法如何影响预测准确性。第二，底层LLM架构选择与RAG策略之间的相互作用尚未得到考察。尚不清楚更强大的基础模型是否总是更优，还是当与高度优化的检索系统配对时，性能较弱的模型也能实现更好的表现。回答这一问题对于确立有效部署这些模型的最佳实践至关重要。

更重要的是，本研究旨在超越标准的表格数据到文本及上下文学习流程，通过考察出行行为建模中检索应如何设计来进行探索。出行调查数据集通常以严重的类别不平衡为特征，其中主要出行方式（如驾车和步行）的频率远大于公共交通、自行车或微型交通方式。在这种情况下，朴素的基于相似性的检索可能会通过主要检索来自主导出行方式的样本来强化多数类别偏差。此外，检索增强的效益可能取决于底层LLM的推理能力。虽然检索到的样本可以将模型锚定在实证数据上，但如果检索到的上下文存在偏差或相关性较弱，它们也可能为高推理能力的模型引入噪声。这产生了一个重要的需求——理解何时检索会起到帮助作用，何时会带来负面影响，以及如何通过均衡检索和交叉编码器重排序等策略来提升检索质量。

本文旨在通过对基于LLM的出行方式选择预测中RAG策略的综合基准分析来填补这些空白。本研究的方法论贡献不仅在于将LLM应用于出行方式选择预测，更在于为出行行为应用推导出实用的检索设计见解。具体而言，主要贡献有三方面。第一，我们开发了一个模块化且具有通用性的框架，将RAG与LLM集成用于出行方式选择预测，系统评估了零样本预测、基础RAG、均衡检索RAG、交叉编码器重排序RAG，以及均衡检索与交叉编码器重排序相结合的RAG。第二，我们提供了考虑类别不平衡的检索设计评估，通过考察均衡检索是否改善了少数出行方式的预测。第三，我们研究了GPT-4o、o4-mini和o3上检索策略与LLM推理能力之间的交互作用，表明检索增强并非普遍有益，高推理能力模型需要更精确的检索证据才能超过其零样本基线。这些分析共同为在出行行为建模中部署RAG增强的LLM提供了方法论指导，包括如何平衡准确性、少数类别表现、运行时间、token使用量和成本。

2. 文献综述

2.1 出行方式选择建模

出行方式选择的研究是交通研究领域中一个成熟的领域，被认为是出行需求预测中的关键步骤（Ben-Akiva和Lerman，1985；Ben-Akiva和Bierlaire，1999；Hasnine和Nurul Habib，2021）。出行方式的选择是一项复杂的决策，受到众多因素的影响。这些因素大致分为三类：旅行者特征、出行特征以及交通系统和建成环境的属性（Buehler，2011；Bhat，2000；Eldeeb等，2021）。旅行者特征包括社会人口和经济因素，如年龄、性别、收入和车辆拥有情况。出行特征包括出行距离、时间和出行目的（如工作、上学、休闲）等变量。最后，系统与环境属性包括不同出行方式的服务水平（出行时间、成本）、基础设施质量（如人行道和自行车道的可用性），以及天气状况和土地利用模式等外生因素。

基于这些因素，出行方式选择建模发展出了两大主要范式：统计模型和机器学习模型。数十年来，该领域一直依赖离散选择模型，特别是多项Logit模型和嵌套Logit模型（Ben-Akiva和Lerman，1985；Ben-Akiva和Bierlaire，1999；Bhat，1995；Bhat，2000）。基于随机效用最大化经济理论，Logit模型的主要优势在于其高度的可解释性。其系数具有明确的行为含义，使规划者能够理解选择背后的原因。然而，Logit模型建立在严格的统计假设之上，如无相关替代独立性（IIA）特性，难以捕捉人类行为中固有的复杂非线性关系，可能导致预测偏差（Zhao等，2020）。

为了应对统计模型在预测方面的不足，研究人员越来越多地转向随机森林、梯度提升方法和神经网络等机器学习技术（Hagenauer和Helbich，2017；Zhao等，2020；Lee等，2018；Chen和Cheng，2023；Cheng等，2019）。这些模型的主要优势在于其更优越的预测准确性，其数据驱动的本质使其能够学习复杂的非线性模式。然而，这种预测能力通常以牺牲可解释性为代价，导致了众所周知的"黑箱"问题（Zhao等，2020；Xu等，2021）。虽然机器学习模型可能准确地预测个体会选择哪种出行方式，但其内部逻辑往往是不透明的，限制了其在政策分析中的效用。

此外，统计模型和机器学习模型在本质上都是处理结构化数值数据的数学构造，它们缺乏对出行真实世界背景或旅行者实际体验的真正理解（Ge等，2025）。这种缺乏情境推理能力限制了这些模型的可迁移性，尤其是在试图预测训练数据分布之外的新情况或政策环境下的行为时。

2.2 大语言模型在出行行为建模中的应用

大语言模型的兴起为建模复杂的人类行为（包括离散选择和决策）开辟了新的前沿（Ge等，2025；Jiawei等，2024；Gong等，2024；T. Liu等，2025；Adornetto等，2025；Z. Liu等，2025；Ying等，2025）。与传统需要结构化数值输入的模型不同，LLM能够处理并推理丰富的描述性文本。这种能力使其有可能捕捉选择情境中更细微的方面。研究表明，LLM通过利用上下文学习——在提示中提供示例以引导模型预测——能够在各种决策任务中取得令人印象深刻的表现（Ge等，2025；Zhang和Xu，2025）。这种方法通常被称为零样本或少样本提示，已被探索应用于从消费产品选择到政策决策等各种任务，展示了LLM作为"零数据"分类器的潜力。

具体而言，将LLM应用于出行方式选择预测是一个新兴但有前景的研究领域。初步研究表明，LLM可以通过推理出行场景的文本描述来预测出行方式，而无需显式的模型训练（Zhang和Xu，2025；Nie等，2025；T. Liu等，2024）。这与此前主导该领域的密集数据和统计刚性方法形成了显著的区别。然而，LLM在该领域中的"零样本"性能通常受到模型内部知识的限制，这些知识可能与特定出行调查的地理或人口背景不完全匹配（T. Liu等，2024）。这些模型可能对提示措辞敏感，在没有专门适配的情况下，不一定能持续超过精心调整的传统模型。为了解决这些不足，研究人员正在探索检索增强策略。检索增强生成（RAG）通过为模型提供从特定数据集中检索到的相关样本来增强LLM的预测，有效地将模型的推理锚定在情境适当的信息上（Lewis等，2020）。然而，很少有现有研究探讨利用RAG来增强LLM对出行方式选择的预测。

本研究在此基础上系统评估了不同的RAG策略和大语言模型（LLM）架构如何优化，以提高出行方式选择预测的准确性，超越简单的零样本方法，构建更具鲁棒性和上下文感知能力的模型。

3. 方法论

3.1. 问题定义

本研究将出行方式选择预测任务正式定义为多类别分类问题。目标是给定一组描述旅行者和出行特征的解释变量，预测个体旅行者在某次出行中将选择的交通方式。值得注意的是，与需要所有可用备选方案及其属性信息的传统离散选择建模框架不同，该定义仅依赖于观测到的方式相关信息。这种多类别分类定义能够使用更广泛的数据集，并与使用大规模出行调查数据的数据驱动研究保持一致（Kashifi等, 2022, Xia等, 2023, Hagenauer和Helbich, 2017, Cheng等, 2019, Chapleau等, 2019, Wang和Ross, 2018）。

考虑旅行者n，来自N个个体集合，正在进行出行t。旅行者面对一个包含k个独立出行方式备选方案的离散选择集M，即M={m1, m2, …, mk}。我们假设所有旅行者共享相同的选择集M。旅行者n对于出行t所做的选择记为ynt，其中ynt∈M。决策过程受输入特征向量Xnt的影响，该向量代表选择情境。该特征向量由多类属性组成，包括旅行者特征（如年龄、性别、收入）和出行特征（如距离、目的）。

核心问题是学习一个映射函数f，输入特征向量Xnt并输出预测的出行方式?nt，使得：

(1) ?nt = f(Xnt)

在概率框架下，模型估计每个方式m∈M的条件概率P(ynt=m|Xnt)。最终预测的方式是使该概率最大化的那个：

(2) ?nt = argmax_{m∈M} P(ynt=m|Xnt)

这种通用定义适用于传统离散选择模型、常规机器学习分类器以及本研究调查的基于LLM的方法。在LLM的语境中，结构化特征向量Xnt被转换为自然语言提示，描述选择场景。LLM随后处理该文本输入以生成预测ynt，利用其推理和上下文感知能力完成分类任务。

3.2. 出行方式选择预测框架

为了系统评估LLM在出行方式选择预测中的性能，我们开发了一个带有RAG的模块化框架。该框架旨在摄取结构化表格数据，构建可搜索的过往出行行为知识库，并采用各种检索策略从LLM中引出有理有据的预测。如图1所示，架构包括多阶段流水线，从数据序列化阶段开始，最终在检索和生成阶段进行新出行预测。

过程从数据序列化开始，将表格调查数据转换为模型可以原生处理的文本格式。表格数据集中的每条记录，代表一次独特的出行及其相关旅行者特征，被转换为连贯、可读的自然语言描述。这种表格到文本的生成过程使用基于模板的方法，将特征名称及其对应值编入句子中（例如，"出行距离为5英里。旅行者35岁。"）。序列化后，整个数据集被划分为训练集和测试集，以确保严格评估模型的泛化能力。注意，测试集出行的出行方式选择被遮盖以避免信息泄漏。

下载：下载高分辨率图片（441KB）下载：下载全尺寸图片
图1. 使用RAG增强LLM的出行方式选择预测框架。

之后，序列化训练集用于构建外部知识库。训练数据中每次出行的文本描述被视为一个文档。这些文档随后由嵌入模型处理，将文本转换为高维向量表示。这些向量随后被索引并存储在专用向量数据库中。对于该框架，我们使用Facebook AI相似度搜索（FAISS），一个针对稠密向量高效相似度搜索优化的库（Douze等, 2025）。该索引向量存储作为检索器，提供可搜索的过往出行知识库，LLM可以在推理时查询。

框架的核心是测试集中每次出行的检索与生成过程。检索阶段嵌入测试出行（查询）的序列化文本，并针对FAISS索引执行相似度搜索，以识别向量存储中最相似的出行。本研究的关键目标是比较该框架内不同检索策略的性能。相应地，我们评估了四种不同的RAG策略。第一种是基本RAG，检索最相似的示例。第二种引入平衡检索，通过选择跨出行方式的更多样化示例集合来解决类别不平衡。第三种采用交叉编码器重排序机制，实施两阶段流程以细化初始检索结果，最大化相关性。最后，第四种策略结合平衡检索与交叉编码器重排序。这些方法的详细描述见下一节。

最后，从选定的检索策略获得的文档用于构建LLM的增强提示。该提示精心设计，包含三个关键组件：明确定义出行方式选择预测任务的指令、包含检索到的相似出行描述的上下文，以及代表测试出行本身的输入数据。提示模板如下：

系统消息：你是一名出行行为专家。你的任务是预测一次出行最可能的出行方式。
用户消息：出行详情：{序列化出行描述}
相关过往出行：{检索出行1，包含其观测出行方式}
{检索出行2，包含其观测出行方式}
...
{检索出行K，包含其观测出行方式}
问题：根据出行详情和相关过往出行，最可能的出行方式是什么？仅输出以下之一：[驾车, 步行, 公共交通, 自行车/微出行]

LLM响应去除首尾空白，通过转换为小写并去除多余标点进行规范化。如果响应完全匹配四个有效标签之一，则直接映射到对应类别。如果响应包含有效标签及附加文本，则提取有效标签。指代常见同义词的输出映射到规范标签，例如"Driving"映射到"Drive"，"Bus"映射到"Transit"，"Bicycle"映射到"Bike/Micromobility"。如果无法识别有效标签，则预测被视为无效。

通过向LLM提供这些相关的上下文示例，模型基于知识库中的实证数据获得依据。这一过程增强了LLM最终预测的准确性和上下文感知能力，同时降低了幻觉风险。

3.3. RAG策略

RAG系统的有效性从根本上取决于检索并作为外部知识提供给LLM的信息的质量、相关性和上下文一致性。检索策略决定从知识库中选择哪些示例来指导模型的推理和预测过程。为了确定出行方式选择预测最有效的配置，本研究实施并系统比较了四种具有代表性的RAG策略，涵盖当前检索增强框架的主要设计维度：（1）基本RAG，直接基于嵌入相似度检索最相似的样本；（2）带平衡检索的RAG，确保检索到的上下文对不同出行方式有更均衡的代表，以缓解类别不平衡；（3）带交叉编码器重排序的RAG，通过联合编码查询和候选来细化初始检索结果，获得更高的语义精确性；（4）带平衡检索和交叉编码器重排序的RAG，整合平衡采样和语义细化以实现全面优化。这些策略代表了检索增强语言建模中的主流方法，涵盖从简单基于嵌入的检索到重排序增强和分布平衡检索的整个谱系。图2提供了这些策略工作流的概览。

下载：下载高分分辨率图片（466KB）下载：下载全尺寸图片
图2. 基本RAG、带平衡检索的RAG、带交叉编码器重排序的RAG以及带平衡检索和交叉编码器重排序的RAG概览。

3.3.1. 基本RAG

基本RAG策略是检索增强框架的标准实现。在该方法中，检索器利用向量存储（例如FAISS）在索引的训练出行描述语料库上执行语义相似度搜索。

设训练数据集D={d1, d2, …, dN}中每个序列化出行描述di使用预训练嵌入模型fθ(·)映射到高维嵌入空间Rm：

(3) zi = fθ(di) ∈ Rm

其中fθ通常是基于Transformer的编码器（例如Sentence-BERT），参数为θ。对于测试集中的查询出行描述q，计算其嵌入：

(4) zq = fθ(q)

为了检索相关上下文，检索器计算查询嵌入zq与数据库中所有存储嵌入zi之间的余弦相似度：

(5) sim(zq, zi) = (zq·zi)/(‖zq‖·‖zi‖)

检索器随后选择前k个文档：

(6) R(q) = arg top-k_{di∈D} sim(zq, zi)

生成k个最近邻集合{d(1), d(2), …, d(k)}。

这些前k个文档被拼接形成增强上下文C?q，前置到查询并传递给LLM进行条件生成：

(7) yq = LLM([q⊕C?q])

其中⊕表示拼接，yq是预测结果（即出行方式）。

虽然该方法计算效率高且易于实现，但其局限性在于完全依赖语义相似度。具体而言，嵌入空间中的高余弦相似度并不一定保证检索到最具信息量或任务相关的文档，当语义邻居与任务相关的决策边界不对齐时，可能会降低预测准确性。

3.3.2. 带平衡检索的RAG

出行方式选择数据集通常具有显著的类别不平衡特征，常见方式如驾车相对于少数方式如公共交通被严重过度代表。在这样的数据集上使用基本RAG方法可能会检索到不成比例数量的多数类别示例，导致LLM预测出现偏差。带平衡检索的RAG策略专门设计用于缓解这一问题。与其检索总体上最相似的top-k个文档，该方法确保选择多样化和具代表性的示例集合。它通过对每个出行方式类别执行独立的相似度搜索并从每个类别检索预定数量的top示例来工作。

设可能的出行方式类别集合为C={c1, c2, …, cM}，其中M表示出行方式类别数。每个训练文档di∈D同时关联其嵌入zi=fθ(di)及其方式标签?i∈C。对于给定查询q，计算其嵌入：

(8) zq = fθ(q)

而不是单一的全球相似度排序，平衡检索按类别将训练语料库划分为子集：

(9) Dcj = {di∈D | ?i=cj}, j=1,…,M

对于每个类别cj，检索器基于余弦相似度选择最相似的top-kj个文档：

(10) Rcj(q) = arg top-kj_{di∈Dcj} sim(zq, zi)

最终检索集是类别特定检索的并集：

(11) R(q) = ∪_{j=1}^M Rcj(q)

对于平衡检索，kj通常在类别间均匀分布。例如，如果K=4且M=4，则策略从每个类别检索一个文档（k1=k2=k3=k4=1），无论它们在数据集中的流行程度如何。这种平衡公式确保LLM可以访问每种可能出行方式的先例，防止多数类别主导提示。

3.3.3. 带交叉编码器重排序的RAG

带交叉编码器重排序的RAG策略引入了一种两阶段检索流水线，旨在最大化检索文档的相关性，从而增强提供给LLM的上下文质量。该方法通过结合轻量级双编码器检索器进行初始召回和更具表达力的交叉编码器模型进行细化排序，在计算效率与精确性之间取得平衡。

在第一阶段，使用快速双编码器检索器识别大量候选文档。每个文档di∈D独立编码为稠密向量嵌入zi=fθ(di)，而查询q嵌入为zq=fθ(q)。

查询与文档之间的语义相似度使用余弦相似度来衡量，检索器选择前 ??′ 个候选文档：
（12）??(??)=arg top-??′ ????∈?? sim(????, ????)
其中 ??′ 大于最终检索数量（例如 ??′=20），以确保对潜在相关候选的广泛覆盖。

在第二阶段，使用交叉编码器模型 ??_??(?,?) 对候选集 ??(??) 进行精炼，该模型参数为 ??。与双编码器独立计算嵌入向量不同，交叉编码器将查询和每个候选文档作为一个对 (??, ????) 联合处理。交叉编码器将查询和候选文档作为配对输入联合编码：
（13）???? = [CLS]?? [SEP]???? [SEP]
其中 [CLS] 是分类标记，[SEP] 是分隔标记。配对输入随后通过 MiniLM 编码器（Wang et al., 2020）。序列分类头使用 [CLS] 标记的隐藏表示来产生标量相关性分数：
（14）??_[CLS],?? = MiniLM_??(????)_[CLS]
（15）???? = ??_??(??, ????) = ??^? ??_[CLS],?? + ??
其中 ?? 和 ?? 是序列分类头的参数，???? 是用于对候选示例进行排序的标量相关性分数。

交叉编码器的联合表示能够实现更深入的语义对齐，因为它同时关注查询和文档标记。然后根据分数对候选进行重新排序：
（16）?(??) = arg top-?? ????∈??(??) ????
其中 ?? < ??′ 指定最终选择的文档数量。

由于查询和候选示例被联合编码，交叉编码器能够捕获目标行程与检索示例之间的标记级交互。这使其计算开销比双编码器检索更大，但能为相对较小的候选池提供更准确的相关性排序。通过结合快速近似检索器进行广泛的候选选择和计算密集的交叉编码器进行细粒度排序，这种两阶段策略确保了提供给大语言模型的上下文既全面又尽可能高质量。

在本研究中，重新排序模块使用预训练的句子转换交叉编码器模型 ms-marco-MiniLM-L6-v2。该模型是一个基于 MiniLM 的 BERT 序列分类模型，在 MS MARCO 段落排序任务上训练（Reimers and Gurevych, 2019）。我们直接使用该模型作为相关性评分器，未针对出行调查数据进行额外的微调或任务特定训练。我们选择此交叉编码器模型，因为它在重新排序效果和计算效率之间提供了良好的平衡。与更大的交叉编码器变体相比，MiniLM-L6 模型轻量且保持具有竞争力的检索性能（Wang et al., 2020），使其适用于出行方式预测实验中对大量测试样本的重复重新排序。

在推理过程中，交叉编码器以评估模式运行，模型参数固定。输入对进行标记化，并进行填充和截断，最大输入长度为 512 个标记。序列分类头的原始标量输出被用作排序的相关性分数。如果两个候选获得相同分数，则通过保留第一阶段双编码器检索的原始顺序来确定性地解决并列情况。

3.3.4. 结合平衡检索与交叉编码器重新排序的 RAG

结合平衡检索与交叉编码器重新排序的 RAG 策略将类别平衡和细粒度重新排序的互补优势整合到一个统一的两阶段流水线中。平衡检索通过确保少数类别在检索集中得到同等表示来缓解类别不平衡，而交叉编码器引入后续精炼步骤以优化上下文相关性。这种结合方法确保大语言模型接收到的上下文示例既在各类别之间具有多样性，又与查询最大程度相关。

如平衡检索框架所述，语料库首先按模式类别划分为子集：
（17）??_???? = {???? ∈ ?? | ??? = ????}，?? = 1, …, ??
其中 ?? 是模式类别的数量。

从每个类别子集中，检索器选择前 ??′_?? 个候选：
（18）??_????(??) = arg top-??′_?? ????∈??_???? sim_bi(????, ????)

这些类别特定候选集的并集构成整体候选池：
（19）??(??) = ∪_{??=1}^{??} ??_????(??)

候选池 ??(??) 被传递给交叉编码器模型 ??_??(?,?)，该模型联合编码查询-文档对并产生上下文化的相关性分数：
（20）???? = ??_??(??, ????)，???? ∈ ??(??)

然后根据这些分数对候选进行重新排序，并选择前 ?? 个文档：
（21）?(??) = arg top-?? ????∈??(??) ????

通过结合平衡检索与交叉编码器重新排序，这种混合策略确保检索到的示例同时在所有类别中具有代表性，并为语义相关性进行微调，从而实现对类别不平衡的鲁棒性并最大化预测质量。

4. 实验

4.1. 数据集

本研究的数据来源于 2023 年普吉特海湾区域委员会（PSRC）家庭出行调查。PSRC 调查是一项全面、持续的数据收集工作，捕获华盛顿州普吉特海湾中部地区各家庭的日常出行信息。该调查的主要目标是全面了解区域出行模式，包括人们如何出行、去哪里出行以及为何出行，以支持交通和土地利用规划。这一丰富的数据集提供了关于个人行程的详细记录，以及出行者和其家庭的社会人口特征。

在本研究中，我们提取了调查数据的一个特定子集，专注于华盛顿州西雅图市内发生的行程。时间范围限定为单月，从 2023 年 5 月 1 日到 2023 年 5 月 31 日，以确保样本的一致性和时效性。原始数据经过清洗过程，包括移除模型所需关键变量缺失或不完整的记录。最终清洗后的数据集包含 2847 条适合分析的独立行程记录。数据集随后进行划分，80% 的数据分配给训练集，剩余 20% 保留作为测试集以评估模型性能。

处理后的数据集包含一组基于文献中已确立的对出行方式选择影响的独立变量，以及一个代表所选方式的单一结果变量。预测任务的结果变量是行程方式，这是一个有四种可能结果的类别变量：驾驶、步行、公共交通、自行车/微出行。用于建模出行方式选择的独立变量分为出行者特征和行程特征。出行者特征描述了进行行程的个体及其家庭背景，包括年龄、性别、教育水平、家庭收入和家庭中车辆数量。行程特征描述行程本身，包括行程距离、行程目的（如工作、购物、社交）和行程开始时间。值得注意的是，原始数据集还包含行程时长变量，这是出行方式选择的直接结果（例如，步行一英里比驾驶花费更长）。这将人为提高模型的预测准确度，损害评估的有效性。因此，行程时长变量从数据中排除以防止信息泄露。本研究使用的变量的描述性统计见表 1。

为评估模型在主要数据集之外的零样本迁移能力，我们使用了另外两个数据集进行评估。第一个是 2023 年 PSRC 家庭出行调查的子集，专门关注华盛顿州塔科马市内发生的行程。第二个是 2022 年全国家庭出行调查（NHTS）的子集，限定为城市地区内发生的行程。从这两个数据集中，我们各随机采样了 569 条行程，与测试集的样本量相匹配，以确保评估设置一致。这些额外数据集使我们能够在控制样本量影响的同时考察模型在不同情境中的迁移性。这些测试集的描述性统计见附录表 A.1。

表 1. 变量的描述性统计。

| 变量 | 值 | 频率/均值 | 百分比/标准差 |
|------|-----|-----------|--------------|
| 结果变量：行程方式 | 驾驶 | 1271 | 44.64% |
| | 步行 | 1031 | 36.21% |
| | 公共交通 | 379 | 13.31% |
| | 自行车/微出行 | 166 | 5.83% |
| 出行者特征：年龄 | 18-24 | 288 | 10.12% |
| | 25-34 | 877 | 30.80% |
| | 35-44 | 757 | 26.59% |
| | 45-54 | 358 | 12.57% |
| | 55-64 | 276 | 9.69% |
| | 65-74 | 224 | 7.87% |
| | 75 岁及以上 | 67 | 2.35% |
| 出行者特征：性别 | 男性 | 1261 | 44.29% |
| | 女性 | 1530 | 53.74% |
| | 非二元性别 | 56 | 1.97% |
| 出行者特征：教育水平 | 高中以下 | 25 | 0.88% |
| | 高中 | 151 | 5.30% |
| | 部分大学 | 239 | 8.39% |
| | 职业/技术培训 | 14 | 0.49% |
| | 副学士学位 | 128 | 4.50% |
| | 学士学位 | 1259 | 44.22% |
| | 研究生学位 | 1031 | 36.21% |
| 出行者特征：家庭收入 | 25,000 美元以下 | 182 | 6.39% |
| | 25,000-49,999 美元 | 447 | 15.70% |
| | 50,000-74,999 美元 | 335 | 11.77% |
| | 75,000-99,999 美元 | 465 | 16.33% |
| | 100,000-199,999 美元 | 848 | 29.79% |
| | 200,000 美元及以上 | 570 | 20.02% |
| 出行者特征：家庭中车辆数 | 1.03 | 0.78 | |
| 行程特征：行程距离（英里） | 2.28 | 2.33 | |
| 行程特征：开始时间 | 14.08 | 4.32 | |
| 行程特征：行程目的 | 家庭 | 1074 | 37.72% |
| | 工作 | 390 | 13.70% |
| | 社交/休闲 | 463 | 16.26% |
| | 购物 | 341 | 11.98% |
| | 用餐 | 219 | 7.69% |
| | 商务/事务 | 140 | 4.92% |
| | 陪同 | 131 | 4.60% |
| | 过夜 | 68 | 2.39% |
| | 学校 | 18 | 0.63% |
| | 转换方式 | 3 | 0.11% |

4.2. 模型设置

本节详述所评估的具体大语言模型以及大语言模型生成和 RAG 流水线所使用的参数。

本研究的一个关键目标是理解基础模型能力与检索策略之间的相互作用。为此，我们选择了来自 OpenAI 的三种不同的大语言模型架构，代表了能力、速度和成本光谱上的不同点：
- GPT-4o：OpenAI 的多模态模型，能够处理和生成文本、音频和图像的组合。中等速度，中等推理能力，高成本。在本研究中，温度参数设置为 0。
- o3：OpenAI 的强大推理模型，擅长需要逐步逻辑推理的复杂任务。速度慢，推理能力高，成本高。
- o4-mini：一个更小、更快、更实惠的推理模型，针对推理任务优化了高效性和速度。最快且最便宜。

RAG 的配置在三个大语言模型中保持一致。我们使用 OpenAI 的 text-embedding-3-large 模型作为嵌入模型。训练数据的向量嵌入使用 FAISS 进行索引和存储。FAISS 索引使用 IndexFlatL2 实现，语义相似度通过余弦相似度衡量。所有模型和检索策略共享相同的训练集向量库以确保可比性。交叉编码器重新排序模型为 ms-marco-MiniLM-L6-v2。

在所有实验中，最终检索的文档数量（即包含在大语言模型提示中的行程示例）固定为 ??=4。对于基础 RAG，检索器基于嵌入相似度选择前四个示例。对于平衡检索 RAG，我们为每个类别 ?? 设置 ??_??=1，使每个出行方式类别检索一个示例，最终检索集包含 ??=∑_{??=1}^{4} ??_??=4 个示例。对于交叉编码器重新排序 RAG，我们使用两阶段检索过程。初始双编码器检索器基于嵌入相似度选择 ??′=20 个候选示例。交叉编码器然后重新排序这些候选，前 ??=4 个示例被包含在最终提示中。对于结合平衡检索与交叉编码器重新排序的 RAG，初始候选池也设置为 ??′=20，但候选以类别平衡的方式检索，每个出行方式类别检索 ??′_??=5 个示例。然后这 20 个候选由交叉编码器重新排序，最终前 ??=4 个示例用作上下文示例。

检索数量 ??=4 被选为紧凑且适合任务的设置，以平衡检索覆盖率和提示效率。在我们的研究中，预测任务涉及四种出行方式类别。设置 ??=4 允许检索模块提供一个小型但信息丰富的示例集，同时保持提示简洁。对于平衡检索策略，设置 ??=4 也对应每个类别检索一个示例。在现有研究中，检索文档数量通常设置为较小值。例如，Lewis et al. (2020) 考虑 ??∈{5,10} 用于训练，并使用开发数据设置测试时 ??。其他研究表明，检索过多段落可能引入噪声、冗余和额外计算成本，甚至可能降低生成质量（Gao et al., 2024, Zhu et al., 2024）。此外，大语言模型并不总是稳健地使用过长或拥挤的上下文（N.F. Liu et al., 2024）。因此，我们采用相对较小的检索规模以在上下文支持和提示紧凑性之间保持有利平衡。同样，我们选择 ??′=20 作为检索覆盖率和计算效率之间的实际权衡。更大的候选池可能增加包含高度相关示例的机会，但也增加了交叉编码器推理的计算成本。由于最终提示仅包含 ??=4 个文档，检索 ??′=20 个候选提供了五倍的候选池用于重新排序，同时保持计算可控。此设置也与平衡检索设计一致，其中四个出行方式类别在重新排序前由每类五个候选表示。

相似度或重新排序分数的并列使用检索索引返回的稳定顺序来确定性处理。如果某类别包含的示例少于所需数量，则保留该类别所有可用示例，剩余位置用全局相似度排序中排名最高的未使用示例填充。在主要实验中，由于四个出行方式类别均出现在训练集中，此后备规则很少被调用。在某些情况下，某类别包含超过所需数量的训练示例，但检索器为该类别返回的数量少于目标数量。我们将其视为检索不足而非类别规模不足。当发生这种情况时，我们首先使用同类别中排名最高的未使用示例补充缺失示例。如果同类别补充仍无法提供足够示例，剩余位置使用全局检索列表中排名最高的未使用示例填充。

4.3.

基线模型

为了正确评估所提出框架的性能，我们选择了四个基线模型，包括多项Logit（MNL）、随机森林（RF）、多层感知器（MLP）和零样本大语言模型。传统基线模型（即MNL、RF和MLP）使用了与构建RAG知识库相同的训练集进行训练。分类变量在所有模型中进行了统一的编码。超参数通过使用训练集上的网格搜索和交叉验证进行选择。最终的基线模型随后使用选定的超参数在完整训练集上重新拟合。这些模型在与基于大语言模型的模型相同的测试集上进行评估。对于两个外部数据集，训练好的基线模型在没有额外超参数调优的情况下直接进行评估，这与用于基于大语言模型方法的评估协议一致。基线模型的详细信息如下：

- 多项Logit（MNL）：MNL是交通研究中最广泛使用的离散选择模型。它假设每个备选方案都有一个相关效用，由确定性部分和随机误差组成。选择概率基于效用计算。经过超参数调优后，正则化强度的倒数C设为1；惩罚项设为L2；求解器设为L-BFGS。
- 随机森林（RF）：RF是一种基于决策树的集成学习方法，以其在出行方式选择建模中的强劲表现而广为人知。其数据驱动、非参数化的结构使其能够捕捉数据中的复杂非线性关系，从而得出稳健且准确的预测。经过超参数调优后，树的数量设为80；树的最大深度设为10；拆分节点所需的最小样本数设为2；寻找最佳拆分时要考虑的特征数量设为"sqrt"。
- 多层感知器（MLP）：MLP因其直接从数据中提取和建模复杂高维模式的能力而备受推崇。多层感知器已被广泛应用于交通研究中的各种分类问题。经过超参数调优后，隐藏层大小设为(32, 32)；激活函数设为ReLU；求解器设为Adam；alpha设为0.0001；最大迭代次数设为1000。
- 零样本大语言模型：在此配置中，大语言模型仅被提示任务描述和待预测行程的序列化文本，未提供任何来自训练数据的上下文示例。该方法评估大语言模型仅基于其预训练知识和推理能力执行出行方式选择预测任务的固有本领。

4.4. 评估

我们采用四个指标来评估模型的预测性能，包括准确率、精确率、召回率和F1分数。各指标计算公式如下：
（22）准确率 = (TP + TN) / (TP + TN + FP + FN)
（23）精确率 = TP / (TP + FP)
（24）召回率 = TP / (TP + FN)
（25）F1 = 2 × 精确率 × 召回率 / (精确率 + 召回率)
其中TP为真正例，TN为真负例，FP为假正例，FN为假负例。对于该多分类问题，我们使用加权精确率、召回率和F1分数，每个类别的指标按其样本量加权。

5. 结果

5.1. 模型性能

我们对比评估的全面实证结果见表2。达到的最高整体分类准确率为0.808，由GPT-4o模型在结合平衡检索与交叉编码器重排的RAG方法增强下取得。该组合还获得了最高的F1分数（0.790）和召回率（0.808）。同时，最高的精确率指标为0.804，由GPT-4o模型通过应用带有交叉编码器重排的RAG方法实现。值得注意的是，所有经过RAG增强的大语言模型均优于统计和机器学习基线，突显了RAG在我们实验中对提升大语言模型性能的有效性。具有不同大语言模型架构和RAG策略的模型性能如图3所示。

一项重要发现是o3模型的零样本表现异常强劲，其准确率达到0.783，F1分数为0.760。这一能力超越了所有传统基线，甚至超过了o4-mini模型的RAG增强性能。这一高基线从根本上改变了RAG对该特定模型的影响。虽然引入基本的RAG流程为GPT-4o（准确率从0.711提升至0.776）和o4-mini（准确率从0.724提升至0.754）带来了显著的改善，但对o3模型却产生了不利影响。o3模型的准确率在Basic RAG下略微下降至0.782，这表明对于具有先进推理能力的模型，简单的检索机制可能会引入阻碍而非帮助性能的噪声。

表2. 不同RAG策略下基线模型和大语言模型的性能。表现最佳的值以粗体标示，第二佳的值以下划线标示。

| 模型 | 方法 | 准确率 | F1分数 | 召回率 | 精确率 |
|------|------|--------|--------|--------|--------|
| MNL | – | 0.738 | 0.698 | 0.738 | 0.678 |
| RF | – | 0.747 | 0.714 | 0.747 | 0.691 |
| MLP | – | 0.736 | 0.716 | 0.736 | 0.709 |
| GPT-4o | 零样本 | 0.711 | 0.691 | 0.711 | 0.737 |
| GPT-4o | Basic RAG | 0.776 | 0.731 | 0.776 | 0.727 |
| GPT-4o | RAG + 平衡检索 | 0.794 | 0.762 | 0.794 | 0.801 |
| GPT-4o | RAG + 重排 | 0.790 | 0.756 | 0.790 | 0.804 |
| GPT-4o | RAG + 平衡检索 + 重排 | 0.808 | 0.790 | 0.808 | 0.801 |
| o4-mini | 零样本 | 0.724 | 0.723 | 0.724 | 0.737 |
| o4-mini | Basic RAG | 0.754 | 0.718 | 0.754 | 0.732 |
| o4-mini | RAG + 平衡检索 | 0.762 | 0.745 | 0.762 | 0.739 |
| o4-mini | RAG + 重排 | 0.780 | 0.748 | 0.780 | 0.747 |
| o4-mini | RAG + 平衡检索 + 重排 | 0.755 | 0.742 | 0.755 | 0.743 |
| o3 | 零样本 | 0.783 | 0.760 | 0.783 | 0.754 |
| o3 | Basic RAG | 0.782 | 0.744 | 0.782 | 0.757 |
| o3 | RAG + 平衡检索 | 0.769 | 0.744 | 0.769 | 0.750 |
| o3 | RAG + 重排 | 0.799 | 0.768 | 0.799 | 0.792 |
| o3 | RAG + 平衡检索 + 重排 | 0.801 | 0.788 | 0.801 | 0.786 |

图3. 不同大语言模型架构和RAG策略下的模型性能。

这一趋势在带有平衡检索的RAG中持续存在。虽然该技术提高了GPT-4o（准确率从0.711提升至0.794）和o4-mini（准确率从0.724提升至0.762）的性能，但导致o3模型的性能进一步下降，准确率从0.783降至0.769。这进一步证实了我们的观察，即对于o3模型，标准和中等改进的RAG技术不仅未能释放进一步的潜力，反而主动损害了其高质量的零样本预测。然而，对于GPT-4o，该方法非常有效，将准确率从0.711提升至0.794，F1分数从0.691提升至0.762。

带有交叉编码器重排的RAG策略证明在提升性能方面是有效的，尽管其效果因模型而异。对于o3模型，该RAG方法在其零样本基线之上提供了一些优势，将其准确率推高至0.799。这表明只有高度优化的检索管道（能够呈现最相关的证据）才能够增强o3强大的内在推理能力。对于GPT-4o，重排器充当了专家工具，使其准确率从峰值略微下降，但将精确率提高至0.804，这是记录中的最高值。这突显了一个关键的权衡：o3配置在整体准确率方面更优，而GPT-4o配置在避免假正例至关重要的应用中更为可取。

平衡检索与交叉编码器重排的结合为GPT-4o模型和o3模型产生了最强的整体性能，突显了检索中多样性和精确性的互补优势。对于GPT-4o，这种混合策略证明特别有效，达到了0.808的准确率、0.790的F1分数和0.808的召回率，这些是整个评估中观察到的最高值。此外，这一改进是在未牺牲精确率的情况下获得的，精确率仍保持在具有竞争力的0.801。对于o3模型，该组合策略也达到了其峰值性能，准确率为0.801，F1分数为0.788，从而超越了其已经较强的零样本和仅重排基线。相比之下，o4-mini从该组合中仅获得边际收益。这些结果表明，虽然GPT-4o和o3等先进模型可以从单独的重排中获益，但类别平衡与重排的融合是最稳健的检索策略。

总之，结果突显了大语言模型架构与RAG策略之间复杂的相互作用。虽然所有RAG增强配置都优于传统基线，但通往最佳性能的路径在各模型之间存在差异。o3模型展现了强大的零样本性能，而基本检索和平衡检索方法实际上降低了其准确率，强调检索增强对于具有先进推理能力的模型并非固有地有益。然而，当与结合平衡检索和交叉编码器重排的高度优化管道配对时，o3达到了其峰值性能，在准确率、F1分数和召回率上均超越了其零样本基线。对于GPT-4o，混合策略提供了最佳的整体结果，产生了观察到的最高准确率（0.808）、F1分数（0.790）和召回率（0.808），而单独的重排产生了最强的精确率（0.804）。这些发现表明，有效的增强需要模型架构与检索设计之间的匹配。

为了进一步考察类别不平衡的影响，我们在表3中展示了每种出行方式类别的准确率和F1分数。结果表明，大多数模型对主要类别（即驾车和步行）表现良好，但对较少见的类别（即公共交通和自行车/微出行）表现较弱。这种模式在传统基线模型中尤为明显，它们对驾车和步行取得了较高的F1分数，但对自行车/微出行表现不佳。

相比之下，基于大语言模型的模型对少数类别模式展现了改进的性能，特别是当检索策略被设计为考虑类别不平衡时。平衡检索与交叉编码器重排的结合产生了最强的少数类别整体性能。对于公共交通，该策略为GPT-4o实现了0.574的F1分数，为o4-mini实现了0.488，为o3实现了0.576。对于自行车/微出行，该策略将F1分数提高至GPT-4o的0.293、o4-mini的0.291和o3的0.304，优于传统基线和更简单的RAG配置。这些结果表明，平衡检索有助于让大语言模型接触到代表性不足的模式示例，而重排则改善了检索示例的上下文相关性。因此，所提出的RAG框架可以部分缓解数据集不平衡的影响，尽管预测自行车/微出行等罕见模式仍然具有挑战性。

表3. 每种出行方式类别的模型性能。

| 模型 | 方法 | 准确率 | 准确率 | 准确率 | 准确率 | F1分数 | F1分数 | F1分数 | F1分数 |
|------|------|--------|--------|--------|--------|--------|--------|--------|--------|
| | | 驾车 | 步行 | 公共交通 | 自行车/微出行 | 驾车 | 步行 | 公共交通 | 自行车/微出行 |
| MNL | – | 0.859 | 0.907 | 0.256 | 0.000 | 0.813 | 0.818 | 0.342 | 0.000 |
| RF | – | 0.887 | 0.859 | 0.354 | 0.000 | 0.824 | 0.815 | 0.423 | 0.000 |
| MLP | – | 0.827 | 0.863 | 0.427 | 0.061 | 0.818 | 0.792 | 0.470 | 0.098 |
| GPT-4o | 零样本 | 0.704 | 0.966 | 0.276 | 0.182 | 0.788 | 0.752 | 0.396 | 0.245 |
| GPT-4o | Basic RAG | 0.929 | 0.908 | 0.250 | 0.030 | 0.859 | 0.826 | 0.373 | 0.059 |
| GPT-4o | RAG + 平衡检索 | 0.897 | 0.932 | 0.408 | 0.030 | 0.861 | 0.844 | 0.517 | 0.059 |
| GPT-4o | RAG + 重排 | 0.905 | 0.927 | 0.368 | 0.030 | 0.856 | 0.838 | 0.505 | 0.059 |
| GPT-4o | RAG + 平衡检索 + 重排 | 0.905 | 0.908 | 0.487 | 0.182 | 0.876 | 0.844 | 0.574 | 0.293 |
| o4-mini | 零样本 | 0.751 | 0.913 | 0.342 | 0.212 | 0.805 | 0.823 | 0.416 | 0.171 |
| o4-mini | Basic RAG | 0.941 | 0.820 | 0.250 | 0.061 | 0.832 | 0.805 | 0.376 | 0.093 |
| o4-mini | RAG + 平衡检索 | 0.913 | 0.796 | 0.447 | 0.121 | 0.848 | 0.794 | 0.515 | 0.174 |
| o4-mini | RAG + 重排 | 0.913 | 0.893 | 0.355 | 0.030 | 0.845 | 0.840 | 0.478 | 0.053 |
| o4-mini | RAG + 平衡检索 + 重排 | 0.909 | 0.777 | 0.408 | 0.242 | 0.826 | 0.806 | 0.488 | 0.291 |
| o3 | 零样本 | 0.874 | 0.937 | 0.368 | 0.091 | 0.865 | 0.846 | 0.452 | 0.133 |
| o3 | Basic RAG | 0.937 | 0.888 | 0.303 | 0.030 | 0.849 | 0.839 | 0.434 | 0.056 |
| o3 | RAG + 平衡检索 | 0.885 | 0.869 | 0.421 | 0.061 | 0.844 | 0.806 | 0.516 | 0.108 |
| o3 | RAG + 重排 | 0.913 | 0.932 | 0.382 | 0.061 | 0.864 | 0.850 | 0.513 | 0.111 |
| o3 | RAG + 平衡检索 + 重排 | 0.909 | 0.864 | 0.526 | 0.212 | 0.880 | 0.832 | 0.576 | 0.304 |

5.2. 效率分析

我们进一步考察了每个模型和RAG策略组合的计算效率。结果见表4。具体而言，我们报告了平均API运行时间、RAG运行时间、总运行时间、提示令牌消耗、推理令牌消耗、总令牌消耗以及估算的API使用成本。

结果表明，GPT-4o在延迟和API成本方面都是最高效的模型。在零样本设置中，GPT-4o每个样本仅需0.481秒和115.3个令牌，对应估算成本为0.0003美元。即使在计算密集型最高的设置（即带有平衡检索和重排的RAG）下，其总运行时间仍为1.257秒，总令牌数为360.8，每个样本的估算成本为0.0009美元。相比之下，o4-mini在各设置下需要2.198至4.498秒，每个样本0.0008至0.0017美元，而o3需要3.013至6.287秒，每个样本0.0015至0.0028美元。这些结果表明，GPT-4o提供了比o4-mini和o3模型更有利的效率配置。

表4. 不同RAG策略下大语言模型的计算成本。

| 模型 | 方法 | 平均运行时间（秒） | 平均运行时间（秒） | 平均运行时间（秒） | 平均令牌使用 | 平均令牌使用 | 平均令牌使用 | API使用成本（美元） |
|------|------|-------------------|-------------------|-------------------|-------------|-------------|-------------|-------------------|
| | | API | RAG | 总计 | 提示 | 推理 | 总计 | |
| GPT-4o | 零样本 | 0.481 | 0.000 | 0.481 | 115.3 | 0.0 | 115.3 | 0.0003 |
| GPT-4o | Basic RAG | 0.463 | 0.177 | 0.639 | 355.2 | 0.0 | 355.2 | 0.0009 |
| GPT-4o | RAG + 平衡检索 | 0.424 | 0.748 | 1.171 | 360.4 | 0.0 | 360.4 | 0.0009 |
| GPT-4o | RAG + 重排 | 0.414 | 0.229 | 0.643 | 355.4 | 0.0 | 355.4 | 0.0009 |
| GPT-4o | RAG + 平衡检索 + 重排 | 0.425 | 0.832 | 1.257 | 360.8 | 0.0 | 360.8 | 0.0009 |
| o4-mini | 零样本 | 2.198 | 0.000 | 2.198 | 114.3 | 111.7 | 226.0 | 0.0008 |
| o4-mini | Basic RAG | 2.549 | 0.204 | 2.753 | 354.2 | 152.7 | 506.9 | 0.0012 |
| o4-mini | RAG + 平衡检索 | 2.742 | 0.767 | 3.508 | 359.4 | 209.8 | 569.2 | 0.0014 |
| o4-mini | RAG + 重排 | 2.354 | 0.221 | 2.575 | 354.4 | 148.5 | 502.9 | 0.0012 |
| o4-mini | RAG + 平衡检索 + 重排 | 3.597 | 0.901 | 4.498 | 359.8 | 264.0 | 623.8 | 0.0017 |
| o3 | 零样本 | 3.606 | 0.000 | 3.606 | 114.3 | 113.6 | 227.9 | 0.0015 |
| o3 | Basic RAG | 3.293 | 0.201 | 3.494 | 354.2 | 97.0 | 451.2 | 0.0018 |
| o3 | RAG + 平衡检索 | 3.510 | 0.786 | 4.296 | 359.6 | 155.4 | 515.0 | 0.0020 |
| o3 | RAG + 重排 | 3.013 | 0.233 | 3.246 | 354.4 | 99.9 | 454.3 | 0.0018 |
| o3 | RAG + 平衡检索 + 重排 | 5.393 | 0.894 | 6.287 | 359.8 | 221.1 | 580.8 | 0.0028 |

注：1. 观察到的执行时间是模型处理和固有API延迟的累积。虽然这些值提供了比较的基线，但受网络和服务器随机性的影响。
2. API支出根据2026年4月OpenAI官方价格表计算。

RAG大幅增加了所有模型的令牌使用量，并且通常会增加运行时间。在所有三种大语言模型中，零样本提示每个样本使用约114-115个提示令牌，而基于RAG的方法将提示令牌使用量增加至约354-360个令牌，因为检索到的示例被追加到提示中。在各种RAG策略中，平衡检索贡献了最大的检索开销，使RAG运行时间从Basic RAG或重排下约0.177-0.233秒增加到使用平衡检索时约0.748-0.901秒。相比之下，不同RAG策略下的总令牌成本相对相似，因为检索的上下文长度相当。

对于推理模型（即o4-mini和o3），额外的推理令牌增加了总令牌使用量。对于o4-mini，推理令牌消耗从零样本下的111.7个令牌到组合平衡检索与重排设置下的264.0个令牌不等。对于o3，在基于RAG的设置下，相应范围为97.0-221.1个令牌，零样本下为113.6个令牌。

总之，虽然先进的检索管道可以改善预测性能，但它们也引入了额外的计算开销，特别是当包含平衡检索时。然而，我们主要实验中表现最佳的配置——带有平衡检索和重排的GPT-4o——在绝对意义上仍然是轻量级的。

5.3.

预测误差分析
为了更好地理解预测误差的来源，我们基于测试集检查了所有模型-方法组合的混淆矩阵（图4）。结果显示，错误分类并未在各类别间均匀分布。在几乎所有设置中，Drive（驾车）和Walk（步行）的预测准确率明显更高，而Transit（公共交通）和Bike/Micromobility（骑行/微出行）更可能被错误分类。

具体而言，Transit出行最常与Drive或Walk混淆。例如，在GPT-4o零样本设置下，76个Transit样本中仅有21个被正确分类，而39个被预测为Walk。即便在整体表现最佳的配置——GPT-4o结合平衡检索与重排序的情况下，被正确识别的Transit出行数虽增至37个，但其余错误仍主要集中在Drive和Walk上。该结果表明，仅仅提供出行者和出行描述符时，Transit出行在行为层面较难与邻近的城市出行方式（即驾车和步行）区分开来。

下载：下载高分辨率图片（435KB） 下载：下载全尺寸图片
图4. 基于测试集、不同LLM与检索策略的出行方式预测混淆矩阵。

Bike/Micromobility是整体上最难预测的类别。在各混淆矩阵中，该类别经常被预测为Drive或Walk，其正确分类率明显低于其他三个类别。这一模式与该数据集的实际情况相符：Bike/Micromobility是数据集中的最小类别，在模型学习和检索过程中可能拥有最弱的表征。

这些错误分类模式存在三个主要原因。第一，数据集不均衡。Drive和Walk占据了大多数样本，而Transit和Bike/Micromobility出现频率低得多。第二，输入变量主要描述出行者和出行特征，但未包含替代性服务水平（alternative-specific level-of-service）变量，例如方式特定的旅行时间、成本、公共交通可达性或自行车基础设施等。缺少这些属性时，Transit和Bike/Micromobility出行可能与Drive或Walk出行难以区分。第三，Bike/Micromobility类别将多种相对稀有的出行方式合并为一个类别，这增加了类内异质性，使得该类别更难被识别。

此外，混淆矩阵还表明，改进的检索设计可以在一定程度上减轻这些误差。平衡检索与重排序倾向于通过提供更多样、更相关的上下文示例来提升对少数类别（尤其是Transit）的识别能力。

5.4. 在外部数据集上的零样本迁移能力
我们使用两个外部数据集，在没有迁移微调（no-adaptation）协议下评估模型在主要数据集之外的迁移能力。这两个数据集包括位于华盛顿州塔科马（Tacoma）的2023年PSRC家庭出行调查（Household Travel Survey）出行子集，其抽样和情境与训练、测试数据更为相似；以及2022年NHTS城市地区出行子集，后者代表了更为显著的分布偏移。模型在这些数据集上的表现列于表5。

重要的是，该实验被设计为零样本迁移评估，而非目标域再估计（target-domain re-estimation）。所有模型均在外部数据集上直接测试，未使用目标域标签进行任何再训练、超参数调整或重新校准。传统基线模型仅使用源训练集进行训练，而基于LLM的模型则通过零样本提示或从源域知识库检索来应用。因此，结果应被视为在"无再训练"部署场景下模型稳健性的证据，而不是与为目标地区重新估计的传统模型之间的对比。

该评估设置在实践层面具有重要意义，因为在新的地区，标注好的出行调查数据可能无法获取、数量有限或成本高昂（Mohammadian et al., 2010, Stopher and Greaves, 2007）。在这种情况下，从业者可能需要在足够多的目标域数据可用于重新校准之前，将现有模型应用到新的地理或调查情境中（Sikder et al., 2013）。本外部数据集实验旨在考察在没有目标域适配的情况下，每种建模方法的迁移能力如何。

在2023年PSRC-Tacoma子集上，所有三个基于LLM的模型（GPT-4o、o4-mini、o3）相较传统基线（MNL、RF、MLP）均表现出显著改进，准确率远高于0.80，而传统模型低于0.41。在LLM中，o3模型的零样本表现最强，准确率为0.870，F1分数为0.859，超越了所有RAG增强配置。这一结果与先前发现一致：o3具有较强的内在零样本迁移能力。对于GPT-4o，检索增强的效果更为显著。准确率从零样本的0.807提升至Basic RAG下的0.844，并进一步在平衡检索与重排序组合下达0.838。这表明，虽然GPT-4o的零样本迁移能力相对较强，但当外部数据集与训练分布性质相近时，引入有针对性的检索可帮助模型更好地利用上下文信息。相比之下，o4-mini的无再训练迁移能力较为有限，零样本准确率为0.831，检索增强收益较为混合，最佳配置为Basic RAG下的0.833。总体而言，Tacoma的结果突显了：强大的零样本推理能力与经过良好校准的检索策略共同促成成功的无再训练迁移。

表5. 两种外部数据集中基线模型和不同RAG策略下LLM的表现。最佳值以粗体显示，次优值以下划线显示。

| 模型 | 方法 | 2023 PSRC - Tacoma（准确率/F1/召回/精确） | 2022 NHTS（准确率/F1/召回/精确） |
|---|---|---|---|
| MNL | – | 0.236/0.140/0.236/0.817 | 0.100/0.049/0.100/0.034 |
| RF | – | 0.408/0.432/0.408/0.755 | 0.364/0.454/0.364/0.827 |
| MLP | – | 0.345/0.359/0.344/0.790 | 0.322/0.420/0.322/0.851 |
| GPT-4o | Zero-shot | 0.807/0.810/0.807/0.848 | 0.858/0.861/0.858/0.870 |
| GPT-4o | Basic RAG | 0.844/0.831/0.844/0.846 | 0.896/0.882/0.896/0.872 |
| GPT-4o | RAG + Balanced Retrieval | 0.833/0.826/0.833/0.832 | 0.891/0.881/0.891/0.871 |
| GPT-4o | RAG + Re-ranking | 0.831/0.824/0.831/0.832 | 0.882/0.874/0.882/0.866 |
| GPT-4o | RAG + Balanced Retrieval + Re-ranking | 0.838/0.834/0.838/0.838 | 0.877/0.871/0.877/0.866 |
| o4-mini | Zero-shot | 0.831/0.829/0.831/0.854 | 0.882/0.878/0.882/0.875 |
| o4-mini | Basic RAG | 0.833/0.826/0.833/0.836 | 0.893/0.876/0.893/0.867 |
| o4-mini | RAG + Balanced Retrieval | 0.815/0.807/0.815/0.808 | 0.873/0.862/0.873/0.853 |
| o4-mini | RAG + Re-ranking | 0.831/0.823/0.831/0.827 | 0.879/0.870/0.879/0.862 |
| o4-mini | RAG + Balanced Retrieval + Re-ranking | 0.805/0.803/0.805/0.801 | 0.849/0.842/0.849/0.838 |
| o3 | Zero-shot | 0.870/0.859/0.870/0.863 | 0.880/0.864/0.880/0.854 |
| o3 | Basic RAG | 0.837/0.826/0.837/0.842 | 0.895/0.876/0.895/0.867 |
| o3 | RAG + Balanced Retrieval | 0.828/0.821/0.828/0.827 | 0.882/0.872/0.882/0.863 |
| o3 | RAG + Re-ranking | 0.828/0.820/0.828/0.830 | 0.875/0.866/0.875/0.859 |
| o3 | RAG + Balanced Retrieval + Re-ranking | 0.844/0.838/0.844/0.834 | 0.856/0.847/0.856/0.840 |

在2022年NHTS子集上，传统基线模型再次表现不佳，准确率低于0.37，反映出在不再训练情况下迁移统计与机器学习方法的困难。相比之下，LLM表现显著更好。此处，RAG的作用比在2023年PSRC-Tacoma子集上更为关键。对于GPT-4o，准确率从零样本的0.858提升至Basic RAG下的0.896，是该数据集上所有模型与策略中的最佳表现。类似地，o3在Basic RAG下达到其在NHTS上的最高准确率（0.895）。值得注意的是，平衡检索和重排序在该设置下仅带来边际甚至负向的收益，表明在更大分布偏移下，过度约束检索池可能降低适应性。o4-mini再次呈现中等性能，准确率从零样本的0.882到Basic RAG下的0.893。虽然其绝对表现仍落后于GPT-4o和o3，但仍远超传统基线。值得注意的是，在所有LLM中，NHTS上表现最佳的策略均依赖于更广泛的检索（即Basic RAG），而非更精细的方法，这表明在显著分布偏移下，最大化候选示例的覆盖面比强制平衡或精确性更有价值。

6. 讨论
本研究的结果为LLM与RAG在出行方式选择预测中的应用提供了重要洞见，凸显了LLM架构与检索策略之间复杂的相互作用。一个关键结论是：检索增强并非普遍有益，其效果在很大程度上取决于基础模型的推理能力。o3模型的性能表现恰是该原则的例证。其准确率在引入基础和平衡RAG策略后反而下降，表明对于推理能力较强的模型而言，低质量或无关的检索信息会形成噪声，反而阻碍而非助益其预测性能。这一现象与人类专家认知过程类似：高质量、相关的证据可以精炼专家判断，而嘈杂或误导性的信息则会造成困惑（Kahneman et al., 2021）。只有在使用了高度精密的检索流程（例如基于交叉编码器进行重排序的RAG）后，o3模型的性能才超越其零样本基线。这表明，对于高推理能力的模型，所检索上下文的质量至关重要。相比之下，像GPT-4o和o4-mini这类零样本基线较低的模型，则从较为简单的RAG策略中受益，因为检索到的示例提供了它们固有知识库可能缺乏的上下文依据。

出行方式选择预测任务远超简单的分类问题。它是对复杂人类决策过程的模拟，需要综合考虑成本、时间、便利性及个人偏好等诸多因素。基于LLM的方法优越性能说明了模型进行复杂推理能力的重要性。o3模型卓越的零样本准确率尤为值得关注，它表明，推理能力强的模型能够有效捕捉出行决策中复杂的权衡取舍，而无需观察数据集中的示例。这暗示模型并非仅基于输入特征进行模式匹配，而是将一种更通用、更抽象的人类行为理解应用到具体出行情境中。这种上下文推理能力相较于传统统计模型（受限于刚性假设）以及擅长模式识别但缺乏真正理解的机器学习模型而言，是一大显著优势。

基于实验结果，为研究人员和实践者利用这些技术浮现出几项最佳实践。第一，检索策略应与模型能力相匹配。RAG策略的选择不应独立于LLM的选择而做出。对于o3这类高度先进、推理能力强大的模型，投入高精度检索与重排序流程至关重要；对于能力较弱或更具性价比的模型，简单的RAG实现仍能相对于零样本方式带来显著的性能提升。第二，建立强有力的零样本基线至关重要。在实施复杂RAG系统前，应先评估候选LLM的零样本表现。正如o3模型所示，高性能的基础模型为任何增强策略设定了较高的超越门槛。该基线为评估检索流程真正附加值提供了关键参考点。第三，检索设计应考虑到目标数据集的分布特征。当外部数据与知识库分布高度相似时，平衡检索和交叉编码器重排序等高级策略可细化预测；然而，在更大分布偏移下，Basic RAG等更广泛的检索方法可能更为有效。

本研究证明，将LLM与RAG进行深思熟虑的整合能够显著推动出行行为建模的发展。通过RAG将LLM的推理能力锚定在实证数据上，我们能够构建既更准确又更透明的预测工具。此外，RAG框架的灵活性允许动态融入新数据，使得模型能够以静态训练模型无法实现的方式适应变化的出行模式、新的交通选择或突发情况。

7. 结论
本研究针对出行方式选择预测任务评估了多种模型，比较了传统基线和使用多种RAG策略增强的LLM。通过系统性地测试从能力出色的GPT-4o和o3到更为精简的o4-mini模型在零样本、Basic RAG和高级RAG条件下的表现，本研究旨在识别模拟人类出行方式选择中复杂多维决策的最有效方法。

结果显示，GPT-4o模型在使用平衡检索与重排序的RAG策略下达到了最高的整体准确率80.8%。我们还发现，检索增强并非普遍有益。对于o3这种内在推理能力较高的模型，基础及中等改进的RAG流程引入了噪声并降低了性能。只有当其搭配高精度重排序方法时，o3才超越了其本已很强的零样本基线。这一发现表明，检索增强的有效性取决于底层LLM的推理能力：能力较弱的模型可从更简单的检索策略中显著受益，而高级模型则只需最精准、最相关的上下文证据即可获得性能提升。总之，LLM与RAG策略的最优配置并非一成不变，而是同时取决于模型架构和任务目标。对研究人员和实践者而言，这凸显了在检索设计与模型能力及应用情境间保持匹配的重要性，以便充分发挥RAG增强LLM在出行行为建模中的潜力。

尽管本研究提供了宝贵的洞见，但仍存在一定局限。首先，虽然我们根据性能模式推断推理能力，但本研究并未直接分析模型的内部思维链（Chain-of-Thought）过程。其次，RAG流程仅限于一组特定的组件，在检索、分块或重排序方面的其他变体可能得出不同结果。

因此，未来的研究应致力于跨更多样化的数据集验证这些发现，采用分析这些模型逐步推理的方法，并探索更广泛的 RAG 架构及其实际部署影响。

CRediT 作者贡献声明
徐一鸣：撰写 – 审阅与编辑，撰写 – 原稿，可视化，验证，软件，方法学，调查，正式分析，数据管理，概念化。
焦俊峰：撰写 – 审阅与编辑，资金获取。

写作过程中生成式 AI 和 AI 辅助技术的声明
在本工作准备过程中，作者使用了 ChatGPT 5 以提高可读性和语言质量。在使用该工具/服务后，作者根据需要审查和编辑了内容，并对出版内容承担全部责任。

徐一鸣 | 焦俊峰
美国德克萨斯大学奥斯汀分校建筑学院，美国德克萨斯州奥斯汀市，邮编 78712