FlightLLM:航空旅客与行李需求的少样本区间预测
《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:FlightLLM: few-shot interval forecasting for airline passenger and baggage demand
【字体:
大
中
小
】
时间:2026年09月07日
来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4
编辑推荐:
•提出FlightLLM,一种由大语言模型驱动的少样本区间预测框架,用于冷启动航线的旅客与行李需求联合预测。•引入由过程奖励模型(PRM)引导的可行性门控与不确定性约束树搜索方法,在明确的运营约束条件下生成可解释且符合业务可行性的伪标签。•结合基于课程学习的自训练与基于MAM
•提出FlightLLM,一种由大语言模型驱动的少样本区间预测框架,用于冷启动航线的旅客与行李需求联合预测。•引入由过程奖励模型(PRM)引导的可行性门控与不确定性约束树搜索方法,在明确的运营约束条件下生成可解释且符合业务可行性的伪标签。•结合基于课程学习的自训练与基于MAML的元学习,学习可迁移的初始化参数,以实现快速的少样本适配与可靠的区间生成。•表明FlightLLM在真实航线数据上实现了比传统区间基线更优的覆盖率-宽度权衡,同时保持有竞争力的点预测精度。1. 引言随着全球航空运输业的持续发展,旅客出行与行李处理需求不断攀升,使旅客和托运行李数量的准确预测成为航空公司资源分配和地面服务规划的关键环节(Jiang等,2024)。与此同时,全球航空网络正朝着更高密度和更大复杂度的方向发展。航线配置和旅客群体日益多元化,不同航线的出行模式表现出显著异质性,如图1所示(Huynh等,2024)。一条航线的历史需求模式无法直接迁移到另一条航线上,且航空公司之间的数据共享仍面临较大困难。在实际运营中,新航线开通、季节性班期调整和时刻重新分配等情况频发,由此产生大量历史数据有限的冷启动场景。在此情形下,传统经验方法和数据驱动方法(如ARIMA、LSTM、Transformer)往往难以产生稳定可靠的预测(Zachariah等,2023;Hopfe等,2024),而深度学习模型的"黑箱"特性导致预测缺乏可解释性(Rudin,2019)。因此,在少样本条件下实现旅客与行李需求的有效联合预测,已成为民航行业提升运营效率、增强调度韧性、保障服务品质的关键挑战。下载:下载高分辨率图片(164KB)下载:下载全尺寸图片图1. 各航线旅客与行李需求的分布差异针对少样本场景下航空需求预测的关键挑战,现有研究揭示了两大局限。第一,传统预测方法主要聚焦于"点估计"(Suh & Ryerson,2019)。在少样本条件下,数据稀缺性显著削弱了模型捕捉需求波动的能力。点预测不仅无法反映需求的真实不确定性边界,还可能因误差累积误导资源分配决策。第二,现有数据驱动模型往往缺乏与民航业务逻辑的深度融合(Barnhart等,2012;Wandelt等,2025),仅依赖从数据分布中学习模式。然而,民航运营涉及大量刚性业务规则(如飞机座位容量限制),若忽视这些规则,即便模型在有限样本上取得良好拟合,其预测结果也可能违反实际业务可行性(如预测旅客数超过飞机最大载客量),从而丧失实际部署价值。近年来,大语言模型凭借其强大的通用知识先验和上下文推理能力,已在多个领域展现出卓越的少样本学习能力(Song等,2023;Li等,2024)。其在交通需求预测等时间序列建模任务中已实现初步应用(Long等,2025)。通过语义理解与模式泛化,这些模型可以部分弥补因数据稀缺导致的建模局限,为少样本条件下的航空需求预测提供了新思路。然而,尽管具备强大的泛化性能,大模型在应用于民航高确定性、受业务约束的预测任务时仍存在明显不足(Liu等,2024b)。具体而言,通用大模型往往缺乏显式约束机制和相关业务逻辑,容易产生违反实际业务可行性的预测。因此,要实现大模型在少样本航空需求预测中的有效应用,需要进行针对性的任务适配和约束导向改造。然而,传统微调范式在将大模型适配于民航预测任务时面临多重挑战。一方面,直接在复杂业务约束和多维度任务目标上进行端到端微调,容易使模型陷入局部最优,难以实现有效收敛(Gong等,2024)。另一方面,民航预测任务往往涉及不同难度层级的子任务。传统微调方法缺乏对此类层次化任务复杂性的考量,通常采用统一训练策略,阻碍了模型逐步掌握预测所需的多层次能力(Bengio等,2009)。这一训练困境表明,需要一种更具系统性和结构化的训练策略,使模型能够按照由易到难的渐进式学习模式,逐步适配民航预测任务的特定要求(Lee等,2024)。针对上述挑战,本文提出FlightLLM——一种由策略语言模型(Policy-LLM)驱动的面向少样本场景的航空需求预测框架。该框架旨在实现旅客和托运行李数量的联合预测,并引入区间预测范式,以"点估计±区间半宽"的形式表示输出(例如:263±13)。FlightLLM整体框架包含两条紧密协同的管线:离线训练与在线应用。离线训练旨在赋予Policy-LLM可解释性、稳定性和少样本泛化能力,而在线应用则聚焦于Policy-LLM的快速少样本适配。整个框架由四个核心模块组成(离线训练包含模块一至模块三,在线应用对应模块四):首先,在离线阶段,模块一(伪标签生成)执行由过程奖励模型(PRM)引导的五阶段树搜索,称为"可行性门控与不确定性约束树搜索"(FG-UC-TS)。该搜索过程将业务可行性约束和业务相关先验融入候选生成与筛选流程,同时执行符号-数值解耦推理,生成既可解释又具备运营可行性的伪标签。随后,模块二(基于课程学习的自训练)利用这些伪标签执行面向可靠性的"基于课程"的自训练。该模块将PRM的过程信号转化为Policy-LLM的学习信号,将评估标准(从结构完整性、稳定性、连贯性、简约性和就绪性五个维度评估)内化为Policy-LLM的生成偏好,系统性地提升区间预测的稳定性。此外,模块三(元学习微调)将每条航线视为独立的元任务,在Policy-LLM上采用MAML框架学习具有强跨航线泛化能力的元初始化参数,从而实现少样本泛化能力。最后,在线阶段的模块四(少样本适配与推理)中,面对冷启动航线时,系统从元初始化状态出发,利用少量样本快速适配,并复用模块一的可解释推理过程,输出符合业务规则且具备可解释性的联合预测结果。综上所述,通过执行"伪标签生成、基于课程学习的自训练、元学习初始化、少样本推理"的闭环,FlightLLM在少样本条件下实现了高质量预测,生成同时具备跨航线泛化能力、可解释性和业务合规性的区间预测输出,为航空公司提供可部署、风险感知的决策支持工具。本研究提出三项关键创新:(1)提出了一种结合模型无关元学习(MAML)与大语言模型的少样本自适应框架。该框架充分整合并最大化MAML与LLM在解决少样本问题方面的能力。基于元学习初始化,实现了对冷启动航线的快速适配,生成任务专用适配器(任务专用Policy-LLM),有效应对少样本需求预测挑战。(2)开发了面向旅客与行李需求联合预测的业务约束区间预测方法,生成符合业务可行性的不确定性估计。五阶段树搜索(FG-UC-TS)机制将业务可行性约束和业务相关先验嵌入候选生成与筛选过程,同时符号-数值解耦推理架构确保所得区间既可解释又可审计。(3)在真实冷启动条件下的全面实证验证。在严格航线不相交的少样本协议下,基于多种航线类型的真实运营数据进行系统性实验,结果表明FlightLLM实现了比传统区间基线显著更优的覆盖率-宽度权衡,同时保持有竞争力的点预测精度。本文其余部分组织如下:第2节回顾少样本与元学习范式以及大语言模型约束感知适配的相关研究。第3节介绍FlightLLM的两阶段、四模块架构。第4节介绍数据来源、预处理流程和特征构建。第5节介绍实验设置、提示工程、消融研究、基线对比、航线类型异质性分析和支持集大小敏感性分析。第6节总结主要发现并展望未来研究方向。2. 相关工作在航空需求预测等高度动态的环境中,构建可靠的预测系统需要具备三项能力:冷启动数据稀缺条件下的有效适配、预测不确定性的合理量化以及对刚性运营约束的遵守。在此背景下,本节回顾与FlightLLM框架最相关的研究脉络。具体而言,2.1节"少样本预测"和2.2节"区间预测与不确定性估计"首先考察少样本适配和区间预测的先前工作,重点关注低资源条件下的预测建模与不确定性表示。2.3节"基于LLM的预测:直接适配、混合集成与结构化控制"和2.4节"约束感知与可验证预测:研究定位"则回顾大语言模型在时间序列预测中的应用,以及相关约束感知预测和结构化验证研究,以明确所提方法的研究背景与定位。2.1. 少样本预测与元学习少样本预测旨在通过利用跨任务共享的知识,在有限观测条件下对新任务实现快速适配与鲁棒预测(Ekambaram等,2024)。为应对这一问题,现有研究主要通过样本高效的跨任务学习机制提升模型对新任务的泛化能力。其中,元学习已成为少样本预测的主要方法学框架,因为它能够从任务分布中学习可迁移的初始化、适配策略或动态先验(Talagala等,2023)。在此基础上,先前工作可大致归纳为三个方向:基于优化的元学习、基于支持集表示迁移的任务适配以及基于潜在动力学建模的元预测(Huisman等,2021)。在基于优化的元学习中,MAML通过双层优化学习适合快速适配新任务的初始化(Finn等,2017),而Reptile通过一阶元更新提升训练效率(Nichol和Schulman,2018)。在时间序列场景中,跨数据集元学习研究进一步表明,此类方法可以提升对新序列或新数据集的可迁移性和泛化能力(Oreshkin等,2021)。在基于支持集表示迁移的任务适配方面,Iwata和Kumagai(2020)利用支持集表示与基于注意力的检索机制,从少量目标任务序列中提取对预测有信息价值的时序模式。在基于潜在动力学建模的元预测方面,Jiang等(2023)将贝叶斯元学习与序贯潜在变量模型相结合,跨任务迁移潜在动力学知识,从而提升模型快速捕捉新任务时序演化模式的能力。总体而言,少样本适配已成为应对预测中冷启动和数据稀缺问题的重要研究方向(Yu等,2021)。然而,现有少样本适配方法主要聚焦于快速适配和点预测性能提升,而对区间输出及其可靠性的系统性讨论仍然有限(Talagala等,2023;Wang等,2024a)。由于区间预测提供了量化需求不确定性的更直接手段,探索少样本条件下的区间估计机制有助于桥接快速任务适配与风险敏感决策(Wang等,2024a)。2.2. 区间预测与不确定性估计在航空等高度动态的需求预测场景中,准确的不确定性量化至关重要,而区间预测提供了一种直接表达风险的手段(Gneiting和Katzfuss,2014;Wu等,2023)。为获得高质量区间估计,一类研究直接学习区间边界或条件分位数。例如,基于分位数回归的多步预测方法可以在单个模型中生成多个条件分位数,并用其构建预测区间(Wen等,2017)。第二类研究采用概率预测方法,先建模未来观测的条件分布,再从该分布中推导区间估计;代表性方法包括基于自回归深度架构的概率预测方法(Salinas等,2020)。第三类研究通过后验校准提升区间覆盖率可靠性。结合保形预测与分位数回归的方法可以在可交换性假设下提供有限样本覆盖率保证(Romano等,2019),后续研究将该思路扩展至多步时间序列预测(Stankeviciute等,2021)。
总体而言,这些研究为需求预测任务中的区间预测和风险表示提供了相对系统的方法论基础(Wang et al., 2024a)。然而,现有的区间预测研究仍然主要聚焦于数值领域的不确定性建模,其主要优势体现在分布估计、分位数学习和覆盖校准方面(Tyralis and Papacharalampous, 2024)。因此,区间生成通常被视为一种统计预测输出问题,而任务适配、结构化输出控制和规则感知机制的联合考虑仍然有限。这一局限性在低资源时间序列预测中尤为明显,因为现有的区间预测方法往往缺乏足够的样本来进行可靠的分布估计和模型校准,从而限制了其在少样本条件下的适用性。为了解决这一问题,近期研究开始探索能够提供更强跨领域先验知识的新范式。得益于其预训练的语义知识和结构化生成能力,大语言模型为低资源场景下的区间预测和风险表示提供了一个有前景的新方向(Ansari et al., 2024)。
2.3. 基于大语言模型的预测:直接适配、混合集成与结构化控制
近年来,大语言模型在时间序列预测中的应用受到越来越多的关注,其主要驱动力在于其跨任务语义先验知识、统一的任务接口以及结构化生成的潜力(Abdullahi et al., 2025)。现有的基于大语言模型的预测方法可大致分为三类(Fons et al., 2024)。
第一类将大语言模型直接适配到预测任务中。这些方法通常将预测形式化为经过变换的时间序列输入上的语言建模问题。代表性例子包括:Time-LLM,通过输入重编程将冻结的大语言模型适配到时间序列预测中(Jin et al., 2023);PromptCast,将数值输入转换为提示词并将预测建模为句到句的生成任务(Xue and Salim, 2023);以及通过长短提示机制改进零样本预测的研究(Liu et al., 2024a)。这一系列工作突出了预训练模型在轻量适配下的迁移潜力,但其性能往往对提示设计和数值表示方案较为敏感(Jia et al., 2024)。
第二类构建混合预测框架。在这一研究方向中,大语言模型并非作为独立的预测器使用,而是与传统时间序列骨干网络或外部信号进行集成。代表性研究包括:结合多尺度时间模块与时间到文本转换以联合建模时间模式和语义先验的方法(Tang et al., 2025);将Transformer编码器与大语言模型表示进行集成以增强时间依赖关系学习的方法(Zhao et al., 2025);以及将外部上下文信号纳入框架以处理外生冲击的框架(Wang et al., 2024b)。这些方法的核心思想在于互补集成:大语言模型提供语义抽象和结构化交互能力,而专用预测模块则保留了建模数值时间动态的能力(Manna et al., 2025)。
第三类侧重于通过结构化控制和过程增强来改进大语言模型生成的可控性、稳定性和一致性。代表性方法包括模板约束提示、基于模式的约束生成和约束解码,这些方法有助于提高输出的有效性和结构一致性(Liu et al., 2024b; Geng et al., 2023)。在此基础上,一些研究进一步引入了自反馈精炼和基于搜索的推理,以提高输出在结构化任务中的可执行性(Madaan et al., 2023, Ding et al., 2025)。此外,过程奖励模型(PRMs)和策略优化机制通过为中间生成步骤引入反馈信号,为结构化生成中的逐步修正和过程控制提供了有用的技术思路(Zhang et al., 2024)。总体而言,这些方法为基于大语言模型的预测中的结构化输出提供了重要的技术支持。然而,其主要关注点仍然停留在生成过程控制上,不足以单独解决预测任务中的数值可靠性、显式约束满足和输出可验证性问题。
2.4. 约束感知与可验证预测:研究定位
在时间序列预测中,特别是在交通和物流规划等复杂应用场景下,预测输出通常不仅需要遵循结构化形式,还必须满足显式约束,包括物理定律、资源限制和业务规则。因此,约束预测的研究强调一致性和显式约束应被视为建模问题的一部分,而不仅仅是后处理步骤(Rangapuram et al., 2021, Fafoutellis and Vlahogianni, 2025, Doumèche et al., 2025)。同时,结构化生成和神经符号方法的研究表明,显式规则结构、约束控制和验证机制可以提高输出的有效性、可解释性和可验证性(Beurer-Kellner et al., 2024, Bhuyan et al., 2024, Renkhoff et al., 2024)。尽管如此,这些研究方向仍然相对分散,现有研究很少在一个统一的预测框架中同时处理少样本适配、区间生成、约束满足和结构化验证之间的关系。
综合来看,上述研究表明,少样本预测和元学习为低资源条件下的快速任务适配提供了有效方法,但大多数仍然聚焦于点预测。区间预测为风险表示和覆盖控制提供了成熟工具,但其核心关注点仍然集中在数值领域的统计建模和校准上。基于大语言模型的结构化预测和混合预测进一步增强了对语义先验、结构化输出和外部交互的使用,但在数值可靠性、显式约束的稳定满足和输出可验证性方面仍存在不足。因此,本文所解决的问题并非这些工作线的简单组合,而是在统一的预测框架中协调少样本适配、区间表示、结构化控制和约束验证。从这一视角出发,本文提出了一种约束驱动的深度融合框架。该框架将领域特定的物理约束和业务可行性约束显式地嵌入到适配过程中,同时将约束内化、结构化合规控制和数值可验证性纳入系统设计,从而提高了复杂现实场景下预测的稳定性、可解释性和可信度。
3. 方法
本节阐述预测任务的数学建模,概述双流水线架构(离线训练和在线适配),并详细介绍四个核心模块。
3.1. 问题建模
本研究将航班需求预测形式化为少样本条件下客流量和托运行李数量的联合区间预测任务。设 $x = [x_1, x_2, \ldots, x_d]^\top \in \mathbb{R}^d$ 为$d$维结构化航班特征向量,其中 $x_j$($j = 1, \ldots, d$)为第$j$个特征。目标是学习从$x$到两个需求目标的不确定性感知预测的映射,定义为:
$$f_\Theta(x) = [\hat{y}_p, \hat{y}_b, \delta_p^{pol}, \delta_b^{pol}]^\top \in \mathbb{R}^4$$
其中 $\hat{y}_p$ 和 $\hat{y}_b$ 分别表示客流量和托运行李数量的点估计,$\delta_p^{pol}$ 和 $\delta_b^{pol}$ 表示对应的区间半宽。因此,$f_\Theta: \mathbb{R}^d \to \mathbb{R}^4$ 将结构化航班特征映射为带有不确定性量化的联合预测。最终输出以统一形式表示为:
$$\text{客流量} = (\hat{y}_p \pm \delta_p^{pol}), \quad \text{托运行李} = (\hat{y}_b \pm \delta_b^{pol})$$
3.2. FlightLLM模型的整体架构
如图2所示,FlightLLM由两条相互关联的流水线组成:离线训练流水线和在线应用流水线。离线训练流水线包含模块I至模块III,而在线应用流水线对应模块IV。该框架以结构化航班特征为输入,对客流量和托运行李数量进行联合预测,产生联合点估计及对应的区间半宽。离线阶段侧重于可解释推理、统计鲁棒性和跨航线迁移能力,而在线阶段则针对冷启动航线的快速少样本适配。四个模块按顺序执行:伪标签生成 → 自训练对齐 → 元学习初始化 → 少样本适配与推理。
图2. FlightLLM架构。
从模型演化的角度来看,离线阶段通过各模块逐步将初始策略大语言模型 Policy-LLM_base 转化为 Policy-LLM_INT、Policy-LLM_ST 和 Policy-LLM_MAML。在线阶段则从元学习初始化 Policy-LLM_MAML 出发,针对目标冷启动航线进行少样本适配,形成从离线能力构建到在线快速部署的完整闭环。
模块I:伪标签生成。以 Policy-LLM_base 和冻结的预训练 PRM 为起点,该模块执行基于过程奖励模型引导的可行性门控与不确定性约束树搜索(FG-UC-TS),在业务可行区域内生成高质量且可审计的伪标签。通过这一过程,Policy-LLM_base 获得了可解释且具有约束感知能力的推理能力,形成 Policy-LLM_INT。
模块II:基于课程学习的自训练。在此阶段,骨干模型保持冻结,通过LoRA引入低秩增量参数。利用伪标签及其关联的质量信号,该模块进行基于课程学习的自训练,以在显式约束下对齐模型输出,形成 Policy-LLM_ST。
模块III:基于MAML的元学习微调。该模块将不同航线视为不同的元任务,通过内环和外环优化学习可迁移的初始化参数。所得模型 Policy-LLM_MAML 提供了更强的跨航线少样本适配能力。
模块IV:少样本适配与推理。从 Policy-LLM_MAML 出发,模型收集目标冷启动航线的K条历史航班记录作为支持集,进行内环微调以获得航线专用适配器。在推理阶段,复用模块I中的FG-UC-TS机制产生最终的区间预测,实现兼具可解释性和统计鲁棒性的少样本联合预测。
3.3. 模块级设计与算法
本节详细介绍四个模块的架构设计。
3.3.1. 模块I:伪标签模块:基于过程奖励模型引导的可行性门控与不确定性约束树搜索(FG-UC-TS)
模块I实例化了基于过程奖励模型(PRM)引导的可行性门控与不确定性约束树搜索(FG-UC-TS),作为FlightLLM的约束感知伪标签引擎(图3)。给定一个结构化航班特征向量,FG-UC-TS执行五阶段搜索——初始化、基于UCT的选择、通过符号-数值解耦生成进行扩展与合成、多准则评估(一致性验证、可行性门控和PRM评分)以及带预算控制终止的值备份——以在业务可行区域内产生可审计的、具有不确定性感知的伪标签。通过这种结构化搜索和推理机制,Policy-LLM_base 在不更新模型参数的情况下获得了可解释且具有约束感知能力的生成能力,形成 Policy-LLM_INT。同时,所生成的高质量伪标签被传递给模块II,作为基于课程学习的自训练信号。3.3.1.1节详细介绍了五阶段流程,3.3.1.2节介绍了PRM的两阶段预训练策略。
图3. 模块I的工作流程。
3.3.1.1. 用于伪标签生成的五阶段FG-UC-TS
(i)结构化节点组件
在FG-UC-TS中,每个候选节点被表示为一个结构化状态元组:
$$s = \langle \text{sym}, \text{coeffs}, \text{runs}, \delta^{pol}, \text{final}, v, Q, N \rangle$$
对于每个预测头 $h \in \{p, b\}$,字段sym表示其对应的线性符号表达式,coeffs表示相关的局部系数,包括偏置项和分配给选定变量的线性权重。runs字段记录在固定符号结构下通过两次受控替换获得的数值输出 $\hat{y}^{(1)}$ 和 $\hat{y}^{(2)}$。基于这两个输出,节点级点估计 $\hat{y}_h$ 和一致性差距 $\Delta_h$ 定义为:
$$\hat{y}_h = \frac{1}{2}(\hat{y}_h^{(1)} + \hat{y}_h^{(2)}), \quad \Delta_h = \hat{y}_h^{(1)} - \hat{y}_h^{(2)}$$
其中 $\Delta_h$ 量化了两次受控替换之间的差异,作为一致性差距的度量。策略大语言模型还为每个预测头报告一个区间半宽 $\delta_h^{pol}$。final字段存储生成的节点级预测区间 $\hat{y}_h \pm \delta_h^{pol}$。
这五个组件共同构成了策略大语言模型报告的结构化证据。具体来说,sym和coeffs构成符号层,而runs、$\delta_h^{pol}$和final构成数值层。
此外,v、Q和N分别表示节点的过程奖励模型得分、通过叶到根值备份获得的节点值估计和访问次数。得分v由过程奖励模型(PRM)在评估阶段直接赋予当前节点,而Q和N在整个搜索过程中持续更新,并随后用于基于UCT的选择和树扩展。
(ii)阶段1:搜索初始化
初始化搜索树 $G_0 = (V_0, E_0)$,其中初始节点集仅包含根节点 $s^\circ$,边集为空:
$$V_0 = \{s^\circ\}, \quad E_0 = \emptyset$$
根节点 $s^\circ$ 定义为仅携带上下文信息的虚拟根状态,为第一次扩展提供统一的父状态接口。在初始化时,根节点的访问次数和节点值估计分别设为 $N(s^\circ) = 0$ 和 $Q(s^\circ) = 0$。根节点不对应任何实例化的候选节点,因此候选节点级的结构化证据仅在后续的扩展阶段生成。
(iii)阶段2——选择(UCT)
该阶段定义了树内选择准则,以识别下一个可扩展的叶节点。在现有树结构中,选择过程递归地利用与每个节点相关的两个历史搜索统计量——备份节点值估计Q和访问次数N——来选择最有前景的搜索路径。
设当前搜索树为 $G_t = (V_t, E_t)$。对于任意父节点p及其子节点 $c \in C(p)$,UCT得分定义为:
$$\text{UCT}(c|p) := Q(c) + c_{UCT} \frac{\ln(N(p) + 1)}{N(c) + 1}$$
其中 $c_{UCT} > 0$ 为探索常数,用于平衡高价值分支的利用与少访问分支的探索。
### 3.3.2.2 树搜索选择:带 PUCT 的 α-UCB
树搜索的选择阶段旨在从已展开的节点树中识别出一个可扩展的叶节点。在每一层,采用基于 UCT 的策略在探索(选择较少被访问的节点)和利用(选择具有较高 Q 值估计的节点)之间取得平衡。在每一层,每个子节点 c 的 UCT 分数被定义为:
(7) UCT(c|p) = Q(c|p) + α·(log N(p) + log |C(p)|) / (N(c|p) + c?)
其中 α > 0 是控制探索强度的探索系数,N(p) 是父节点 p 的访问计数,N(c|p) 是子节点 c 的访问计数,|C(p)| 是 p 的已展开子节点的数量,Q(c|p) 是子节点 c 的平均 Q 值估计。平滑常数 c? = 1 的引入是为了减轻因零访问计数导致的数值不稳定,并在搜索早期阶段维持一种向低访问次数分支进行探索的合理倾向。选择过程从根节点 s° 开始。在每一步中,从当前父节点 p 的子节点集合 C(p) 中选择 UCT 分数最高的子节点:
(7) c? = argmax_{c∈C(p)} UCT(c|p)
然后搜索移动至该被选中的子节点(p ← c?),并在下一层重复相同的过程,直到达到一个可扩展的叶节点 s? 为止。此处,c? 表示当前层的局部最优子节点,而 s? 是沿路径上确定的、用于后续扩展的最终叶节点。可扩展的叶节点被定义为尚未被展开且仍有资格进行扩展的非终止节点。在本研究中,一旦节点的深度达到预定义的上限 Dmax,该节点即被定义为终止节点,从而阻止进一步的扩展。因此,第 2 阶段输出一个可扩展的叶节点 s?,并将其传递至下一阶段进行候选生成。
### 3.3.3 第 3 阶段 —— 扩展与综合(提示驱动的候选形成)
本阶段仅负责候选生成。针对第 2 阶段识别出的可扩展叶节点 s?,设 Policy-LLM 记为 G_θ,确定性解析器记为 Ψ。单步候选扩展可总结为:
(8) (SYSTEM, USER, s?, x) → G_θ NodeCard → Ψ {s~_i}_{i=1}^{K_b}
其中 K_b 表示每个扩展步骤生成的候选数量,即分支因子。候选之间的结构化多样性是通过在固定协议下受控的多样性生成策略诱发的。此处,s~_i = 〈sym, coeffs, runs, δ_pol, final〉 表示第 i 个被解析的结构化证据记录。每个这样的候选都被视为一个待验证的提案,并传递至后续阶段进行统一的可行性与质量评估。
**提示词构造。** 为避免 Policy-LLM 直接输出难以解释的整体性最终预测,本阶段采用了一种模式受限的提示词,从而诱发一种有纪律的、符号—数值解耦的生成序列,其结构为五个强制性块(图 4)。该提示词遵循由 SYSTEM 和 USER 两部分组成的架构。
**• SYSTEM(全局的、不变规则与强语法)**
SYSTEM 具有最高优先级。它定义了模型角色,并严格强制输出协议,以便所生成的证据可被确定性地解析,同时禁止任何形式的自由叙述文本。SYSTEM 施加了四类约束。
第一,它规定了强约束语法(SCG)与字段协议,包括一种固定的五块输出布局(SYMBOLIC → COEFFS → RUNS → PI-POLICY → FINAL),该布局与式 (3) 中候选状态的五个证据字段相对应;每个块采用单行 JSON 格式化;并采用一个封闭的变量白名单,每个预测头必须从中选择 p1 和 p2 无偏变量,从而阻止引入超范围变量,并确保下游的确定性解析。
第二,它强制执行两个预测头之间的结构性区分,要求它们在所选变量上至少有差异于两个变量,从而使得客运和行李模型可被区分,同时共享相同的输入上下文。
第三,它强制执行两种受控的替换,在固定的符号结构下进行:一种基于原始输入,另一种基于通过先将每个输入特征四舍五入至两位小数而获得的扰动变体,然后再进行替换。两次运行之间的差异被用来表征候选对小幅数值扰动的敏感度,并形成一致性缺口 Δ。
第四,它要求 PI-POLICY 输出严格为正的、具有下界意识的区间半宽度:每个半宽度不得低于一个由通过局部系数传播的不确定性、残差方差先验以及 RUNS 的一致性缺口共同确定的最小可靠宽度。此条款作为方向性指导,而非精确的强制要求。
**• USER(样本特定上下文)**
USER 提供三类样本特定内容。第一,当前航班实例 x 的特征级键值列表以及路由元数据。第二,树搜索控制字段(PARENT_NODE_ID、EXPAND_K 和 MODE);MODE 字段作为启发式偏好开关,将变量选择偏向于历史均值特征(MODE 0)、容量特征(MODE 1)或波动特征(MODE 2),从而在不违反 SYSTEM 约束的情况下增加候选之间的结构化多样性。第三,操作性提醒,用于强化但不扩展在 SYSTEM 中声明的不变规则,并附带一个最小输出示例以锚定预期格式。
由此,模板化输出(NodeCard)可被解析器 Ψ 确定性地转换为提案侧的结构化证据 s~_i,然后传递至第 4 阶段进行统一评估。
### 3.3.4 第 4 阶段 —— 评估(可行性门控与奖励分配)
在本阶段,第 3 阶段生成的结构化候选将接受统一的流程级评估。为提高可复现性并抑制算术噪声,在固定协议下对包含在 RUNS、PI-POLICY 和 FINAL 三个块中的数值证据应用二遍一致性验证。具体而言,在容差 ε 内,验证检查 RUNS 中报告的两个受控替换是否满足与其派生统计量所需的代数恒等式,以及 PI-POLICY 和 FINAL 是否对区间半宽度提供一致的描述。如果任何数值字段缺失、非有限或跨块内部不一致,则数值层将按固定规则进行归一化。
在归一化期间,avg ?_h = (1/2)(?_h^(1) + ?_h^(2)) 和 gap Δ_h = ?_h^(1) - ?_h^(2) 使用已验证的 ?_h^(1) 和 ?_h^(2) 值重新计算并覆盖。如果半宽度 δ_pol_h 缺失、非有限、满足 δ_pol_h ≤ 0,或与其余数值证据不一致,则构造一个归一化的半宽度 (δ_pol_h)′。具体地,首先根据式 (13) 计算下界 L_h(s~),然后从式 (12) 得到上界 U_δ,h(s~)。随后使用目标比率 κ_π_tar 生成一个候选半宽度,并约束其位于可行的不确定性带 [L_h(s~), U_δ,h(s~)] 内,从而确保 (δ_pol_h)′ 始终满足可行性要求。然后更新 FINAL 块以与归一化的点预测和半宽度保持一致。
重要的是,此步骤仅正则化数值证据(RUNS、PI-POLICY、FINAL),而不修改 SYMBOLIC 或 COEFFS,从而保持了框架的符号—数值解耦。
随后,过滤与准入在两步中进行。首先,使用可行性谓词以及区间半宽度的上下界应用硬门控。仅保留位于可行区域且满足半宽度约束的候选。其次,使用预训练的 PRM 评估每个保留的候选,其分配一个标量奖励 v。此奖励作为树搜索的唯一价值信号。本阶段的输出仅包括保留/剪枝决策与奖励。
**硬门控。** 定义评估算子:
(9) E(s~_pass; x) :=
- prune, 如果 χ_biz(s~_pass; x) = 0
- prune, 如果 ?h∈p,b: δ_pol_h < L_h(s~_pass)
- prune, 如果 ?h∈p,b: δ_pol_h > U_δ,h(s~_pass)
- (v(s~_pass), aux), 否则
其中 s~_pass 是经过二遍一致性验证后形成的结构化候选,δ_pol_h 表示策略为头 h∈p,b(客运/行李)报告的预测区间半宽度。业务可行性指示器 χ_biz(s~_pass; x) 定义于式 (10) 和 (11),而 L_h(s~_pass) 和 U_δ,h(s~_pass) 分别表示由式 (13) 和 (12) 给出的相应半宽度下界和上界。此外,v(s~_pass) 是来自预训练 PRM 的标量奖励,而 aux 包含可选的诊断元数据,不在后续选择中使用。
**可行性谓词。** 定义业务可行集合:
(10) C(x) := {(?_p, ?_b) | 0 ≤ ?_p ≤ U_p(x), 0 ≤ ?_b}
(11) χ_biz(s~_pass; x) := 1_{(?_p(s~_pass), ?_b(s~_pass)) ∈ C(x)}
其中 U_p(x) 表示客运的符号上界。没有固定的业务可行性上界,仅保留一个非负下界(即 0)。项 1_[·] 是指示函数,?_h 是点估计。如果 χ_biz = 0,候选立即被剪枝并从所有后续阶段中排除。
值得注意的,尽管特征集包括货舱容量作为容量信号,但在实际运营中货舱通常由行李和货运共同使用。此外,货运需求在本研究中既未被建模,也得不到货运标注的支持。如数据部分(第 4.2 节)所估计的,从货舱体积转换得到的行李件数理论上界显著超过经验行李分布。因此,将货舱容量作为行李的硬上界会产生过于宽松且缺乏区分度的可行性约束。基于此,仅对行李预测施加非负可行性约束,而将货舱容量作为推理的上下文容量信号,而非硬约束。
**半宽度的上下界。** Policy-LLM 产生的区间半宽度 δ_pol_h 直接影响区间预测的风险水平。为避免退化区间,在每个预测头 h∈p,b 的可行节点上施加一个可行的不确定性带:下界防止区间变得过窄从而导致覆盖不足,而上界抑制过于宽泛、看似安全却缺乏信息量的区间,从而保持不同路由之间候选区间的可比性。
(12) L_h(s~_pass) ≤ δ_pol_h ≤ U_δ,h(s~_pass), U_δ,h(s~_pass) := ρ_max · L_h(s~_pass)
其中 ρ_max > 1 作为上界松弛因子,限制半宽度相对于其下界的最大扩展。半宽度的下界以与符号—数值解耦一致的结构化方式构建:
(13) L_h(s~_pass) := z√(J_h^? Σ_x J_h 传播 + σ2_res,h 残差先验 + κ2_h Δ2_h 稳定性)
其中 J_h 表示由 COEFFS 模块在特征 x 上产生的局部线性系数向量,Σ_x 是输入侧不确定性的尺度矩阵。进一步地,σ2_res,h 表示先验残差方差,Δ_h 表示从两次受控替换中得到的一致性偏差,κ_h 是其加权系数,z 是对应于指定覆盖水平的分位数因子。
基于上述构造,式 (13) 提供了不确定性的一个一阶下界,捕获了三个分量:一个由局部线性系数通过输入侧不确定性诱发的不确定性传播项,一个捕获未建模外部扰动的残差方差项,以及一个为抑制数值不稳定而引入的一致性偏差项。因此,它为每个预测头定义了应维持的最小可靠半宽度。进一步的实现细节和超参数设置在第 5.1.5 节给出。
**奖励分配(PRM)。** 令 s~_pass′ 表示通过硬门控的一个已形成的候选。PRM V_φ? 读取节点的结构化证据并输出一个分数:
(14) v(s~_pass′) = V_φ?(EvidenceText(s~_pass′)) ∈ [0,1]
其中 V_φ? 表示过程奖励模型(PRM),其在离线预训练后在整个训练和推理流水线中保持冻结(详见第 3.3.1.2 节)。EvidenceText(s~_pass′) 表示用于 PRM 打分的文本输入,它通过将状态 s~_pass′ 中的五个证据块与当前候选所需的上下文信息确定性地序列化而构造,包括用于预测的特征子集、工程标记和一小部分显式的尺度统计量。不包含任何真值标签,以防止标签泄漏并确保 PRM 打分仅依赖于节点局部证据。
**PRM-LLM 打分标准。** PRM 也使用一个两部分提示词,由 SYSTEM 部分(固定的打分纪律)和 USER 部分(结构化证据文本 EvidenceText(s~_pass′))组成。SYSTEM 提示词将 PRM 定义为一个仅基于候选节点证据分配偏好分数的函数。PRM 输出一个标量分数 v∈[0,1]。为稳定排序和训练,采用以 0.5 作为中性基线的校准,而未能满足结构完整性要求的候选将被赋予接近 0 的分数。一个示例模板如图 5 所示。
**(图 5)** 过程奖励模型的提示词模板。
在没有真值监督的情况下,PRM 的偏好标准按重要性降序总结如下:
(i) **完整性/结构:** 所有五个证据块均存在、可解析且数值有效,具有封闭的跨块引用且无模式错误。
(ii) **效用/预测合理性:** 点估计在尺度和方向上与输入 x 中的历史统计量一致,避免在结构上有效但明显不合理的预测。
(iii) **区间质量代理指标:** 优先给予覆盖—宽度权衡更有利的候选。
(iv) **稳定性与一致性:** 重复运行更加一致,数值链与 FINAL 行相符,且 PI-POLICY 在半宽度规定上与 FINAL 一致。
(v) **简约性与就绪性:** 在其他方面均合格的候选中,优先给予更简洁、包含更少工程伪影的候选。
由于门控强制施加一个共同的业务可行区域和相同的预测区间半宽度边界约束,PRM 分数在节点和迭代之间保持可比。
总之,只有通过硬门控的候选才被准入作为新的子节点,并记录其偏好分数 v∈[0,1];未通过硬门控的候选被丢弃并从叶到根的价值备份中排除。为提高树搜索备份和 UCT 比较中的数值稳定性,偏好分数在备份期间会进一步经过一个严格单调的 logit 变换,得到 v_logit。为防止数值溢出,在变换之前分数被截断到 [ε, 1-ε],其中 ε 是一个小常数。
### 3.3.5 第 5 阶段 —— 备份(价值传播)
价值备份(Value Backup)阶段沿着从叶节点到根节点的路径传播评估结果,从而更新所有祖先节点。在此步骤中,由 PRM 分配的奖励 v 充当唯一的价值信号。在标准树搜索中,一个祖先节点的价值等于其后代叶节点价值的平均。然而,为改善奖励的可比性并抑制算术噪声,本研究将原始偏好分数 v 通过一个严格单调的 logit 变换进行映射:
(15) v_logit = log( v? / (1 - v?) )
其中 v? = clip(v, [ε, 1-ε]) 表示被截断到 [ε, 1-ε] 的原始分数,以避免数值溢出。该变换将分数映射到 (-∞, ∞),从而扩大奖励之间的区分度。对于备份期间沿路径传播的每个祖先节点 p,其更新公式为:
(16) Q(p) = (1 / N_backup(p)) · Σ_{j=1}^{N_backup(p)} v_logit^j
其中 N_backup(p) 表示从 p 的后代叶节点备份到 p 的次数。通过这种备份,树结构逐步累积价值信息,使选择策略在后续迭代中做出更明智的决策。
### 3.3.6 训练与推理流水线
在树搜索完成后,最优轨迹被从树结构中抽取,形成一个由最优选择与最优价值组成的轨迹集合。该集合随后被用于训练一个可部署的 Policy-LLM,以在单步推理中模拟 MCTS 搜索策略。
具体来说,对于每个实例 i,MCTS 生成的最优轨迹被表示为序列 (s°_i, c?°_i, c?^1_i, ..., s?^i_n),其中 s°_i 表示根节点,c?^k_i 表示深度 k 处的被选中的子节点,s?^i_n 表示最终被扩展的叶节点。对于轨迹中的每个节点 c?^k_i,最优价值被定义为:
(17) V*_i = max_{c∈C(s°_i)} V(c)
其中 V(c) 是节点 c 基于备份得到的累积价值,通过式 (16) 计算。Policy-LLM 采用交叉熵损失在最优轨迹上训练,该损失计算如下:
(18) L_CE = - Σ_{i=1}^{N_i} Σ_{k=1}^{n_i} log P(c?^k_i | s°_i, c?°_i, ..., c?^{k-1}_i; θ)
其中 θ 表示 Policy-LLM 的参数,N_i 是训练实例的总数,n_i 是第 i 个实例的深度,P(c?^k_i | ...; θ) 表示模型预测被选中的子节点的概率。该训练过程优化 θ,使 Policy-LLM 学习 MCTS 搜索行为,从而使模型能够直接产生最优选择而无需显式搜索。
在推理阶段,训练好的 Policy-LLM 被用于直接预测每个输入实例的最优决策,而无需运行 MCTS。这大大降低了计算成本,同时保留了从训练过程中获得的近似最优决策。
### 3.3.7 总体流水线总结
整体过程形成了一个闭环优化循环,其五个阶段相互依赖:
1. **初始化**:树从根节点 s° 初始化,该根节点代表当前搜索空间的起点。
2. **搜索**:应用搜索策略(式 7),选择一个待扩展的叶节点 s?。
3. **扩展与综合**:应用 Policy-LLM 和提示词模板在 s? 处生成 K_b 个候选子节点,并确定性地解析为结构化证据。
4. **评估**:通过二遍一致性验证进行数值归一化,随后通过硬门控(可行性与半宽度约束)进行过滤,通过 PRM 进行奖励分配(v ∈ [0,1])。
5. **备份**:将 v_logit 沿路径传播至所有祖先,更新 Q 值和访问计数。
该循环重复运行 K 次迭代,以逐步精炼树结构和价值估计。在此过程中,Policy-LLM 根据不断发展的搜索上下文为每个节点动态生成多样化的候选项,而 PRM 则提供了一个客观、可比的奖励信号来指导树搜索。
最终,训练后的 Policy-LLM 能够直接从状态 s° 生成最优轨迹,无需在推理期间显式的树搜索,从而实现高效的单步决策,同时保持与 MCTS 策略相当的近似最优性能。
该变换在保持候选相对排序的同时缓解了0和1附近的饱和问题,从而使值信号更适合累积和比较。(vi)阶段5——备份与终止。一旦阶段4为新生成的叶节点分配了有效的标量过程值,算法便沿叶到根的路径执行一次标量备份。在此过程中,轨迹上每个节点的访问次数和值估计都会相应更新。更新后的统计信息随后指导UCT策略下的后续选择,直至达到预设的迭代预算并返回最终解。路径与符号。设$s_L$为当前扩展–评估周期生成的叶节点。相应的根到叶轨迹为
(15) $P = (s_0, s_1, \ldots, s_L)$,$s_0 = s^\circ$
其中$P$表示当前迭代的选路轨迹,$s^\circ$为根节点。设$v_{\text{logit}}^\star$为PRM在固定评估协议(阶段4)下分配给$s_L$的过程奖励(即用于数值稳定备份的logit变换偏好分数);该值随后作为阶段5的备份信号。访问次数备份。沿当前轨迹$P$,每个节点$s \in P$的访问次数更新为$N(s) \leftarrow N(s) + 1$,其中$N(s) \in \mathbb{N}$表示截至当前迭代对节点$s$的累积访问次数。值估计备份。采用均值备份。对每个节点$s \in P$,值估计通过增量平均更新:
(16) $Q(s) \leftarrow Q(s) + \frac{v_{\text{logit}}^\star - Q(s)}{N(s)}$
其中$Q(s) \in \mathbb{R}$表示节点值的滑动估计,$N(s)$为累积访问次数。此更新是标准的在线均值估计器,利用新观测值$v_{\text{logit}}^\star$对历史平均值进行细化。终止条件与输出。当迭代索引达到最大预算$T \in \mathbb{N}$时,搜索终止。终止时,选取值估计最大的根子节点:
(17) $s^\dagger := \arg\max_{c \in \mathcal{C}(s^\circ)} Q(c)$
其中$\mathcal{C}(s^\circ)$表示根子节点集合。平局首先按访问次数$N_c$打破,其次按最近更新时间打破。最终预测直接从所选节点的FINAL字段返回。单样本的伪标签定义为$z$:
(18) $z = \langle T, O \rangle$,$T = (\text{SYSTEM}, \text{USER}[x])$
其中$T$表示指定输入$x$生成条件的两部分提示上下文。输出包$O$由搜索返回的最佳节点$s^\dagger$实例化,包含被接受的候选结构体及最小课程信号:
(19) $O = \text{StructCand}(s^\dagger)$,$\text{meta} = v(s^\dagger), P(s^\dagger), Q(s^\dagger), N(s^\dagger)$
其中$\text{StructCand}(s^\dagger)$表示在阶段3中生成并在阶段4中被接受的候选结构体(即五个证据块,包括FINAL块)。$v(s^\dagger) \in [0, 1]$是PRM在阶段4分配给节点$s^\dagger$的偏好概率,$P(s^\dagger)$表示与$s^\dagger$相关的选路轨迹。$Q(s^\dagger) \in \mathbb{R}$和$N(s^\dagger) \in \mathbb{N}$分别为备份后的节点值估计和累积访问次数。总体而言,meta存储了模块II消费的最小课程信号。3.3.1.2 PRM预训练与初始化在模块I的树搜索中,PRM为候选轨迹产生标量评估,无需真实标签,从而引导搜索过程并决定伪标签的选择偏好和收敛方向。为使模型具备可迁移的过程评估先验并增强其在目标域中准确识别高质量候选的能力,采用两阶段训练策略。阶段1利用公开的连续质量语料进行基于回归的预训练,以建立结构化评分的鲁棒初始化。阶段2使用由整形教师诱导的偏好对进行域内对齐,将任务特定的候选选择偏好蒸馏到PRM中。阶段1:质量值回归预训练。阶段1使用公开数据集进行模型初始化(第4.3节),该数据集包含推理过程片段及其对应的连续质量标注$y \in [0, 1]$。对于输入证据$E$,PRM输出原始标量分数$r_\theta(E) \in \mathbb{R}$,随后通过sigmoid函数映射为预测质量值$\hat{y}_\theta(E) = \sigma(r_\theta(E))$。模型通过最小化均方误差(MSE)进行训练,以真实质量标注$y$作为软监督信号:
(20) $\mathcal{L}_{\text{Stage1}} = \mathbb{E}_{(E,y)} (\hat{y}_\theta(E) - y)^2$
该目标函数引导PRM拟合连续的过程质量分布。以LoRA适配器和值头实现,阶段1提供鲁棒初始化并赋予模型区分推理步骤间质量差异的基本能力,从而促进阶段2对齐并改善下游树搜索值信号的数值稳定性。阶段2:基于整形引导偏好对的域内偏好对齐。在阶段1鲁棒初始化的基础上,阶段2通过域内偏好学习使PRM与任务特定的候选排序准则对齐。所有偏好对仅从训练集中构建,不使用验证或测试样本。对于每个训练样本,候选池由在离线搜索中达到最大搜索深度的终止节点构成。此处"终止"仅指基于预算的搜索终止,不意味着内在质量。在这些候选中,通过模块I阶段4中二次一致性验证和硬门控的节点作为域内排序学习的主要来源。对于任意保留的候选节点$s$,最终输出由点预测$(\hat{y}_p, \hat{y}_b)$和对应的区间半宽度$(\delta_p^{\text{pol}}, \delta_b^{\text{pol}})$组成。这四个标量构成整形教师分数的基础。设$y_p$和$y_b$为两个预测头的真实值。每个头的区间违例定义为
(21) $e_p = \max(0, |y_p - \hat{y}_p| - \delta_p^{\text{pol}})$,$e_b = \max(0, |y_b - \hat{y}_b| - \delta_b^{\text{pol}})$
因此,$e_p = 0$和$e_b = 0$表示对应的预测区间覆盖了真实值。基于这些违例,基础整形教师分数定义为
(22) $r_{\text{base}}(s_\sim) = b_{\text{cov}} \mathbb{I}(e_p = 0 \wedge e_b = 0) - \lambda_v \sum_{h \in \{p,b\}} \frac{e_h}{c_h} - \lambda_\rho \sum_{h \in \{p,b\}} (\rho_h(s_\sim) - \rho_0)_+^2 - \beta_g (\Delta_p + \Delta_b)$
其中$b_{\text{cov}}$奖励两个头的真实值同时被覆盖;$\lambda_v$惩罚区间违例$e_p$和$e_b$,并按$c_p$和$c_b$归一化;$\lambda_\rho$惩罚超过目标比率$\rho_0$的紧凑度比率;$\beta_g$惩罚数值稳定性差距$\Delta_p$和$\Delta_b$。为进一步抑制结构性异常候选,引入额外的工程惩罚:
(23) $r_{\text{tea}}(s) = r_{\text{base}}(s) - \sum_{f \in \mathcal{F}_{\text{eng}}} \lambda_f \cdot s_2^{(f)}$
其中$\mathcal{F}_{\text{eng}}$表示工程标志集合,$\lambda_f > 0$为与标志$f$相关的惩罚系数。此公式防止由结构修复、回退或解析异常产生的候选被排在过高的位置。为保持训练与推理的一致性,阶段2采用相同的模型输入$\text{EvidenceText}(s)$(定义于公式(14)),严格排除所有真实标签。PRM评分因此仅依赖于候选节点本身包含的结构化证据,防止标签泄漏。在此基础上,阶段2从每个训练样本的固定候选池构建两类偏好对。第一类,可行–可行效用对,提供主要训练信号。高分保留候选被选为偏好样本,较弱但仍可行的候选用作对比样本,受最小教师分差和代理分离要求约束。这些对使PRM能够在可行区域内学习细粒度的相对效用排序。第二类,可行–无效边界对,仅作为辅助信号。其偏好侧仍取自高分保留候选,对比侧则来自未通过保留过滤器的候选。这些对不旨在主导效用排序,而是校准决策边界并防止具有严重结构或工程异常的候选在后续搜索中获得高优先级。对于任意候选节点$s$,对应的PRM分数表示为$v(s)$。在阶段2中,该分数仅用于表示训练中候选间的相对排序。偏好对集合定义为$\mathcal{D}^{s2} = \{(s_i^+, s_i^-, w_i)\}_{i=1}^{N_{s2}}$,其中$s_i^+$和$s_i^-$分别表示第$i$个偏好对中的偏好候选和对比候选,$w_i$表示对应的样本权重。阶段2训练目标函数为
(24) $\mathcal{L}_{\text{Stage2}} = \frac{1}{N_{s2}} \sum_{i=1}^{N_{s2}} w_i \cdot \text{softplus}\left[-V_\phi(\text{EvidenceText}(s_i^+)) + V_\phi(\text{EvidenceText}(s_i^-))\right] + \lambda_{\text{reg}}^{s2} \|\Delta_\phi^{s2}\|_F^2$
第一项是加权成对排序损失,鼓励PRM对偏好候选赋予高于对比候选的分数;第二项是对可训练参数的L2正则化项,抑制参数漂移。阶段2在相同的参数高效LoRA方案下分两步训练:步骤A仅使用可行–可行效用对建立有效候选间的主要排序结构。步骤B引入可行–无效边界对,以受控贡献改善边界校准,而不改变步骤A中学到的以效用为中心的排序。训练后,PRM保持冻结,在整个离线训练和在线推理过程中作为唯一的过程级评分信号复用。3.3.2 模块II:基于课程的自训练模块II利用模块I生成的伪标签,通过基于课程的自训练(图6)对策略LLM进行目标导向的轻量级对齐。在每个课程阶段$r$,模块I的FG-UC-TS被复用,从当前策略重新生成候选池,随后通过硬课程进行阶段性候选筛选和通过软课程进行样本级质量加权。选定并加权的伪标签驱动LoRA监督训练,骨干网络保持冻结。通过$R$次"生成–筛选–训练"循环迭代,$\text{Policy-LLM}_{\text{INT}}$逐步获得约束对齐和统计鲁棒性,得到$\text{Policy-LLM}_{\text{ST}}$,作为模块III的初始化。(1) 硬课程:分阶段候选池与筛选算子图6. 模块II工作流。设$r \in \{1, \ldots, R\}$表示课程阶段,其中$R$为自训练阶段总数。在阶段$r$,模块I使用阶段$r-1$的策略LLM应用于每个训练实例,生成经审核的候选池:
(25) $\hat{\mathcal{Z}}^{(r)} = \{z_m^{(r)} = \langle T_m^{(r)}, O_m^{(r)} \rangle\}_{m=1}^{M^{(r)}}$
其中$z_m^{(r)}$表示阶段$r$的第$m$个伪标签。$T_m^{(r)} = (\text{SYSTEM}, \text{USER})$为提示,$M^{(r)}$为阶段$r$的池大小。负载$O_m^{(r)}$继承自FG-UC-TS返回的最佳节点(公式(19))。模块II的附加筛选信号(如真实覆盖指示器)在筛选过程中利用结构化候选和对应的真实标签即时导出。覆盖可行性定义——阶段$r$,样本$m$。对阶段$r$的每个头$h \in \{p, b\}$($p$:乘客,$b$:行李),定义预测区间和覆盖指示器为
(26) $I_{m,h}^{(r)} = [\hat{y}_{m,h}^{(r)} - \delta_{m,h}^{\text{pol}(r)}, \hat{y}_{m,h}^{(r)} + \delta_{m,h}^{\text{pol}(r)}}]$,$c_{m,h}^{(r)} = \mathbb{I}(y_{m,h}^* \in I_{m,h}^{(r)})$,$C_m^{(r)} = \prod_{h \in \{p,b\}} c_{m,h}^{(r)} \in \{0, 1\}$
其中$\hat{y}_{m,h}^{(r)}$为头$h$的点估计,$\delta_{m,h}^{\text{pol}(r)}$为预测区间对应的策略半宽度,$y_{m,h}^*$为真实值,$\mathbb{I}(\cdot)$为指示函数。伪标签被判为可行当且仅当两个头均被覆盖,即$C_m^{(r)} = 1$。质量分数。质量指标定义为模块I中备份的节点值估计,记为$S_m^{(r)} = Q_m^{(r)} \in \mathbb{R}$,其中较大的值表示更好的推理轨迹和更高的伪标签质量。保留率诱导的分位数截断。设保留率参数为$\varrho^{(r)} \in (0, 1)$。阶段$r$的分数截断定义为
(27) $\zeta^{(r)} = \text{Quantile}_{1-\varrho^{(r)}} \{S_m^{(r)}}\}_{m=1}^{M^{(r)}}$
其中$\zeta^{(r)}$为阶段$r$池$S_m^{(r)}$的经验$(1-\varrho^{(r)})$分位数,诱导基于排名的保留规则。伪标签在阶段性筛选中被评为"高质量"的条件为$S_m^{(r)} \geq \zeta^{(r)}$,这大约保留池中前$\varrho^{(r)}$比例的样本。同池筛选算子(硬课程)。在同一候选池$\hat{\mathcal{Z}}^{(r)}$内,规则从覆盖优先过渡到质量细化:
(28) $\mathcal{Z}^{(r)} = \{m \mid (C_m^{(1)} = 1 \wedge S_m^{(1)} \geq \zeta_\text{low}^{(1)}) \vee (S_m^{(1)} \geq \zeta^{(1)} \wedge g_m^{(1)} \leq \delta), r = 1; \; m \mid C_m^{(r)} = 1 \wedge S_m^{(r)} \geq \zeta^{(r)}, r \geq 2\}$
额外阈值$\zeta_\text{low}^{(1)}$是应用于阶段1覆盖分支的宽松质量下限,定义为阶段1池中已覆盖样本的低分位数。覆盖差距$g_m^{(r)} \geq 0$定义为
(29) $g_m^{(r)} = \max_{h \in \{p,b\}} \max(|y_{m,h}^* - \hat{y}_{m,h}^{(r)}| - \delta_{m,h}^{\text{pol}(r)}, 0)$
当$C_m^{(r)} = 1$时满足$g_m^{(r)} = 0$。常数容差$\delta$仅在未满足覆盖时接受接近命中的高质量候选。在阶段1,带守卫的或逻辑允许满足以下条件的样本:(i)实现覆盖且具有非退化质量,或(ii)展现领先质量且接近覆盖;后续阶段采用与逻辑进行细化。保留率序列$\{\varrho^{(r)}\}_{r=1}^R$单调收紧($\varrho^{(r+1)} < \varrho^{(r)}$),截断$\zeta^{(r)}$在阶段$r$池内计算,因此决策区域随$r$单调缩小。此收紧仅描述同池变化;由于$\hat{\mathcal{Z}}^{(r)}$在每阶段重新生成,不对跨阶段样本索引做集合包含声明。(2) 软课程(样本加权)。在阶段$r$,软课程为通过硬课程的$\mathcal{Z}^{(r)}$中每个伪标签分配学习优先级权重。权重定义为PRM值(PRM可接受性)、区间紧凑度和稳定性指标的确定性函数,使得可接受性更高且区间估计良好的证据在LoRA适配期间对训练目标贡献更大。由不确定性尺度校准的紧凑度。为避免策略LLM区间输出的两种退化行为——区间过窄(过度自信、覆盖不足)或区间过宽(看似安全但无信息量)——阶段4对可行节点的每个头$h \in \{p, b\}$的预测半宽度施加双向门控:
(30) $L_h(O_m^{(r)}) \leq \delta_{m,h}^{\text{pol}(r)} \leq U_{o,h}(O_m^{(r)}) = \rho_{\max} L_h(O_m^{(r)})$
其中下界$L_h(\cdot)$定义于公式(13),上界使用松弛因子$\rho_{\max} > 1$(公式(12))将最大可接受半宽度锚定到相同的不确定性尺度,从而抑制过于宽泛(无信息量)的区间。
基于此尺度,我们为每个头定义紧凑度比率,即预测半宽相对于其方法论下界的大小:
(31) ρ_h^{zm}(r) = δ_{m,h}^{pol}(r) / L_{hO_m}(r),ρ?^{zm}(r) = 1/2(ρ_p^{zm}(r) + ρ_b^{zm}(r))
由于第四阶段的双向门控机制,ρ_h 在实现中自然被限定在 ρ_h ∈ [1, ρ_max] 范围内。特别地,ρ_h ≈ 1 表示在尊重方法论最小值的前提下实现了最大紧凑度的区间,而 ρ_h 趋近于 ρ_max 则对应于更保守(更宽)的区间。整体紧凑度 ρ? 总结了乘客头和行李头的区间紧度。
**样本权重:软课程的核心**
软课程通过结合伪标签质量和区间紧凑度为每个样本分配训练权重。对于第 r 阶段的样本 m,定义归一化权重 w_m(r) 为:
(32) w?_m(r) = (v_m(r))^γ · exp(-λ(ρ?(StructCand_m(r)) - ρ_0)2/2),w_m(r) = norm(w?_m(r))
其中 v_m(r) ∈ [0, 1] 表示与候选输出载荷 O_m(r) 相关的 PRM 评分。指数 γ > 0 控制对高质量样本的强调程度,γ > 1 时赋予较高分候选更大的权重。项 ρ?(StructCand_m(r)) 是公式 (31) 中定义的整体紧凑度比率。系数 λ > 0 控制紧凑度偏好的强度,ρ_0 ∈ [1, ρ_max] 表示目标紧凑度。当 ρ? 远低于 ρ_0(过窄)或远高于 ρ_0(过宽)时,样本通过指数项被降权。算子 norm(·) 在每个小批次内进行线性归一化,使得最终样本权重之和为 1,从而避免跨批次的尺度漂移。
**(3) 基于 LoRA 的监督自训练**
在模块 II 的课程阶段 r 中,由硬课程选定的样本集 Z^(r) 和由软课程计算的样本权重 w_m(r), m ∈ Z^(r) 被用于目标导向的 Policy-LLM 轻量化对齐。在训练过程中,基础参数被冻结,仅更新 LoRA 适配器参数 ?,鼓励生成可行且稳定的 NodeCard 输出,其半宽接近目标紧凑度 ρ_0。
**带正则化的加权监督目标**
给定阶段 r 的伪标注样本 {(T_m(r), O_m(r))}_{m∈Z^(r)},采用加权条件似然作为监督损失,并使用 ?_2 惩罚项控制适配器复杂度:
(33) L_sup^(r)(ρ) = -∑_{m∈Z^(r)} w_m(r) log p_{θ,φ}(O_m(r) | T_m(r)),L_total^(r)(ρ) = L_sup^(r)(ρ) + β||φ||?2
其中 p_{θ,φ}(O_m(r) | T_m(r)) 是给定提示 T_m(r) 时生成 NodeCard 序列 O_m(r) 的条件概率;w_m(r) 表示软课程样本权重;β > 0 是正则化系数;||φ||?2 是所有 LoRA 参数的平方 Frobenius 范数。在实践中,负对数似然在每个样本的监督(非掩码)token 上取平均值,以避免长度偏差。权重在每个小批次内进行线性归一化使其之和为 1,损失以加权平均方式聚合。
**优化与阶段循环 (r = 1, …, R)**
在每个课程阶段 r,对 ? 进行 N_upd(r) 次梯度更新:
(34) ? ← ? - η?_? L_total^(r)(φ),重复 N_upd(r) 步后得到 ?^(r)
进入阶段 r+1:模块 I 严格在训练划分上重新生成候选池,硬/软课程产生 Z^(r+1) 和 {w_m(r+1)}。该过程重复直到 r = R,之后最终的 LoRA 参数取为 ?_ST := ?^(R)。最终,模块 II 产生 G_{θ,φ_ST},作为模块 III 的元初始化策略。
**3.3.3. 模块 III:基于 MAML 的元学习微调**
模块 III 在 Policy-LLM_ST 之上应用模型无关元学习(MAML),学习一个元初始化的 LoRA 策略,以实现在不同航线路由上的少样本适应(图 7)。通过将训练航线组织为航线级元任务,并通过内循环适应和外循环元更新来优化策略,该模块产生可泛化的元初始化,支持快速的少样本部署。最终模型 Policy-LLM_MAML 为模块 IV 中的在线适应和推理提供初始化。
*下载:下载高分辨率图像 (424KB) 下载:下载全尺寸图像*
**图 7. 模块 III 的工作流程**
形式上,该方案作用于 LoRA 适应后的策略 G_{θ,φ_ST}(Policy-LLM_ST)。骨干参数 θ 保持冻结,仅优化轻量级 LoRA 元参数 ?,初始化于 ?^(0) = ?_ST。每条航线 τ 被视为一个元任务,由多个按时间排序的回合 e ∈ E_τ 表示。每个回合包含一个支持集 S_{τ,e} 和一个查询集 Q_{τ,e},其中 S_{τ,e} 包含 K 个连续的航班级观测,Q_{τ,e} 包含随后的 H 个观测(即 K → H)。从 ?^(0) 开始,在 S_{τ,e} 上执行 U 步内循环梯度步,得到回合适应后的参数 ?'_{τ,e}。
在每个外循环元更新中,从训练航线中采样一组航线任务形成元批次 B。外循环在 Q_{τ,e} 上评估 ?'_{τ,e},并通过优化加权外目标 L?_out 更新 ?。为了计算可行性(针对大型语言模型),使用 MAML 的一阶近似(FOMAML)计算元梯度。回合构造策略和滚动锚定协议在第 5.1.2 节中描述。
**(1) 内循环:任务特定适应(与模块 II 对齐)**
对于每个航线级元任务 τ,以及每个按时间排序的回合 e ∈ E_τ,通过在回合支持集 S_{τ,e} 上执行 U 步梯度步来快速适应 LoRA 元参数:
(35) ?_{τ,e}^(u) = ?_{τ,e}^(u-1) - ψ_in ?_? L_in(?_{τ,e}^(u-1); S_{τ,e}),u ∈ {1, …, U}
其中 L_in(?; S_{τ,e}) 表示与模块 II 对齐的内目标,ψ_in 是内循环学习率,?_{τ,e}^(u) 是第 u 次更新后的回合适应参数。所得的回合适应策略记为 G_{θ,?'_{τ,e}},其中 ?'_{τ,e} = ?_{τ,e}^(U) 表示快速适应结果,随后在对应查询集 Q_{τ,e} 上在外循环中进行评估。
**(2) 外循环:可靠性感知元目标与元更新**
在回合查询集 Q_{τ,e} 上,使用回合适应后的策略参数 ?'_{τ,e} = ?_{τ,e}^(U) 进行五阶段树搜索(FG-UC-TS),为每个查询实例 n ∈ Q_{τ,e} 产生五块结构输出 ?_{τ,e}^(n)。在同一候选评估步骤中,冻结的 PRM 为通过第四阶段确定性二次一致性验证和硬可行性门控的候选节点分配标量偏好分数 v_n。外循环从三个互补方面评估预测可靠性——覆盖率、紧度对齐和 PRM 偏好——并将它们聚合为回合级可靠性分数 R_{τ,e}。在模块 III 中,R_{τ,e} 作为可靠性汇总信号,用于构造外循环优化目标(见第 (3) 部分)。
**覆盖率。** 对于头 h ∈ {p, b},令 ?_{n,h} 表示点估计,δ_{n,h}^{pol} 表示在第四阶段规范化化和门控后为每个查询实例 n ∈ Q_τ 接受的策略半宽。定义归一化覆盖边距和光滑化的铰链式惩罚为:
(36) D_{n,h} = (y_{n,h}^* - ?_{n,h} - δ_{n,h}^{pol}) / (δ_{n,h}^{pol} + ε),?_cov(n,h) = [D_{n,h}]_+2
其中 y_{n,h}^* 是真实值,[·]_+ = max{·, 0} 是正部算子,ε > 0 是用于数值稳定性的小常数。当预测区间覆盖真实值时,惩罚 ?_cov 为零;未覆盖缺口的幅度越大,惩罚越大(二次增长)。
**紧度对齐。** 对于每个查询实例 n ∈ Q_{τ,e},定义:
(37) ρ?_n = 1/2(ρ_{n,p} + ρ_{n,b}),?_tight(n) = (ρ?_n - ρ_0)2
其中 ρ_{n,h} ∈ [1, ρ_max] 是在第四阶段可行节点上计算的头级紧凑度比率(公式 (31)),ρ?_n 是头平均紧凑度,ρ_0 是目标紧度。此惩罚将学习的半宽锚定在方法论下界,并抑制过窄或过宽的区间。
**PRM 偏好。** 令 v_n ∈ [0, 1] 表示为每个查询实例 n ∈ Q_{τ,e} 的已验证可行输出 ?_{τ,e}^(n) 分配的标量 PRM 偏好分数。冻结的 PRM 通过共同反映结构有效性(例如解析/完整性)、预测合理性、区间质量代理指标以及稳定性/一致性,提供确定性的、无标签的候选质量评估。施加二次惩罚:
(38) ?_prm(n) = (1 - v_n)2
**可靠性分数聚合。** 三个标准——覆盖率、紧度对齐和 PRM 偏好——在查询集 Q_{τ,e} 上聚合为确定性的回合级可靠性代价:
(39) R_{τ,e}(?'_{τ,e}; Q_{τ,e}) = 1/|Q_{τ,e}| ∑_{n∈Q_{τ,e}} [∑_{h∈{p,b}} λ_cov ?_cov(n,h) + λ_tight ?_tight(n) + λ_prm ?_prm(n)]
其中 λ_cov, λ_tight, λ_prm ≥ 0 分别控制覆盖率、紧度对齐和 PRM 偏好的相对重要性。R_{τ,e} 的值越低,表示在固定的搜索和验证协议下可靠性越高。在元训练期间,R_{τ,e} 被映射为实例级重要性权重(在每个查询小批次内归一化)。
**元目标与优化。** 令 L?_out(?'_{τ,e}; Q_{τ,e}) 表示回合查询集 Q_{τ,e} 上的加权 token 级条件似然目标,其中实例级重要性权重从回合级可靠性代价 R_{τ,e} 推导而来,并在每个查询小批次内归一化(与模块 II 对齐)。元目标采用两级平均方案——在每个航线内先进行回合平均,然后在元批次 B 上进行航线平均:
(40) J(?) = 1/|B| ∑_{τ∈B} 1/|E_τ| ∑_{e∈E_τ} L?_out(?'_{τ,e}; Q_{τ,e}),?'_{τ,e} = ?_{τ,e}^(U)
然后使用一阶元梯度(FOMAML)更新元参数:
(41) ? ← ? - ψ_out ?_? J(?),ψ_out > 0,?* = argmin_? J(?)
其中 ψ_out 是外循环学习率。此优化产生可泛化的初始化 ?*,使其能够在仅有少量支持样本的情况下对新航线进行样本高效的适应。
**3.3.4. 模块 IV:少样本适应与推理**
模块 IV 实现对未见的冷启动航线的在线适应和推理(图 8)。从 Policy-LLM_MAML 出发,该模块在目标航线上构造支持-视野回合,重用模块 I 的 FG-UC-TS 在支持集上生成伪标签,并执行 U 步内循环梯度适应——不进行外循环元更新——以获得任务特定的 Policy-LLM。适应后的模型然后在视野窗口上执行确定性的、约束感知的推理,同样通过 FG-UC-TS,产生最终联合输出,形式为点估计 ± 预测区间,涵盖乘客和行李需求。
*下载:下载高分辨率图像 (412KB) 下载:下载全尺寸图像*
**图 8. 模块 IV 的工作流程**
**回合构造(支持集 → 视野)**
对于每条未见的测试航线 τ,航班记录按时间顺序排列,并通过一系列按时间排序的回合 e ∈ E_τ 进行评估。每个回合由一个支持集 S_{τ,e} 和一个视野窗口 Q_{τ,e} 组成,其中 S_{τ,e} 包含 K 个连续的已标注航班级观测,Q_{τ,e} 包含随后的 H 个观测(即 K → H)。支持集严格先于对应的视野窗口,防止任何未来信息污染适应过程。Q_{τ,e} 中的真实标签从不暴露给模型或搜索程序,严格保留用于离线评估。
**在线监督与内循环适应**
为支持集生成结构化伪标签,在 S_{τ,e} 上重用模块 I,任务适配器由模块 III 的元学习参数初始化(即 ?_{τ,e}^(0) = ?*)。这产生经第四阶段验证的搜索输出,作为协议一致且可审计的伪标签。使用这些提示-伪标签对,在 S_{τ,e} 上使用与模块 III 相同的内目标,对 LoRA 适配器参数进行 U 步内循环更新,得到由 ?'_{τ,e} 参数化的任务特定适配器 G_{θ,?'_{τ,e}}。在线期间不执行外循环元优化;Policy-LLM 骨干 θ 和 PRM 均保持参数冻结。
**在视野窗口上的最终推理**
使用任务特定适配器 G_{θ,?'_{τ,e}},重用模块 I 为每个航班实例 n ∈ Q_{τ,e} 执行 PRM 引导的搜索,产生乘客和行李需求的最终预测区间:
(42) 乘客 = (?_p ± δ_p^{pol}),行李 = (?_b ± δ_b^{pol})
**4. 数据**
本节系统地描述本研究所使用的数据来源和预处理流程,提出一种针对航线级民航场景定制的多类别特征构建框架,最后介绍用于 PRM 第一阶段预训练的公开数据集。
**4.1. 数据来源与预处理**
本研究所使用的数据集包含 2024 年 6 月 1 日至 2025 年 6 月 30 日的航班运行记录,涵盖跨年观察期。建模单元定义为城市级方向航线,其中 A → B 和 B → A 被视为两条不同航线,以捕捉需求模式中的方向不对称性。数据集包含 13 个城市和 16 个机场之间的 60 条方向航线。
为增强样本代表性,数据集覆盖多种类型的民航市场和运营场景。除了与北京、上海等主要枢纽城市相关的航线外,样本还包括郑州、济南等区域枢纽和非核心城市市场,以及三亚等旅游导向市场。结合跨年观察窗口,这一覆盖范围为研究异构民航需求模式(尤其是季节性较强和波动性较高的模式)提供了更具代表性的实证基础。
原始数据集包含航班号、计划与实际起降时间、机型、乘客数量和托运行李数量。为确保数据质量,以下记录被排除:飞机尾号以"A"结尾、航空代码以"9C"或"AQ"开头、乘客数量或托运行李数量低于 10、关键字段缺失或存在明显不一致的记录。此外,由于历史统计特征使用最近七个观测构建,每条航线上前七个观测不足的最早记录仅用于初始化滚动窗口,并排除在最终建模样本之外。经过数据清洗和过滤后,最终数据集包含 291,772 条有效航班级观测,用于后续分析。
**4.2. 特征构建**
混合特征集包含 22 个输入变量,用于预测航班级的乘客数量和托运行李数量。这些特征分为四个功能类别:航线表示、时间特征、历史需求统计和运营条件特征。其详细定义、编码规则和价值范围在表 1 中报告。
**表 1.**
## 模型输入特征描述
### 表:模型输入特征说明
| 类别 | 变量 | 描述 | 编码方式(LLM/非LLM) | 值范围/集合 |
|------|------|------|----------------------|------------|
| **航线表示** | departure | 始发机场IATA代码 | 文本/N.A. | 有限集合 |
| | destination | 目的地机场IATA代码 | 文本/N.A. | 有限集合 |
| | city_route | O-D城市对 | 文本/N.A. | 有限集合 |
| | route_type | 航线类型 | 文本/One-hot | {干线, 支线, 区域性, 休闲} |
| **时间特征** | schdate | 计划出发日期 | 日期文本/相对天索引(自2024-06-01起的天数) | 2024-06-01至2025-06-30 |
| | dep_time_hour | 以小数小时表示的出发时间 | 连续/连续 | [0, 24) |
| | date_type | 日历日期类型 | 文本/One-hot | {节假日, 周末, 工作日} |
| | sin24/cos24 | 日周期的正弦/余弦编码 | 连续/连续 | [-1, 1] |
| | sin168/cos168 | 周周期的正弦/余弦编码 | 连续/连续 | [-1, 1] |
| **历史需求统计** | pax_mean7 | 最近7个航班的平均旅客数 | 连续/连续 | [0, +∞) |
| | pax_std7 | 最近7个航班旅客数的标准差 | 连续/连续 | [0, +∞) |
| | bag_mean7 | 最近7个航班的平均托运行李件数 | 连续/连续 | [0, +∞) |
| | bag_std7 | 最近7个航班托运行李件数的标准差 | 连续/连续 | [0, +∞) |
| | bag_lag1 | 前序航班的托运行李件数 | 连续/连续 | [0, +∞) |
| | bag_per_pax_mean7 | 最近7个航班的每位旅客平均托运行李件数 | 连续/连续 | [0, +∞) |
| | route_bag_mean | 航线级别的托运行李件数历史基准 | 连续/连续 | [0, +∞) |
| **运营条件特征** | DelayIndex | 出发前7天窗口内有效航班的归一化平均出发延误 | 连续/连续 | ? |
| | seat_capacity | 机型座位容量 | 连续/连续 | ? |
| | cargo_capacity_m3 | 货舱容积(m3) | 连续/连续 | (0, +∞) |
| | business_class_proportion | 商务舱座位占比 | 连续/连续 | [0, 1] |
---
### 航线表示
航线表示特征刻画了每个航班的空间属性和市场语义,包括始发机场(departure)、目的地机场(destination)、方向性城市级航线(city_route)以及航线类型(route_type)。对于服务多个机场的城市(如上海、北京和成都),在特征层面保留了机场级别的运营信息,而航线定义及后续所有建模均在城市级方向性航线层面进行。
由于不同网络角色(network role)的航线在需求水平、稳定性和季节性方面可能存在系统性差异,所有航线被进一步划分为四个类别:**干线航线**(核心枢纽间市场)、**支线航线**(枢纽至非枢纽的衔接市场)、**区域性航线**(非枢纽点对点市场)和**休闲航线**(与旅游目的地相关且季节性更强的市场)。该分类用于在模型中编码航线级市场特征,并支持后续跨航线类型的异质性分析。
---
### 时间特征
时间特征用于刻画需求在日内和周内的周期性以及节假日相关效应。原始字段包括计划出发日期(schdate)和出发时间(dep_time_hour)。其中,dep_time_hour从计划出发时间中提取,保留小数部分以维持分钟级精度。为建模周期性模式,进一步构建了两组相位编码:日周期(sin24/cos24)和周周期(sin168/cos168)。这些编码将离散的时间位置映射到连续的相位空间,从而更好地捕捉周期边界处的平滑过渡,并提升周期结构的可学习性。
为表示非周期性需求波动,schdate被进一步映射为 date_type ∈ {节假日, 周末, 工作日}。节假日依据中国官方公共假期日历确定(含调休安排),且优先级高于周末类别。未归类为节假日的周六和周日报标为周末,其余所有日期均标为工作日。该变量在LLM模式下以文本形式表示,在非LLM基线中使用信息等价的one-hot编码表示。所有时间特征均由当前周期可用的计划时间确定,不依赖未来需求观测,从而避免时间泄漏。
---
### 历史需求统计
为刻画航线级别的局部需求水平和变异性,基于同一航线上按计划出发时间排序的航班序列构建历史统计特征。首先使用最近7个航班的滚动窗口计算旅客和行李观测的均值与标准差,得到 pax_mean7、pax_std7、bag_mean7 和 bag_std7。为进一步捕捉行李特有的时间依赖性和旅客-行李耦合关系,引入三个额外的行李相关特征:前序航班的托运行李件数(bag_lag1)、最近7个航班的每位旅客平均托运行李件数(bag_per_pax_mean7),以及由扩展窗口均值表示的航线级历史基准(route_bag_mean)。为严格防止数据泄漏,所有这些统计量均仅使用目标航班出发前已观测到的记录进行计算。
---
### 运营条件特征
运营中断由延误指数(DelayIndex)表示,以捕捉其对需求的间接影响。鉴于出发延误的显著昼夜模式以及夜间时段观测的稀疏性,仅保留 06:00 至 23:59 的主要运营窗口,并将其划分为六个相等的三小时区间。对于任意历史航班 $i$,归一化延误强度定义为:
$$\iota_i = \frac{ATD_i - STD_i}{SFD_i}$$
其中 $ATD_i$ 和 $STD_i$ 分别表示实际和计划出发时间,$SFD_i$ 表示计划飞行时长。该无量纲归一化减少了航线距离差异对延误可比性的影响。
对于目标航班 $q$,设 $r(q)$ 表示其方向性航线,$b(q)$ 表示其出发时间区间。出发前7天内的历史参照集(限制为同一航线、同一时间区间的航班)定义为:
$$H(q) = \{i \mid r(i)=r(q),\ b(i)=b(q),\ date(i) \in [date(q)-7,\ date(q)-1]\}$$
延误指数计算为:
$$(43)\ \text{DelayIndex}(q) = \frac{1}{|H(q)|} \sum_{i \in H(q)} \iota_i$$
若因冷启动或长尾场景导致 $H(q)$ 为空,则使用同一时间区间的全球平均延误强度作为先验值。
机型相关变量(包括 seat_capacity、cargo_capacity_m3 和 business_class_proportion)从公开技术规格中收集,以刻画运营能力环境。其中,seat_capacity 为旅客需求提供直接且具运营意义的上限约束;而 cargo_capacity_m3 仅作为行李预测的上下文容量线索保留。基于航司内部运营参数的估算显示,货舱容积所隐含的理论最大行李件数(均值:约713件;最大值:2,416件)远高于经验行李分布(均值:65件;最大值:609件)。平均而言,实际观测到的托运行李件数仅占该理论上限的11.23%,两者之间的相关性仅为0.3299。这一显著差异源于实际运营中货舱与未观测到的货运需求共享。因此,cargo_capacity_m3 仅作为行李推断的上下文信号使用,而非作为行李侧可行性定义(公式(10))中的硬性容量约束。
---
### 4.3 PRM第一阶段预训练数据
对于PRM的第一阶段预训练,采用托管于开源平台 Hugging Face 上的 ReST-MCTS-Llama3-8b-Instruct-PRM-1st 数据集作为通用初始化数据源。该数据集由过程级监督样本组成,主要包含两个核心字段:**prompt_answer**,将问题和对应的多步推理过程拼接为长文本序列;以及 **label**,一个取值范围为 [0, 1] 的连续质量分数,用于评估相关推理过程的逻辑质量。完整数据集包含约 673k 个样本,并提供标准划分:约 626k 个训练样本,以及验证集和测试集各约 23.7k 个样本。需要强调的是,该开源数据集仅用于初始化PRM的通用常识和推理能力,不纳入本研究航空需求预测流程,也不参与任何下游实验指标的计算。
---
## 5. 实验
本节呈现 FlightLLM 的实验评估。首先描述实验设置,然后介绍策略LLM的提示设计演进,随后进行消融研究以及与基线模型的比较分析(包括点预测和区间预测),最后考察跨航线类型的性能异质性并分析对在线自适应支持集大小 $K$ 的敏感性。
### 5.1 实验设置
本节详细介绍了所提框架的完整实验设置和评估方案。系统性地阐述了严格的数据划分策略和 episode 构建规则,以防止数据泄漏。此外,介绍了模型可配置性,定义了点预测和区间预测的评估指标,并总结了所有模块的核心超参数及关键实现细节。
#### 5.1.1 数据划分策略
为评估跨航线迁移和冷启动自适应能力,我们实施了三重隔离策略(航线、时间和用途),以防止数据泄漏。表2汇总了三种划分方案、航线类型覆盖、样本规模及使用边界。
**表2. 航线级数据划分与样本规模汇总**
| 划分 | 航线数 | 有效观测数 | 航线类型覆盖(干线/支线/区域性/休闲) | 用途 |
|------|--------|-----------|--------------------------------------|------|
| 训练集 | 40 | 206,938 | 4/14/14/8 | 所有离线训练,包括伪标签生成/搜索、课程式自训练、元学习更新,以及PRM第二阶段域内偏好对齐 |
| 验证集 | 10 | 39,412 | 1/4/3/2 | 超参数调优、模型选择及区间相关校准 |
| 测试集 | 10 | 45,422 | 1/4/3/2 | 仅用于最终独立性能评估的在线应用 |
**(i) 航线隔离**:训练集、验证集和测试集在航线级别互斥;任何方向性航线不出现在多个划分中。为缓解结构性样本偏差,采用航线类型分层划分协议,确保所有三个划分均涵盖四类市场(干线、支线、区域性和休闲),同时保持可比的航线类型分布。
**(ii) 时间隔离**:每个划分内的观测严格按时间顺序排列。所有输入特征仅使用预测目标之前的可用信息构建。在在线评估期间,支持记录始终早于其对应的查询记录,从而消除时间泄漏。
**(iii) 用途隔离**:所有离线训练仅使用训练集中的航线;所有选择和校准程序仅使用验证集中的航线;测试集中的航线在整个流程中保持完全未见过状态,仅用于最终的在线独立性能评估。
---
#### 5.1.2 Episode定义与构建规则
为确保一致的数据使用并维护元学习(模块III)与少样本自适应(模块IV)之间的时间因果性,在所有划分中按序构建航线级 episode。
**(1) Episode定义(支持集 K → 查询/预测窗口 H)**:每个 episode 由一个支持集和一个查询/预测窗口组成。支持集包含 $K$ 个连续航班级观测,查询/预测窗口包含随后的 $H$ 个观测。为防止时间泄漏,支持记录严格先于查询记录。
**(2) Episode构建规则**:在每个方向性航线内,使用确定性滚动锚点策略生成 episode。锚点从第一个有效记录起以固定步长 $s$ 选取。对于给定锚点 $t$,随后的 $K$ 个连续观测构成支持集,后续 $H$ 个观测构成查询/预测窗口。当剩余序列长度小于 $K+H$ 时生成终止。
为防止模型偏向高频航线,每个方向性航线最多保留 $M$ 个 episode。若候选 episode 超过此限制,则在均匀时间间隔上采样 $M$ 个 episode,以确保对完整有效时间范围的代表性覆盖。这些构建规则在训练集、验证集和测试集中一致应用。$K$、$H$、$s$ 和 $M$ 的具体值详见第5.1.5节。
---
#### 5.1.3 模型可配置性:策略LLM与PRM
为确保框架的可配置性和可迁移性,策略LLM和过程奖励模型(PRM)均以模块化方式实现,允许在不改变整体推理协议的前提下替换为其他指令微调LLM。在本实验中,Qwen2.5-7B-Instruct 作为策略LLM的默认骨干模型,PRM基于同一骨干模型构建。当使用替代骨干模型(如 LLaMA 系列或 GPT 系列模型)时,实现通常仅需替换模型端点/分词器,并将相应的对话模板和结构化输出解析器适配为本研究的固定协议。核心的搜索、推理和训练流程因此保持不变。
---
#### 5.1.4 评估指标与报告方案
为评估模型在冷启动航线上的性能,我们同时采用区间预测和点预测指标。三种区间指标分别为:**预测区间覆盖率(PICP)**、**平均预测区间宽度(MPIW)**和**宽度-覆盖率比(WCR)**,分别衡量经验覆盖可靠性、区间宽度以及覆盖率-宽度权衡。
对于预测头 $h \in \{p, b\}$(分别代表旅客数和托运行李数),策略LLM在第 $i$ 个预测点输出点预测 $\hat{y}_{i,h}$ 和区间半宽 $\delta_{i,h}^{\text{pol}}$。对应的预测区间定义为:
$$[L_{i,h}, U_{i,h}] = [\hat{y}_{i,h} - \delta_{i,h}^{\text{pol}},\ \hat{y}_{i,h} + \delta_{i,h}^{\text{pol}}]$$
对于单个 episode 的预测窗口(包含 $H$ 个预测点),主要区间指标定义为:
$$(44)\ \text{PICP}_h = \frac{1}{H}\sum_{i=1}^{H} I(L_{i,h} \leq y_{i,h} \leq U_{i,h}), \quad \text{MPIW}_h = \frac{1}{H}\sum_{i=1}^{H}(U_{i,h} - L_{i,h}) = \frac{2}{H}\sum_{i=1}^{H}\delta_{i,h}^{\text{pol}}$$
其中 $I(\cdot)$ 表示指示函数。PICP 衡量真值落入预测区间内的观测比例,反映覆盖可靠性。MPIW 衡量预测区间的平均宽度,反映区间宽度。
虽然 PICP 和 MPIW 独立刻画覆盖率和宽度,但 WCR 将其权衡量化为单一标量:
$$(45)\ \text{WCR}_h = \frac{\text{MPIW}_h}{\text{PICP}_h}$$
其中 $\text{PICP}_h$ 以 [0, 1] 上的概率形式表示。$\text{WCR}_h$ 概括了实现一单位经验覆盖率所需的区间宽度。较低的值反映更有利的覆盖率-宽度权衡。
同时,保留**平均绝对误差(MAE)**、**平均绝对百分比误差(MAPE)**和**均方根误差(RMSE)**以评估点预测精度。
所有指标分别针对旅客和托运行李预测头报告。为防止高频航线因其较大 episode 数量而不成比例地影响整体评估,采用两阶段聚合方案。
首先,将每条路线内所有回合的指标取平均,得到路线级指标。其次,在测试集中所有测试路线上对这些路线级指标取平均,得到最终报告的结果。为确保数值稳定性,并避免单个回合中近零的经验覆盖率导致不成比例偏斜,整体 WCR 计算为在相同两阶段协议下聚合的 MPIW 与聚合的 PICP 之比,而非回合级 WCR 值的算术平均。此报告协议独立于元学习训练期间所用的外层循环目标聚合(第3.3.3节)。
5.1.5 超参数与实现细节
FlightLLM 各模块的核心超参数汇总于表3,以下段落描述适用于各模块的共享配置与实现约定。
表3. 超参数设置汇总。
| 模块 | 子模块 | 超参数(符号/名称) | 取值 | 作用/定义 |
|------|--------|---------------------|------|-----------|
| 模块 I | 阶段2——选择(UCT) | 探索常数 cUCT | 2≈1.414 | 控制探索—利用权衡。 |
| | | 最大深度 Dmax | 3 | 限制搜索深度。 |
| | | 迭代预算 T | 20 | 限制每个样本的搜索迭代次数。 |
| | 阶段3——扩展与合成 | 分支因子 Kb | 2 | 控制每步扩展的候选数量。 |
| | | 最大生成长度(Policy-LLM) | 512 tokens | 限制 Policy-LLM 的输出长度。 |
| | | 采样开关 do_sample | True | 启用采样以增加候选多样性。 |
| | | 采样温度 | 1 | 控制采样随机性。 |
| | | 核采样阈值 | 0.9 | 控制核采样的范围。 |
| | | 非偏置变量下界 p1 | 3 | 指定所选非偏置变量的最小数量。 |
| | | 非偏置变量上界 p2 | 5 | 指定所选非偏置变量的最大数量。 |
| | 二次验证 | 容差 ? | 10?12 | 控制二次一致性检查的容差。 |
| | | 半宽度的界限 上界松弛因子 ρmax | 3 | 控制区间半宽度的上界。 |
| | | 目标比例系数 κ | πtar1 | 控制归一化半宽度所用的目标比例。 |
| | | 分位因子 z | 1.96 | 控制下界的分位尺度。 |
| | | 输入不确定性矩阵 Σx | 对角近似 | 定义输入不确定性传播的形式。 |
| | | Σx 的缩放规则 | σk=r(xk+1) | 定义输入不确定性的特征级缩放规则。 |
| | | 全局缩放因子 r | 0.02 | 控制输入不确定性的整体尺度。 |
| | | 先验残差方差 σres,pax | 235.05 | 控制乘客分支的先验残差方差。 |
| | | 先验残差方差 σres,bag | 224.55 | 控制托运行李分支的先验残差方差。 |
| | | 稳定性权重 κpax | 1 | 控制乘客分支的稳定性惩罚。 |
| | | 稳定性权重 κbag | 1 | 控制托运行李分支的稳定性惩罚。 |
| | | PRM 解码温度 temp | 0 | 保持 PRM 解码的确定性。 |
| | | PRM top-p | top_p=1 | 保持 PRM 解码的确定性。 |
| 模块 II | 硬课程 | 课程阶段数 R | 3 | 控制自训练阶段数量。 |
| | | 阶段1保留率参数 ?(1) | 0.9 | 控制阶段1的保留强度。 |
| | | 阶段2保留率参数 ?(2) | 0.75 | 控制阶段2的保留强度。 |
| | | 阶段3保留率参数 ?(3) | 0.6 | 控制阶段3的保留强度。 |
| | | 阶段1松弛质量下界 qmin(1) | 20th percentile | 控制第一阶段的最低质量阈值。 |
| | | 近似未命中容差 | 0.05 | 控制近似未命中样本的容差范围。 |
| | 软课程 | 质量强调指数 γ | 2 | 控制高质量样本的权重放大。 |
| | | 紧凑性偏好系数 λ | 1.5 | 控制偏离目标紧凑性的惩罚。 |
| | | 目标紧凑性 ρ0 | 1.2 | 定义目标区间紧凑性。 |
| | 自训练 | 每阶段训练轮数 | 3 | 控制每阶段的更新轮数。 |
| | | 学习率 | 1×10?? | 控制自训练中的更新步长。 |
| | | Warmup 比例 | 0.05 | 控制学习率预热比例。 |
| | | 有效批大小 | 16 | 控制有效批大小。 |
| | | 最大序列长度 Lmax | 6000 tokens | 限制训练序列长度。 |
| 模块 III & IV | 共享回合构建 | 回合滚动步长 s | 20 | 控制连续回合锚点之间的步长。 |
| | | 支持集大小 K | 20 | 控制每个回合的查询/视域大小。 |
| | | 查询/视域窗口大小 H | 20 条记录 | 控制回合滚动步长。 |
| | | 每条路线最大保留回合数 M | 60 | 限制每条路线保留的回合数量。 |
| 模块 III | 内层循环 | 内层循环步数 U | 6 | 控制支持集上的适应步数。 |
| | | 内层学习率 ψin | 5×10?? | 控制内层循环的更新步长。 |
| | | 内层批大小 | 3 | 控制内层循环中支持集适应所用的迷你批大小。 |
| | 外层循环 | 覆盖项权重 λcov | 2.5 | 控制覆盖项的权重。 |
| | | 紧凑项权重 λtight | 0.5 | 控制紧凑项的权重。 |
| | | PRM 偏好项权重 λprm | 0.5 | 控制 PRM 偏好项的权重。 |
| | | 目标紧凑性 ρ0 | 1.2 | 定义外层循环中的目标紧凑性。 |
| | 元优化 | 元批大小 B | 2 | 控制每次元更新使用的任务数量。 |
| | | 外层学习率 ψout | 2×10?? | 控制外层循环的更新步长。 |
| 模块 IV | | 内层循环步数 U | 6 | 控制支持集上的适应步数。 |
| | | 内层批大小 | 3 | 控制内层循环中支持集适应所用的迷你批大小。 |
| 共享 LoRA 参数化 | | LoRA 秩 rLoRA | 16 | 控制 LoRA 容量。 |
| (模块 II–IV) | | LoRA 缩放 αLoRA | 32 | 控制 LoRA 更新的强度。 |
| | | LoRA dropout | 0.05 | 控制 LoRA 的正则化强度。 |
| | | 正则化系数 λreg | 1×10?3 | 控制 LoRA 的正则化强度。 |
LoRA 适应的共享优化设置。模块 II–IV 使用基于 LoRA 的适应,骨干网络冻结,仅更新 LoRA 参数。所有基于 LoRA 的训练与在线适应遵循相同的优化设置,包括 AdamW、余弦学习率调度、最大梯度范数 1.0、bfloat16 精度,以及随机种子 42。
模块 IV 中搜索与适应机制的复用。在推理时,模块 IV 复用模块 I 中定义的 FG-UC-TS 搜索与约束感知推理流水线,并遵循与模块 III 相同的内层循环适应机制。因此,模块 IV 不重复列出相应的搜索与内层循环超参数。
Policy-LLM 扩展的解码策略。Policy-LLM 扩展示例采用随机解码,并结合父节点条件提示、局部编辑约束和多样性约束,以提升候选覆盖率同时稳定局部修订。
PRM 中的确定性评分。PRM 评分使用确定性推断,以确保候选评估与选择的稳定性和可重复性。
结构扩展的变量白名单。变量白名单为 {dep_time_hour, sin24, cos24, sin168, cos168, pax_mean7, pax_std7, bag_mean7, bag_std7, bag_lag1, bag_per_pax_mean7, route_bag_mean, DelayIndex, seat_capacity, cargo_capacity_m3, business_class_proportion}。这些变量被视为搜索与扩展过程中可选的结构化变量。所有其余特征仅作为提示文本提供,不可作为结构化变量被选择。
5.2 策略语言模型的提示工程
Policy-LLM 的提示设计经历了三个版本,每个版本针对其前序版本的具体局限性进行了改进。演进过程从不受约束的最终输出生成,到弱结构化候选生成,最终到本框架所采用的机器可解析的 SYSTEM–USER 协议。本节总结关键设计选择及支撑最终提示设计的实证证据。
5.2.1 第一版本:直接最终输出提示
第一版提示(图9)作为直接输出基线。它直接将航班特征映射为乘客与行李预测的两行区间输出,无需中间推理或结构化证据生成。
(下载:下载高分辨率图像 377KB;下载:下载全尺寸图像)
图9. 第一版提示模板。
使用 Policy-LLM_base 在训练集的一个300样本子集上评估,该提示的恢复率为100%,表明所需的最终格式可以可靠生成。然而,所得区间严重过度自信,乘客与行李预测的 PICP 分别为19.7%和21.9%,对应的 MPIW 分别为10.84和8.62。这些结果表明,仅格式合规是不够的。在没有可验证的中间证据的情况下,模型无法支撑节点级搜索、评分或结构化不确定性表达。
5.2.2 第二版本:弱结构化搜索节点提示
第二版提示(图10)通过引入本提案搜索框架所用的五区块候选结构来弥补上述局限性:SYMBOLIC、COEFFS、RUNS、PI-POLICY 和 FINAL。模型不仅生成最终区间输出,还被引导生成旨在支持下游搜索与评估的中间结构化证据。
(下载:下载高分辨率图像 588KB;下载:下载全尺寸图像)
图10. 第二版提示模板。
虽然此版本建立了所需的推理骨架,但其区块级要求仅以自然语言指定,缺乏严格模式强制。实证测试显示恢复率仅为24%,表明松散约束的输出规格仍不足以在自动化搜索流水线中实现稳定的机器导入。
5.2.3 第三版本:每节点的结构化完整推理
第三版提示通过采用图4中详述的两部分 SYSTEM–USER 架构解决了上述两项局限。SYSTEM 部分强制施加严格的字段协议,包括机器可解析的模式、封闭的变量白名单和强制区块顺序,而 USER 部分仅提供样本特定上下文。
在此设计下,恢复率达到100%,五个组件均成功解析(图11)。严格的结构控制确保每个生成的候选都能被 FG-UC-TS 搜索的下游评估、回退和决策阶段直接消费。因此,最终设计既提供了结构化候选生成所需的推理深度,也提供了可靠自动化搜索所需的可恢复性。
(下载:下载高分辨率图像 279KB;下载:下载全尺寸图像)
图11. 基于第三版提示的输出示例。
5.3 消融实验
为阐明 FlightLLM 中每个主要组件的作用,消融研究沿两条互补路线展开。
第一条是渐进式构建分析,遵循 M1 → M1+M2 → M1+M2+M3 → M1+M2+M3+M4,其中 M1–M4 分别对应模块1至模块4,即基于 FG-UC-TS 的符号—数值推理候选生成、基于课程的自训练、基于 MAML 的元学习,以及在线少样本适应与推断。该路线旨在检验各模块在完整框架内的增量贡献。
第二条是从完整模型出发的移除式消融,包括 w/o MAML、w/o Curriculum 和 w/o Online FG-UC-TS,以直接评估移除每个主要组件的影响。变体 A 和 B 主要消融离线训练阶段的关键学习机制,而变体 C 保留相同的在线少样本适应阶段,但在最终推断时移除在线 FG-UC-TS 机制,并将其中嵌入的查询时符号—数值推理过程替换为直接的端到端生成。
所有变体均在相同的测试集划分、支持—查询协议和评估设置下评估。乘客与托运行李输出头分别报告 PICP、MPIW 和 WCR。表4汇总了结果。
表4. 消融结果。
| | 乘客 PICP (%) | 乘客 MPIW | 乘客 WCR | 行李 PICP (%) | 行李 MPIW | 行李 WCR |
|------|------|------|------|------|------|------|
| M1 | 55.58 | 45.25 | 81.41 | 53.94 | 29.12 | 53.99 |
| M1+M2 | 74.15 | 41.30 | 55.70 | 70.33 | 24.48 | 34.81 |
| M1+M2+M3 | 73.63 | 41.69 | 56.62 | 69.42 | 25.75 | 37.09 |
| M1+M2+M3+M4(完整模型) | 77.49 | 40.06 | 51.70 | 72.15 | 24.30 | 33.68 |
| 变体 A(w/o MAML) | 73.08 | 41.11 | 56.25 | 68.96 | 24.24 | 35.15 |
| 变体 B(w/o Curriculum) | 62.90 | 42.47 | 67.52 | 59.13 | 27.44 | 46.41 |
| 变体 C(w/o Online FG-UC-TS) | 60.76 | 31.98 | 52.63 | 56.71 | 19.52 | 34.42 |
消融结果表明,FlightLLM 的最终性能依赖于四个模块的协同作用。基于课程的自训练在离线学习阶段提供了最大的区间质量提升,表明分阶段过滤和质量感知加权对于将搜索导出的伪标签监督转化为更可靠的预测模型至关重要。在渐进式构建中,单独添加 MAML(M1+M2+M3)会导致轻微性能下降,这是预期的,因为元初始化设计旨在服务于下游少样本适应而非直接推断。一致地,从完整模型中移除它(变体 A)导致两个输出头的经验覆盖率明显下降,证实其主要作用是为未见过路线的少样本适应提供可迁移的起点。在线 FG-UC-TS 机制通过在最终推断时将符号—数值推理通过结构化搜索来操作化,最直接地贡献于区间可靠性。当该机制被移除时,模型生成的区间更窄,但经验覆盖率明显下降,表明 FG-UC-TS 缓解了覆盖不足并改善了最终区间输出的可靠性。总体而言,完整模型在经验覆盖率与区间宽度之间实现了最为有利的平衡,突显了在完整框架中整合所有四个模块的重要性。
5.4 与基线模型的对比分析
本节首先详述基线实现与统一评估协议,然后系统比较 FlightLLM 与代表性基线在点预测精度与区间预测质量方面的表现。对于点预测方法,分析还进一步考察了相关的物理约束违反情况,从而在业务可行性约束下评估预测精度与物理可行性。
5.4.1 基线设置与评估协议
为系统评估 FlightLLM 在冷启动路线少样本预测任务上的性能,构建了一个全面的基线套件,涵盖传统统计预测、深度时间建模、基于元学习的少样本适应、通用大语言模型以及区间预测方法。表5汇总了各类别中的代表性模型,连同其训练与适应方案、输出格式、测试时信息可用性和评估指标。除特别说明外,所有方法均在第5.1.1节数据划分策略、第5.1.4节评估指标与报告协议中定义的统一数据划分、回合构建和指标聚合协议下评估。
表5.
基线设置与评估协议概述
方法类别 代表模型 训练/适配方案 输出格式 测试时信息使用 主要评估指标
统计基线 AutoARIMA, Prophet (Taylor and Letham, 2018) 无跨航线全局训练;使用预测期前的可观测历史数据进行episode级别的重拟合,包括当前的20-shot支持集。 点预测 仅使用预测期前的可观测信息;不使用预测期真值。 MAE, MAPE, RMSE
深度时序基线 LSTM, Transformer (Vaswani et al., 2017), TimesNet (Wu et al., 2022) 在训练集上训练;在测试时对当前的20-shot支持集进行episode级别的适配。 点预测 使用当前支持集进行局部参数适配,随后在20样本预测期上进行预测。 MAE, MAPE, RMSE
少样本适配基线 ProtoNet (Snell et al., 2017), FOMAML (MLP) (Nichol and Schulman, 2018) 在训练episode上进行元训练;在测试时对当前的20-shot支持集进行快速适配。 点预测 使用当前支持集进行任务适配,随后在20样本预测期上进行预测。 MAE, MAPE, RMSE
通用大语言模型基线 GPT-4 (K-shot ICL) (Achiam et al., 2023) 不进行训练或微调;通过固定提示模板和输出约束,利用少样本上下文学习(ICL)实现适配。 点预测 + 区间预测 仅使用当前支持集和目标输入;不使用预测期真值。 MAE, MAPE, RMSE, PICP, MPIW, WCR
事后校准基线 保序回归, 保形预测 (Stankeviciute et al., 2021) 基础预测器离线训练;在当前的20-shot支持集上进行episode级别的区间校准,不更新基础预测器。 区间预测 使用支持集残差信息为20样本预测期校准区间;不使用预测期真值。 PICP, MPIW, WCR
概率/不确定性感知基线 分位数回归 (Wen et al., 2017), NGBoost (Duan et al., 2020), GMV-MLP (Nix and Weigend, 1994, Sluijterman et al., 2024) 在训练集上训练;在测试时对当前的20-shot支持集进行episode级别的适配。 区间预测 使用当前支持集进行局部不确定性感知适配,随后在20样本预测期上进行区间预测。 PICP, MPIW, WCR
需要指出的是,FOMAML使用三层MLP骨干网络来表示结构化数值特征参数化元学习的标准形式。GPT-4 (K-shot ICL)基线的额外实现细节见附录A。为确保公平和严格的比较,所有区间预测基线均在统一的95%置信水平下实现:保序回归和保形预测均使用RandomForestRegressor作为点预测器,并在测试时应用支持集局部偏差修正;前者在验证集的绝对残差上拟合IsotonicRegression,后者从验证集的绝对残差分位数构建区间,并在适配过程中进一步执行局部分位数修正。分位数回归使用RandomForestRegressor作为点预测器,从验证集残差分位数构建区间,并结合支持集局部残差分位数与全局分位数以及局部偏差修正。NGBoost使用具有正态输出分布和决策树基础学习器的NGBRegressor,应用验证集标准化残差校准进行全局缩放,并在测试时执行支持集局部偏差和局部尺度适配。GMV-MLP表示高斯均值-方差MLP基线,通过全连接网络预测条件均值和对数方差(以高斯负对数似然进行训练),在测试时使用MC Dropout估计预测不确定性,并通过残差分位数校准与支持集局部适配构建预测区间。
5.4.2 点预测性能比较
本小节比较了所有方法在旅客需求和行李需求上的点预测误差,如表6所示。
表6. 各模型点预测性能比较
模型 旅客 MAE MAPE (%) RMSE 行李 MAE MAPE (%) RMSE
AutoARIMA 34.62 4.56 37.51 20.99 35.43 24.31
Prophet 67.31 46.08 148.55 34.74 63.09 80.65
LSTM 32.50 19.76 36.89 18.24 33.00 23.63
FOMAML 22.79 14.91 30.57 18.13 33.94 23.45
ProtoNet 22.05 14.90 28.98 17.02 32.26 23.34
TimesNet 32.67 19.24 37.56 18.09 33.51 23.53
Transformer 22.47 14.93 29.34 17.42 32.33 23.26
GPT-4 (K-shot ICL) 34.39 20.65 44.92 19.42 36.54 25.51
FlightLLM 21.87 14.87 28.55 16.57 30.40 23.21
表6的结果表明,FlightLLM在旅客和行李预测的总点预测性能上均表现最佳。在所有基线中,ProtoNet是最强的整体点预测竞争者,在大多数旅客和行李指标上取得了最佳基线性能,而Transformer在行李RMSE上仍然具有高度竞争力。与这些最强基线相比,FlightLLM仍然取得了持续更低的整体误差,表明所提出的框架在冷启动少样本设置下提供了更有效的可迁移预测能力。相比之下,GPT-4 (K-shot ICL)表现明显较差,表明仅靠提示机制不足以在此任务中实现准确的结构化数值预测。
两种统计基线在当前episode协议下表现不同。AutoARIMA保持相对稳定的表现,因为在小支持集适配下它有效地作为短窗口局部平稳性模型运行。相比之下,Prophet表现急剧恶化,因为每个20-shot支持集仅提供稀疏的时间覆盖(平均仅覆盖1.98个唯一日期;93.6%的episode跨度不超过3天),导致其趋势-季节性分解不稳定,容易在某些航线上产生异常预测。
对于两种最强的点预测基线Transformer和ProtoNet,图12进一步可视化了预测分布以及相关的物理约束违反情况。尽管两者都取得了有竞争力的误差性能,但它们仍然产生了不可忽视比例的超容量预测,表明良好的点预测精度本身并不能确保业务可行性。这一问题在主干航线上更为明显,因为这些航线的需求更高且波动更大:图12(c)显示Transformer的容量违反率为7.97%,ProtoNet为8.47%。相比之下,所提出的方法明确强制实施旅客侧容量约束,所有预测均保持在可行区域内。这证实了在冷启动航线的少样本预测中,约束感知预测和显式违反分析的必要性。
下载:下载高分辨率图片 (387KB) 下载:下载全尺寸图片
图12. 最强点预测基线的旅客预测分布与容量违反分析
5.4.3 区间预测性能比较
与5.4.2节主要关注点预测误差不同,本小节强调不同方法之间覆盖率与区间宽度之间的权衡关系。
表7的结果表明,传统的区间和概率预测方法通常通过产生明显更宽的预测区间来实现更高的经验覆盖率。在这些基线中,NGBoost是最强的覆盖导向竞争者,而保序回归是最强的效率导向基线,在两个预测头上均实现了最窄的区间和最低的WCR。这表明在冷启动少样本设置下,传统基线主要通过牺牲区间宽度来换取覆盖率。
表7. 各模型区间预测性能比较
模型 旅客 PICP (%) MPIW WCR 行李 PICP (%) MPIW WCR
分位数回归 90.22 90.82 100.67 88.65 72.53 81.81
保序回归 89.55 84.08 93.89 88.67 69.02 77.84
保形预测 89.81 86.86 96.72 88.88 70.62 79.45
GMV-MLP 88.46 111.13 125.63 88.71 75.85 85.49
NGBoost 92.81 88.98 95.87 91.15 70.98 77.87
GPT-4 (K-shot ICL) 24.38 23.54 96.55 25.35 13.65 3.65
FlightLLM 77.49 40.06 51.70 72.15 24.30 33.68
相比之下,FlightLLM呈现出明显不同的覆盖率-宽度特征。它不依赖于事后区间校准或纯粹的概率区间扩展,而是通过约束生成推理产生预测区间。因此,与所有传统基线相比,它产生了更加紧凑的区间和显著更低的WCR值,使结果的不确定性估计对风险感知调度和资源配置更具操作指导意义。相对于GPT-4 (K-shot ICL)输出的更窄但严重覆盖不足的区间,FlightLLM实现了显著更高的经验覆盖率,表明在少样本冷启动设置中,结构化约束推理是实现可靠区间预测所必需的。
5.5 航线类型间比较与异质性分析
为了评估所提出的框架在异质市场条件下的鲁棒性,测试航线被按航线类型分为干线、支线、区域和休闲四类。图13、图14展示了这四个类别在旅客和行李需求上的区间预测性能。
下载:下载高分辨率图片 (136KB) 下载:下载全尺寸图片
图13. 不同航线类型的覆盖率-宽度权衡 (PAX: 旅客需求; BAG: 行李需求)
下载:下载高分辨率图片 (236KB) 下载:下载全尺寸图片
图14. 不同航线类型的区间预测性能 (PAX: 旅客需求; BAG: 行李需求)
结果揭示了明显的异质性模式。支线和区域航线表现出最佳的区间性能,在两个预测头上均实现了更高的PICP和更低的WCR。其中,支线航线实现了最强的覆盖率-宽度效率,这与其相对规律的需求结构一致;而区域航线在旅客侧实现了最高的PICP。相比之下,休闲航线始终表现出最宽的区间、最低的覆盖率和最高的WCR,表明具有更强季节性和更大需求波动的市场在少样本适配中仍然更具挑战性。干线航线处于中间位置,区间效率低于支线和区域航线。
总体而言,这些结果表明FlightLLM在异质航线类别中仍然有效,同时其区间预测在相对规律的市场中比在高波动的休闲市场中更为可靠。航线类型比较还将休闲航线确定为最具挑战性的类别,其中进一步提升适配鲁棒性将最有价值。
5.6 支持集大小K的敏感性分析
为了考察在线适配中数据稀缺性的影响,支持集大小在K∈{1,5,10,20,50}范围内变化。为避免在极小支持集下过度适配,模块IV中在线内环步骤数设置为U=min(K,6),同时保持所有其他设置不变。此调整仅适用于FlightLLM的基于梯度的在线适配;基线方法使用不同的适配机制,并在相同的支持集协议下评估。表8报告了FlightLLM的结果性能。表9、表10分别将这些结果与ProtoNet(第5.4节确定的最强点预测基线)和保序回归(最优选覆盖率-宽度权衡的基线)的结果进行比较。
表8. FlightLLM性能对少样本适配支持集大小的敏感性
K 旅客 MAE MAPE (%) RMSE PICP (%) MPIW WCR 行李 MAE MAPE (%) RMSE PICP (%) MPIW WCR
1 23.32 15.78 30.47 72.42 40.84 56.39 18.22 33.36 24.72 71.57 27.26 38.09
5 24.36 16.56 31.73 74.41 40.46 54.37 17.62 32.49 23.71 72.23 26.33 36.45
10 26.67 17.72 34.01 69.43 41.77 60.16 18.53 32.85 26.07 72.84 25.29 34.72
20 21.87 14.87 28.55 77.49 40.06 51.70 16.57 30.42 23.21 72.15 24.30 33.68
50 22.93 15.39 30.16 78.40 40.94 52.22 17.31 32.07 24.08 73.80 24.98 33.85
表9. ProtoNet对少样本适配支持集大小的敏感性
K 旅客 MAE MAPE (%) RMSE 行李 MAE MAPE (%) RMSE
1 49.16 30.63 63.84 24.97 45.41 33.64
5 26.52 17.47 35.46 19.50 36.35 26.68
10 23.53 15.81 30.72 18.06 33.74 24.85
20 22.05 14.90 28.98 17.02 32.26 23.34
50 20.96 14.42 26.79 16.41 30.91 22.23
表10. 保序回归对少样本适配支持集大小的敏感性
K 旅客 PICP (%) MPIW WCR 行李 PICP (%) MPIW WCR
1 84.41 94.99 112.53 84.49 80.72 95.55
5 78.98 68.17 86.31 78.40 57.55 73.41
10 86.54 78.95 91.23 86.27 65.55 75.98
20 89.55 84.08 93.89 88.67 69.02 77.84
50 92.17 89.01 96.57 91.94 73.45 79.89
如表8所示,FlightLLM对K的变化表现出非单调但稳定的响应,其中K=20在点精度、区间覆盖率和区间效率之间取得了最佳的整体平衡。当支持集缩减至K=1或K=5时,性能仅中度下降而非崩溃,表明模型即使在极端样本稀缺条件下仍然保持鲁棒。在K=10时观察到一个局部下降,特别是在旅客侧,点误差和WCR均有所增加。这一模式与支持窗口跨越短期需求状态转换但深度不足以刻画其特征的情况一致,使得内环更新更容易受到窗口内异质性的影响。进一步增加支持集至K=50仅带来覆盖率的边际增益,同时区间略有变宽,且在点预测方面没有进一步改善。总体而言,这些结果表明在当前episode设计下,K=20在信息充分性和时间相关性之间提供了最有利的权衡。
表9中与ProtoNet的比较揭示了不同的适配模式。ProtoNet随K增加稳步改善,但在支持集非常小时其误差明显更大。特别是,在K=1时,其旅客侧误差大约是FlightLLM的两倍,随着支持样本的增多,差距逐渐缩小。这一结果表明ProtoNet对航线特定的监督数据量更依赖,而FlightLLM在严重数据稀缺下保持了更强的鲁棒性。因此,FlightLLM的优势主要在于极端有限支持下的稳定性,而非在大型K下的渐近增益。
表10中与保序回归的区间比较也观察到类似的对比。尽管保序回归在传统基线中实现了最优的覆盖率-宽度效率,但它仍然依赖明显更宽的区间来维持覆盖率,导致在所有测试的K值上均持续存在较大的MPIW和WCR值。相比之下,FlightLLM产生了更加紧凑的不确定性特征同时保持了合理的覆盖率,并始终实现了更低的WCR,表明在相同的少样本设置下具有更有利的覆盖率-宽度权衡。这一结果表明FlightLLM并非通过保守的区间膨胀来提高区间质量,而是通过适配和推理过程中更高效的不确定性表征来实现。
从方法论角度来看,在线阶段中K的作用不仅仅是提供更多历史样本,而是定义可用于航线特定校准的局部相关监督量。MAML式元初始化旨在支持有限数据和少量梯度更新下的快速适配,因此支持集主要服务于将模型锚定到局部需求状态,而非恢复一个完全数据驱动的预测模型 (Finn et al., 2017)。同时,非平稳时序动态下的少样本预测需要在估计稳定性和局部相关性之间取得平衡:如果支持窗口太短,适配将变得嘈杂;如果太长,过时模式可能会稀释对当前预测期最相关的信号 (Inoue et al., 2017)。这一解释也与先前的少样本时序研究一致,这些研究表明支持集信息可以为目标任务预测提供任务相关模式 (Brinkmeyer et al., 2022)。在当前的episode构建和内环适配设置下,K=20在这些相互竞争的需求中提供了最合适的平衡,因此被采用为默认设置。
6. 结论
本研究提出了FlightLLM,一个由大语言模型驱动的两阶段少样本航空需求区间预测框架,该框架在学习和适配过程中整合了业务可行性约束和业务相关先验知识。
离线阶段结合了PRM引导的伪标签生成、基于课程学习的自训练以及基于MAML的元学习来构建可迁移的初始化器,而在线阶段则利用仅20个标注样本即可快速适配冷启动航线,并以可解释的"点估计±区间半宽"格式生成乘客和行李的联合预测。从方法论上看,该框架超越了元学习与大语言模型的简单组合,将业务可行性约束和结构化符号-数值推理直接嵌入到适配和推理过程中。在真实冷启动航线数据上的实证评估表明,FlightLLM在点预测方面表现出色,同时在区间预测方面呈现出明显不同的特征。乘客预测的PICP为77.49%,MPIW为40.06,WCR为51.70;行李预测的PICP为72.15%,MPIW为24.30,WCR为33.68。该框架在所有传统区间基准方法中实现了更为紧凑的区间和更为有利的覆盖率-宽度权衡。FlightLLM没有通过保守的区间扩展来最大化名义覆盖率,而是通过约束生成式推理优先保证覆盖率-宽度效率,所产生的不确定性估计对于风险感知的资源分配仍具有实际参考价值。这些结果揭示了一个更广泛的见解:有效的少样本需求预测需要经验适应性和运营一致性的互补集成。目前仍存在若干局限,指向未来的研究方向。首先,当前评估仅限于国内市场,在提出更强的跨市场泛化主张之前,需要在国际航线上进行直接验证。其次,当前课程设计依赖于固定的过滤阈值;开发随模型能力演进而调整的自适应阈值机制,可能进一步提升训练效率和伪标签质量。作者贡献声明:作者确认对本文的贡献如下:研究构想与设计:Y. Gao, C. Li, Z. Zhong, W. Ma;数据收集:C. Li, W. Ma;结果分析与解释:Y. Gao, C. Li;稿件初稿撰写:Y. Gao, C. Li, W. Ma。所有作者均已审阅结果并批准稿件的最终版本。CRediT作者贡献声明:高怡静:原创稿件撰写、可视化、软件、方法论、正式分析、数据整理、概念化。李灿:审稿与编辑、监督、资源、项目管理、方法论、概念化。钟智华:审稿与编辑、监督、资源。马晚晶:监督、资源、项目管理、概念化。高怡静|李灿|钟智华|马晚晶