一种基于知识蒸馏的个性化联邦学习方法，用于异构零售数据下的销售预测

《Expert Systems with Applications》：A knowledge distillation-based personalized federated learning approach for sales forecasting on heterogenous retail data

　　张川|魏江波|蔡永方|田宇欣中国沈阳东北大学商学院，邮编110169摘要数据驱动的销售预测在支持零售业运营决策方面发挥着关键作用，但用于预测的数据往往分散在各个零售商手中，并且受到隐私保护要求的限制。同时，由于各参与方的数据源自不同的数据生成过程，其特征维度和变量分布存在系统性差异，这就构成了数据异质性。为同时解决隐私约束和数据异质性问题，我们提出了一种基于知识蒸馏的个性化联邦学习框架——KDPFL，用于协同进行销售预测。KDPFL借鉴了知识蒸馏的理念，采用两阶段设计。首先，在所有参与者共享的特征交集上共同训练全局预测模型，以捕捉共同的需求动态。其次，每个参与者将其本地样本中的共享特征子集输入全局模型以生成软标签，这些软标签再与完整的本地特征集结合，用于指导个性化模型的训练。通过在输出层面而非特征层面传递知识，KDPFL能够在特征空间存在差异的情况下实现有效协作，同时保持本地模型的适应性。此外，KDPFL还引入了输出约束以及具有良好数学特性的重新设计的损失函数。随后基于Rademacher复杂性推导出了泛化误差界，并通过蒙特卡洛抽样进行数值估计，为其可解释性提供了理论支撑。在实际数据上的实验表明，KDPFL将平均绝对百分比误差降低到约8%，决定系数提升到约0.69，且在捕捉极端需求波动方面的表现优于基准模型引言随着零售竞争的加剧，精确的销售预测已成为企业成功的核心，它有助于在库存管理、成本控制以及客户满意度等方面实现高效的运营表现（Hu等人，2025年）。从广义上讲，销售预测是指基于历史销售记录及相关背景信息来估算未来产品需求的过程，这使企业能够及时做出明智的运营决策。为了提高预测的可靠性，零售商越来越依赖多种数据源，这些数据源能够捕捉复杂多样的需求模式。近年来，商业领域的快速数字化以及信息系统的广泛应用产生了大量零售数据，为将这些数据用于销售预测创造了有利条件（Dekimpe，2020年）。然而，这些数据通常分散在不同的零售商手中，而且其整合受到隐私法规和竞争因素的严重制约。具体而言，一方面，诸如欧盟的《通用数据保护条例》和中国的《网络安全法》等隐私保护法规对跨组织数据流动施加了严格限制。另一方面，出于对市场竞争和商业秘密保护的考虑，企业也对数据共享设置了严格限制。在这种双重约束下，那些原本可以通过多源数据整合大幅提升预测准确度的销售数据，往往长时间被封存在各个企业内部，从而限制了协同销售预测方法的实际应用可行性。在此背景下，联邦学习作为一种新兴的分布式机器学习范式，通过将数据保留在本地仅共享模型参数，实现了隐私保护、跨组织协作以及性能提升（Ali等人，2025年；Javeed等人，2023年）。这一范式为零售商之间的协同销售预测提供了极具前景的技术路径，在这种场景下，严格的数据安全要求和较高的预测精度同样至关重要（Shen等人，2023年；Wellens等人，2024年）。然而，联邦学习并不能自动消除多源数据带来的结构差异，其性能在很大程度上取决于各参与者之间共享数据的兼容程度。即便满足了数据隐私和安全要求，联邦学习框架下的协同建模仍不可避免地会受到参与者之间数据差异的制约。由此产生的核心问题就是数据异质性（Khowaja等人，2025年）。数据异质性是指在多智能体学习场景中，不同数据持有者所观察到的数据并非源自相同的统计生成过程，从而导致汇总后的数据在特征结构和变量分布上存在系统性差异（即特征异质性和分布异质性）。具体来说：（1）特征异质性指的是不同参与者所持有的特征集在维度构成和语义含义上存在不一致性，导致他们的特征空间无法完全重叠。在多智能体销售预测环境中，这类异质性主要源于零售商业务流程和信息系统设计的差异，包括产品分类方式、促销策略以及数据记录精度等方面的不同（Elmore和Lee，2021年；Kwak等人，2019年；Zhou等人，2018年）。特征异质性的存在打破了联邦学习中普遍采用的模型结构对齐假设；强行对齐特征空间往往需要舍弃本地私有特征，从而导致信息丢失和模型表达能力的下降。（2）分布异质性则是指即便特征空间一致或可以対齐，各参与者之间数据的统计分布仍存在显著差异，通常表现为非独立同分布数据（Lu等人，2024年）。在销售预测中，这种异质性主要是由不同零售商在销售规模、消费者构成以及促销策略方面的差异所导致的。分布异质性会导致在联邦学习过程中各参与者的本地模型更新出现分歧，使得简单的参数聚合无法有效逼近全局最优解，进而影响收敛稳定性以及跨参与者间的泛化能力。为应对数据异质性问题，现有研究主要沿着两条路线展开。特征对齐策略旨在通过提取共享特征子集或构建统一的特征映射来实现特征空间的一致性（Tan等人，2023年；Zhou等人，2023年）。然而，这类方法不可避免地会舍弃参与者私有的本地特征，从而导致信息丢失和模型表达能力的下降。个性化联邦学习则涵盖了一类根据单个客户的特定需求定制模型的方法，包括本地微调（Tamirisa等人，2024年）、多层模型架构（Zhang等人，2024年）、模型蒸馏（Chen等人，2023年）以及元学习（Liu等人，2025年）。尽管这些方法在一定程度上缓解了非独立同分布数据带来的不良影响，但大多数个性化联邦学习方法都假设各参与者之间的特征空间是相同的，或者依赖公共数据集进行蒸馏，这在现实世界的多源异构环境中存在明显局限性。此外，许多个性化策略还需要大量的通信开销和复杂的模型结构，从而增加了实际部署和维护的难度。综上所述，目前仍存在一个重要的研究空白：尚未有联邦建模框架能够同时做到：（1）在不依赖特征空间一致性假设的情况下实现有效协作；（2）通过合理的个性化方法适应非独立同分布数据分布；（3）在不依赖公共数据集且通信成本可控的前提下实现上述目标。为填补这一空白，本研究提出了一种基于知识蒸馏原理的新型联邦销售预测框架——KDPFL。与直接在特征层面进行协调的方法不同，知识蒸馏能够压缩各参与者之间可共享的预测规律，并以模型输出生成的软标签形式表示出来，从而实现基于预测层面的知识传递。换言之，知识蒸馏仅通过输出层面的一致性约束来引导模型学习，无需依赖特征表示的直接对齐。这样一来，不同参与者便可以在各自的特征空间内学习输入与销售的映射关系，同时分享预测层面的协同信号，从而避免因特征异质性而引发的结构冲突。在此基础上，所提出的框架还融入了个性化联邦学习机制，使每个参与者能够在其完整的本地特征空间上进行个性化训练，以适应自身的需求生成过程和数据分布特征，从而解决分布异质性问题。该框架分为两个阶段。在第一阶段，将在所有参与者共享的特征子空间上进行协同训练。服务器利用对齐后的共享特征输入来协调联邦优化，並汇总各参与者的本地更新结果，从而得到一个能够捕捉各零售商共性需求动态的全局预测器。在本研究中，由于时间序列建模和联邦学习场景下的结构优势，我们采用了时空卷积网络作为基础预测器。与依赖顺序递归的循环神经网络模型相比，时空卷积网络能够利用因果卷积和扩张卷积高效捕捉长期依赖关系，同时保持时间上的因果性，而且具备更好的并行性和训练稳定性。这些特性特别适合满足分布式联邦学习的效率与稳定性要求。完成这一阶段后，服务器会将全局预测器作为教师模型发布出来。在第二阶段，每个参与者将其本地样本中的共享特征子集输入教师模型，以生成相应的软标签，这些软标签将用作蒸馏监督信号。随后，每个参与者都会结合真实标签和蒸馏得到的软标签，在其完整的本地特征空间上训练个性化的预测器，最终生成销售预测结果。本文的主要贡献如下：（1）预测框架创新。我们提出了一种将全局建模与本地个性化优化相结合的新型联邦销售预测框架。该方法通过在参与者共享的特征交集上训练全局模型，然后通过基于完整本地特征空间的软标签传递机制来引导个性化的本地模型学习。重要的是，这种设计无需假设参与者之间的特征空间完全一致，就能有效应对特征异质性和数据异质性这两大挑战。（2）模型改进与理论分析。我们对所提框架的基础预测器进行了改进。具体而言，我们重新定义了时空卷积网络的损失函数（Mirtaheri等人，2024年），以确保模型优化过程中的数学性质符合要求。此外，我们还推导出了所提方法的泛化误差界，并开发了基于蒙特卡洛抽样的数值估计算法，为理论评估和误差控制提供支持。（3）实证验证。我们使用一家大型零售商的真实销售数据进行了全面的实证研究。该研究系统地分析了理论误差界与实际观测误差之间的关系，从而验证了所提方法的预测精度及其实际应用价值。本文的其余部分安排如下：第2节回顾与本研究相关的研究成果；第3节介绍我们的方法论；第4节分析KDPFL的复杂度并推断其通信效率；第5节分析所提方法的泛化误差；第6节介绍实验研究，包括数据预处理、实验设计以及实验结果分析；最后，第7节对全文进行总结。片段摘录销售预测方法销售预测是为众多直接影响企业盈利能力的运营和业务决策提供关键依据，它是定价、订货和库存管理等管理职能的核心组成部分（Rohaan等人，2022年）。历史上，线性统计方法在这一领域被广泛应用。例如，Van Calster等人（2017年）提出了一种将进化算法与季节性自回归积分模型相结合的新方法方法论本研究聚焦于通过联邦学习架构实现不同类型零售商的个性化产品销售预测，该架构包含多个参与者和一个中央服务器。参与者为联邦学习过程提供数据，并从训练好的模型中受益，而中央服务器则负责协调各参与者之间的训练过程。我们假设共有k个参与者，用集合P={P1,P2,…,Pk}表示。每个参与者Pi拥有大小为ni的数据集，记为Di={(Xi,1,yi,1),(Xi,2)时间复杂度分析通过分析两个阶段：KDPFL-1和KDPFL-2，可以得出该算法的时间复杂度。假设共有k个参与者，其中参与者i拥有ni个样本以及特征集Fi。共享特征的交集为F∩←?i=1kFi。设R表示全局训练的轮数，|θ|表示模型参数的数量。对于时空卷积网络而言，每个样本的前向-后向计算成本取决于其卷积结构，可统一表示为CTCN=Θ(|θ|)，其复杂度属于同一级别泛化误差界在本节中，我们基于Rademacher复杂性理论（Bartlett & Mendelson，2002年）分析KDPFL的泛化误差。一方面，推导泛化误差界能为该方法的有效性提供严格的数学保障。另一方面，考虑到在知识传递过程中软标签可能会造成不同程度的信息丢失，因此有必要对泛化误差界进行清晰的分析。本节中的泛化误差分析数据描述与实验设置本研究使用的数据来自全球知名的零售企业沃尔玛。该数据集包含了2011年1月至2016年5月期间，位于加利福尼亚州、德克萨斯州和威斯康星州的商店的每日销售信息。数据涵盖了商品级别、部门、产品类别、价格、促销活动以及特殊事件的详细信息。为丰富原始数据集，我们还纳入了美国农业部发布的数据。

结论：本文提出了KDPFL框架，以有效应对零售销售预测中普遍存在的特征异质性和数据异质性两大挑战。本研究的理论贡献主要体现在三个方面。首先，它将PFL从同质特征空间内的个性化拓展到部分重叠特征空间下的知识传递与个性化。通过在共享特征的交集上训练全局教师模型……

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究得到了中央高校基本科研业务费（N25WPY018）的支持。作者感谢编辑及两位匿名审稿人提供的宝贵反馈和建议。