混合聚类在零售需求预测中的应用:结合基于规则的方法和机器学习方法 金正赫(Jung-Hyuk Kim)与 朱南旭(Nam-Wook Cho)

《Forecasting》:Hybrid Clustering for Retail Demand Forecasting: Combining Rule-Based and Machine Learning Methods Jung-Hyuk Kim and Nam-Wook Cho

【字体: 大 中 小 】 时间:2026年04月30日 来源:Forecasting 3.2

编辑推荐:

  **亮点** **主要发现是什么?** 本研究提出了一种自适应的混合聚类框架,该框架结合了基于规则的方法和机器学习方法,以应对快速移动消费品(FMCG)零售环境中特有的间歇性和异质性需求模式。结果表明,结合需求模式嵌入的混合预测模型在所有识别出的需求细分市场中,其准确性始终

  **亮点**

**主要发现是什么?**
本研究提出了一种自适应的混合聚类框架,该框架结合了基于规则的方法和机器学习方法,以应对快速移动消费品(FMCG)零售环境中特有的间歇性和异质性需求模式。结果表明,结合需求模式嵌入的混合预测模型在所有识别出的需求细分市场中,其准确性始终优于单一算法方法。

**主要发现的意义是什么?**
由于没有一种聚类方法能够普遍显示出优越性,因此建议实践者采取一种基于上下文的策略,根据需求模式的特点选择基于规则的方法或机器学习方法。从初步聚类统计中得出的诊断启发式方法可以将实验开销减少多达50%,从而在大规模零售环境中更有效地选择模型。

**摘要**
快速移动消费品(FMCG)的零售需求预测面临重大挑战,因为产品种类繁多、需求具有间歇性且存在不确定性,这使得任何单一模型都无法捕捉到多样化的需求模式。为了解决这些问题,本研究提出了一种混合聚类框架,该框架结合了基于规则的方法(Syntetos-Boylan分类)和机器学习(ML)方法,将时间序列嵌入与无监督学习相结合,根据需求结构对产品进行分类。基于这一框架,预测过程分为两个阶段:首先选择每个簇的最佳基线算法(第一阶段),然后使用基于嵌入的混合模型对其进行改进(第二阶段)。通过使用包含来自691家商店的12,661种产品的超过380万条周销售记录的大规模真实世界数据集,证明了这种方法的有效性。结果显示,与传统模型相比,所提出的方法将预测准确性提高了约5-15%。此外,模型性能会随着需求波动性的变化而变化,因为不同的模型-嵌入组合在不同条件下表现最佳。最后,所提出的诊断启发式方法将实验工作量减少了25-50%。比较分析表明,在需求稳定时,基于机器学习的聚类方法优于基于规则的方法;而在需求不确定性较高时,基于规则的方法更为优越,这证实了没有一种聚类范式是普遍最优的。这些发现展示了自适应混合框架在FMCG需求预测中的实际价值。

**1. 引言**
在快速移动消费品(FMCG)零售领域,由于消费迅速且产品生命周期较短,准确的需求预测至关重要。不准确的需求预测会导致缺货和库存积压,从而给企业带来成本损失和客户不满[1]。FMCG零售数据包括数以万计的库存保持单位(SKU)级别的商品,由于季节性、需求不确定性、促销效应和新产品推出等多种因素,准确预测非常具有挑战性[2]。
在多产品零售行业中,不同产品的销售模式差异很大,单一预测模型难以捕捉所有商品的时间序列特征[3]。为了克服这一限制,本研究采用了一种混合模型,该模型根据商品的需求特征对商品进行聚类,然后对每个簇应用最优预测模型。当聚类使簇内的模式更加均匀时,就可以针对这些特征进行模型训练,从而提高个别产品的预测性能[4]。
最近关于零售需求预测的研究采用了基于聚类的混合技术来应对单一预测方法的局限性。在这些方法中,文献中出现了两种主要的聚类策略。
第一种方法是基于规则的聚类,它使用Syntetos-Boylan分类(SBC)根据两个统计指标(平均需求间隔(ADI)和变异系数平方(CV2)将需求分为四种类型,然后对每种类型应用相应的预测算法[5,6]。当需求间隔和不确定性表现出清晰、可区分的模式时,这种方法表现出强大的预测性能。
第二种方法是基于机器学习(ML)的聚类,它使用K均值聚类、层次聚类(HAC)和高斯混合模型(GMM)等无监督学习算法对产品进行分组,然后对每个簇应用定制的预测算法[7,8]。与基于规则的方法不同,ML方法可以直接从数据中捕捉需求模式的潜在相似性,即使需求模式模糊或具有复杂的多维特性也能实现有效的分割。虽然基于规则的方法在需求结构明确的情况下表现优异,但ML方法对于数据集具有复杂或重叠需求模式的情况提供了更大的灵活性。然而,这两种方法的相对性能仍然取决于数据集,因此需要能够自适应地结合这两种方法的混合策略。
尽管这两种方法在先前的研究中都独立展示了出色的预测性能[5,6,9,10],但直接比较这两种混合聚类方法的研究尚缺乏。本研究提出的用于零售需求预测的混合聚类方法定义并在单一框架内实现了这些方法的选择。通过这种方式,它旨在通过有效聚类具有分类需求模式的数据和具有复杂模式的数据来提高特定簇的需求预测性能。
本研究探讨了以下研究问题:如何选择性地应用基于规则和机器学习的聚类策略,在异质不确定性条件下改进零售需求预测?我们提出了一种结合Syntetos-Boylan分类和基于嵌入的无监督学习的混合框架。该框架使用来自韩国知名FMCG零售商的每周销售点(POS)数据进行了评估,涵盖了691家商店、12,661种产品以及超过380万条交易记录。该数据集具有多样化的销售分布特征,为在不同需求模式下测试聚类效果提供了可靠的测试平台。结果表明,聚类性能严重依赖于数据特征,而不是单一的最佳方法,为复杂的零售预测环境提供了实用的指导。

**2. 相关工作**
在FMCG零售领域,准确预测产品需求至关重要。这可以防止库存积压和缺货,同时提高客户满意度。准确的需求预测有助于供应链管理、库存水平维护和生产计划[11]。传统的需求预测方法基于历史数据进行预测,但在捕捉非线性关系和外部因素方面存在局限性[12]。最近,机器学习和深度学习技术已被应用于需求预测,提高了预测性能[13]。混合模型因其结合了多种预测技术的优势并弥补了各自的局限性而受到关注[14]。

**2.1. 传统预测方法**
需求预测方法分为三类:时间序列分析、回归分析和机器学习[15]。传统方法包括时间序列分析和回归分析。时间序列分析通过使用历史数据来预测未来需求和季节性。自回归积分滑动平均(ARIMA)和Holt-Winters指数平滑(HW)是适用于具有趋势或季节性特征的时间序列的成熟统计方法[16,17]。回归分析通过假设销售需求与外部变量之间的关系来进行预测。线性回归假设变量之间存在线性关系,而多元回归则同时考虑多个变量[18]。然而,这些方法受到多重共线性、对异常值的敏感性以及无法表示非线性关系的限制[19]。

**2.2. 基于机器学习的预测方法**
基于机器学习的方法通过从数据中直接捕捉需求模式的潜在相似性来改进需求预测。基于树的方法(如随机森林RF)使用装袋技术生成多个决策树并取其平均值;梯度提升机(GBM)逐步纠正错误;极端梯度提升机(XGBoost)、轻量级梯度提升机(LightGBM)和分类提升机(CatBoost)在需求预测中表现出色[20]。深度学习方法利用多层神经网络实现数据抽象。循环神经网络(RNN)和长短期记忆(LSTM)模型适用于具有时间依赖性的数据预测,特别是LSTM和门控循环单元(GRU)通过门控机制学习长期模式[21]。最近,基于变换器的模型因其强大的长期预测性能而受到关注,其性能超过了RNN[22]。

**2.3. 混合模型**
混合模型通过结合多种预测技术,相比单一模型实现了更好的性能和鲁棒性[23]。这些模型可以分为七种类型:(1) 统计-机器学习混合模型使用统计模型生成线性预测,然后使用机器学习或深度学习模型捕捉非线性残差[24,25];(2) 基于聚类的方法将相似的需求模式分组,并对每个簇应用最优模型[26,27];(3) 集成方法汇总多个模型的预测以生成最终预测[28,29];(4) 分解方法将时间序列分解为组成部分,并对每个部分应用适当的模型[30,31];(5) 并行架构同时执行不同模型并组合它们的输出[32,33];(6) 元学习方法使用元学习器整合多个基础模型的预测[34,35];(7) 基于嵌入的方法将时间序列转换为向量表示,使模型能够捕捉复杂模式[36,37]。

**2.4. 零售需求预测中的基于聚类的混合研究趋势**
本节探讨了基于聚类的混合方法的研究趋势。表1总结了零售领域基于聚类的混合需求预测的研究趋势。21世纪初的研究依赖于基于规则的分类和聚类技术,包括使用K-Median聚类进行店铺级需求优化[38]、使用ARIMA和多层感知器(MLP)进行客户细分的研究[39]、二分图聚类研究[40]以及ClustAvg方法[42]。2010年代,数据驱动的无监督学习技术得到了广泛应用。K-Means聚类被应用于结合在线和离线销售数据的客户和产品细分[41,43,44,47,50],而层次聚类(HAC)和高斯混合模型(GMM)被用于需求不确定性较高的数据集[8,9,48]。基于动态时间弯曲(DTW)的模式聚类是一种利用时间序列相似性的方法扩展[46]。预测算法也有所发展,最初使用的是ARIMA、简单指数平滑(SES)和回归分析等传统统计技术[6],随后引入了基于机器学习的方法,如RF、XGBoost、支持向量机(SVM)和支持向量回归(SVR)[9,43,47,48]。最近,基于深度学习的时间序列预测方法(如LSTM和RNN-LSTM)也出现了[8,25,46]。还有研究结合了LSTM和RF的集成架构[9]。从数据角度来看,大多数研究包括了销售和交易数据(如销售量、价格、净销售额)[44,46,50],随后还整合了客户和店铺属性(如客户ID、店铺ID、位置、人口统计信息等)[38,39,47,48]。最近,还纳入了在线/离线渠道特征[4,41,46]、促销和事件、天气以及油价等外生变量[9,45,48]。零售领域基于聚类的混合需求预测从简单的基于规则的方法发展到基于属性的方法(K-Means聚类(K-Means)、HAC、GMM)和基于模式的方法(DTW),而预测算法也从统计方法发展到机器学习、深度学习和集成方法。数据范围已从以销售和客户为中心扩展到包含渠道、促销和外部环境因素的多维框架,这表明混合方法在零售库存管理和决策支持中变得越来越重要。

**3. 方法论**
本研究提出了一种用于零售需求预测的混合聚类方法,能够有效捕捉FMCG零售数据中的多样化需求模式。提出的方法论选择性地使用基于规则和机器学习(ML)的方法为每个簇构建预测模型。基于规则的方法使用Syntetos–Boylan分类(SBC)对数据进行聚类。ML方法针对难以明确归类为特定需求类型的产品。首先,嵌入时间序列数据以表示产品之间的模式相似性。随后,通过无监督学习对产品组进行聚类。对于这两种方法,预测阶段包括两个阶段。第一阶段从ARIMA、RF、XGBoost、LSTM和Autoformer中为每个簇选择合适的预测算法。在第二阶段,应用结合嵌入和选定最优算法的混合模型,并比较各簇之间的产品级预测结果。整个框架如图1所示。

3.1 数据集
数据集包含韩国快速消费品(FMCGs)行业两个分销中心三年的(2020-2022年)每周销售点数据(POS数据),涵盖了九个类别的22,794种零售产品:工具、爱好、文具、食品、清洁用品、美容产品、装饰品、烹饪用品和存储用品。每条记录包括国内进口分类、类别、产品编号、产品名称、销售单价、初始发布日期、开始日期和销售数量。

3.2 数据预处理和特征工程
预处理阶段包括几个步骤来构建建模数据集。首先,排除了停产产品和销量为零的产品。只保留了在所有中心和年份中产品编号一致的产品。构建了滞后特征,包括前一周的销售量和四周的销售量移动平均值。添加了一个假期计数变量来捕捉周末销售的波动。还纳入了外部变量——平均温度、湿度、风速、CPI、失业率、WTI和零售销售指数。完整的特征集如表2所示。

3.3 需求预测的聚类方法
本研究采用基于规则和基于ML的聚类方法进行需求预测。聚类方法将具有相似销售模式的产品分组,从而实现针对特定簇的预测模型。基于规则的方法使用预定义的统计标准对产品进行分类,而ML方法应用无监督的嵌入学习来识别数据模式。使用轮廓系数(Silhouette Coefficient,SC)和Davies–Bouldin指数(DBI)[53]评估ML方法的聚类性能。轮廓系数是一个内部评估指标,同时衡量每个数据点与同一簇内其他点的接近程度以及它与其他簇中点的分离程度。其值范围从-1到1,较高的值表示更清晰的簇结构。相比之下,Davies–Bouldin指数通过综合考虑簇间分离和簇内凝聚力来评估簇间相似性,较低的值表示更好的簇间分离和更优质的聚类效果。基于规则的方法适用于需求模式清晰的情况,而基于ML的方法在需求模式不规则或复杂时表现更佳[5,6,7,8]。基于规则和基于ML的方法分别在3.3.1节和3.3.2节中详细说明。

3.3.1 基于规则的聚类
基于规则的方法根据平均需求区间(Average Demand Interval,ADI)和变异系数平方(Squared Coefficient of Variation,CV2)[7]将产品分为四种类型:平稳型(ADI低,CV2低)、间歇型(ADI高,CV2低)、波动型(ADI低,CV2高)和波动剧烈型(ADI高,CV2高)。这种方法能够区分不同的模式,包括识别间歇性需求,并便于选择特定簇的预测模型。

3.3.2 基于机器学习的聚类
基于机器学习的聚类采用基于嵌入的无监督学习将时间序列转换为潜在向量空间,以便进行基于模式的聚类。由于数据的多维性和不规则性,直接比较原始时间序列具有挑战性,因此需要使用嵌入技术[36]。虽然主成分分析(PCA)可以减少维度并提高计算效率,但它无法充分捕捉时间流动和模式[54]。时间序列嵌入在向量空间中保留了时间结构,从而在聚类过程中有效分离模式并促进模型学习[55,56]。尽管时间序列嵌入在医疗保健、金融和传感器分析中得到广泛应用,但在需求预测中的应用仍较少。本研究将PCA与先进的时间序列嵌入技术进行比较,以评估它们的有效性。使用了四种嵌入技术:
- 主成分分析(PCA):提取主成分以减少维度同时保留核心特征[54]。
- Gramian角场-卷积神经网络(GAF-CNN):将时间序列转换为表示时间相关性的GAF图像,然后通过CNN提取模式,同时保留时间依赖性[36]。
- 补丁时间序列变换器(PatchTST):将时间序列分割成固定长度的块,通过Transformer编码器处理,以通过自注意力机制捕捉局部和长期模式[37]。
- 时间序列到向量(TS2Vec):通过对比学习生成潜在向量,为预测和分析任务提供通用表示[57]。

3.4 混合预测框架
预测阶段包括三个阶段:训练、验证和测试,基于规则和ML的方法遵循相同的程序。第一阶段从五种算法(ARIMA、RF、XGBoost、LSTM和Autoformer)中识别最优模型;第二阶段评估结合嵌入技术(GAF-CNN、PatchTST和TS2Vec)的混合模型。
- 训练阶段:使用销售数量作为目标变量,输入特征包括时间序列、产品、季节性和经济变量共15个。数据集按时间顺序分为训练集(2020年1月至2022年6月,83.4%)、验证集(2022年7月至9月,8.3%)和测试集(2022年10月至12月,8.3%)。对分类变量应用独热编码,对数值变量应用最小-最大归一化。为了确保公平比较,所有阶段使用相同的数据分割。仅在训练数据上进行聚类以防止数据泄露,之后对每个簇进行预测。在第一阶段,训练五种模型以确定每个簇的最优模型。在第二阶段,将三种嵌入方法与选定模型结合,得到11个混合模型。时间序列嵌入将输入序列转换为潜在表示,从而提高泛化和稳定性[56]。
- 验证阶段:使用验证集调整超参数并防止过拟合。使用Optuna的树结构Parzen估计器(TPE)优化超参数以最小化均方根误差(RMSE)[61]。
- 测试阶段:使用测试集和优化后的参数评估最终模型的性能。结果在后续的评估部分中呈现。

3.5 预测性能评估
在评估阶段,比较了基于规则和ML方法的性能。使用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和平均绝对缩放误差(MASE)[34,45]评估产品级预测准确性。各指标定义如下:
- MAE衡量预测误差的平均幅度。
- RMSE由于平方操作而给予较大误差更大的权重。
- MAPE以实际值的百分比评估相对预测准确性。
- MASE将预测误差相对于一个简单基准进行缩放,以便在不同时间序列之间进行比较。
由于两种方法采用不同的聚类方法,简单的平均指标可能无法充分反映产品之间的销售量差异。因此,本研究还采用了加权平均绝对百分比误差(WMAPE)[62],其定义为:
- WMAPE根据每个簇的大小对其进行加权,以评估整体预测性能。

4. 结果与讨论
4.1 基于ML的聚类评估
在第4.1节中,对ML方法的聚类性能进行了实验评估。ML方法使用时间序列嵌入将输入时间序列转换为向量,包括PCA、GAF-CNN、PatchTST和TS2Vec。随后,将嵌入向量作为输入进行无监督学习聚类,应用K-Means、HAC和GMM对具有相似销售模式的产品进行聚类。使用轮廓系数(SC)和Davies-Bouldin指数(DBI)评估聚类性能,评估结果如表3所示。表3表明PatchTST–GMM在两个中心都取得了最佳的聚类性能:中心A(K = 3,SC = 0.6488,DBI = 0.8826)和中心B(K = 4,SC = 0.6339,DBI = 0.6165),表明簇分离度高且一致性好。聚类通过将具有相似模式的观测值分组简化数据结构,从而减少异质性并使每个簇内的模式学习更加一致。虽然使用SC和DBI等指标评估聚类质量[53],但这些指标反映的是结构有效性而非预测性能。因此,聚类被视为一个预处理步骤,其有效性最终基于预测准确性进行评估。这一观点与Bala(2012)的研究结果一致,他表明基于聚类的需求划分可以提高预测准确性[39]。相比之下,PCA–GMM的性能最差(中心A:SC = 0.1324,DBI = 1.7658),表明其在捕捉时间模式方面存在局限性。尽管GAF-CNN–HAC的SC相对较高,但它仅从12,661种产品中识别出两个簇,限制了其捕捉模式多样性的能力。从嵌入的角度来看,基于时间序列的方法(TS2Vec、PatchTST和GAF-CNN)优于基于PCA的方法,证明了它们在捕捉时间动态方面的有效性。此外,单时间序列实验的表现优于多变量设置,表明基于ML的聚类即使在输入特征较少时也能实现稳定性能。总体而言,这些结果表明基于嵌入的聚类,特别是PatchTST–GMM,在捕捉异质需求模式方面最为有效。

4.2 聚类结果:基于规则的方法与基于ML的方法
表4显示了基于规则的方法(SBC)的聚类结果。中心A和中心B都形成了4个簇,其中平稳型占主导地位。相比之下,间歇型和波动剧烈型包含的产品较少,表明不规则需求集中在特定的产品组中。图2展示了基于规则的方法(SBC)分类的每个簇的每周平均销售量(W_QTY)趋势,时间轴以YearWeek格式表示。x轴表示年份和周数(例如,202001对应2020年的第一周),涵盖2020年1月至2022年12月。四个簇在平均水平和服务量方面有明显差异,中心A和中心B的模式结构相似。平稳型簇显示出最高和最稳定的需求,而间歇型、波动型和波动剧烈型簇的平均值较低且变化较大。大约在第40周后,某些簇的需求出现显著增加,这归因于产品发布和实际发货之间的时间延迟。此外,第40周、100周和150周左右的重复需求峰值反映了季节性效应,这是快速消费品零售数据中的典型现象。通过结合年份和周数信息,可以更清楚地识别结构变化和季节性模式。表5显示了使用ML方法(PatchTST–GMM)获得的产品聚类结果。中心A的数据被分为3个簇,中心B的数据被分为4个簇。对于中心A,大多数产品(79%)被分配到簇2,而簇1和簇3的产品较少。相比之下,中心B在四个簇之间的分布更为均衡,表明需求模式的异质性更大。这些结果表明,基于嵌入的聚类可以自主识别和分割潜在需求结构,而无需预先定义的类别,使簇组成适应每个数据集的内在特征。图3展示了基于ML方法(PatchTST–GMM)分类的每个簇的每周平均销售量(W_QTY)趋势,时间轴以YearWeek格式表示。中心A形成了三个簇,中心B形成了四个簇,每个簇都表现出不同的时间序列特征和变化性。一些簇显示出反复出现的短期峰值和波动,表明基于ML的聚类可以捕捉到基于规则的方法遗漏的潜在需求模式。随着时间的推移,某些簇也观察到结构变化,反映了需求的非平稳性。此类变化可能导致训练期和测试期之间的分布偏移,从而可能影响预测性能。为了解决这个问题,所提出的基于聚类的预测方法考虑了需求异质性和结构变化,从而实现了更稳定、更强大的预测性能。4.3 聚类级预测模型的性能评估在第4.3节中,评估了基于规则和机器学习(ML)方法的预测算法的性能。比较了11种预测算法的性能,包括第1阶段的单一模型和第2阶段的混合嵌入组合模型。每个簇的预测结果总结在表6、表7、表8和表9中。表6. 基于规则的簇的预测结果(中心A)。表7. 基于规则的簇的预测结果(中心B)。表8. PatchTST–GMM簇的预测结果(中心A)。表9. PatchTST–GMM簇的预测结果(中心B)。表6和表7比较了使用基于规则方法的各个簇的预测性能。在11种模型中,结合时间序列嵌入的第2阶段模型始终优于第1阶段的单一模型。在中心A,最佳模型因簇而异。PatchTST–RF在平滑型(簇1)和间歇型(簇2)中表现最佳,而PatchTST–XGBoost在波动型(簇3)和块状型(簇4)中表现更优。在中心B也观察到了类似的模式。PatchTST–RF在平滑型和间歇型中表现最佳,而PatchTST–XGBoost在波动型中是最优的,这与中心A的结果一致。对于块状型,TS2Vec–XGBoost表现出最佳性能,表明PatchTST和TS2Vec嵌入对于高不确定性需求都是有效的。总体而言,基于RF的模型在低不确定性需求下表现更好,而基于XGBoost的模型在高不确定性需求下表现更好。这些发现表明,针对特定簇选择模型比对所有需求类型应用单一模型更有效。表8和表9展示了使用PatchTST–GMM方法在各个簇上的预测性能。与基于规则的方法一致,结合时间序列嵌入的第2阶段模型优于第1阶段的单一模型。在中心A,结合时间序列嵌入的XGBoost模型在各个簇上始终表现更优。GAF-CNN–XGBoost在簇1(低不确定性)中表现最佳,而PatchTST–XGBoost在低不确定性(簇2)和高不确定性(簇3)设置中都有效。在中心B,最佳模型因需求不确定性而异。PatchTST–RF在簇1(最低不确定性)中表现最佳,而GAF-CNN–XGBoost和PatchTST–XGBoost在不确定性较高的簇中表现更好。总体而言,基于RF的模型更适合低不确定性需求,而基于XGBoost的模型更适合高不确定性需求。由于簇定义和规模的差异,直接比较基于规则的方法和ML方法是有限的。因此,在第4.6节提供了使用WMAPE对所有产品进行统一比较的结果。表10展示了第1阶段基线模型与提出的第2阶段模型之间的统计比较。结果显示,所提出的模型在所有簇上始终实现了更低的MAE。配对t检验和Wilcoxon检验都证实这些改进在统计上是显著且稳健的。在基于SBC的簇中,增强时间序列嵌入的RF和XGBoost模型通常优于其基线对应模型,除了一个案例(SBC-A簇4),在该案例中基线模型表现更好,这表明第1阶段的模型根据数据特性有时仍然具有竞争力。在基于ML的簇中,第2阶段模型始终实现了更低的MAE,并且改进幅度更大,表明基于嵌入的聚类有效地捕捉了复杂的需求模式。需要注意的是,本研究的主要重点不是同一阶段内模型之间的正式统计比较(例如,第1阶段的RF与XGBoost,或第2阶段的GAF-CNN与PatchTST与TS2Vec)。每个阶段内的性能差异通常很小,并且在各个簇之间是一致的。此外,鉴于涉及的大样本量,即使是微小的差异也可能在统计上变得显著,但这不一定意味着实际上的显著改进。因此,本研究中的阶段内模型选择是基于MAE排名,而不是正式的显著性检验,建议实践者在选择同一阶段内的模型时考虑统计和实际意义。总体而言,这些结果表明,所提出的模型在不同的簇和数据环境中实现了显著且一致的性能提升,支持了基于混合聚类的预测框架的有效性。4.4 特征重要性分析进行了特征重要性分析,以评估每个特征对模型预测性能的相对贡献。我们使用了XGBoost中的基于增益的重要性指标,该指标计算了由于在给定特征上的分割而导致的损失函数的平均减少量。较高的增益值表明该特征提供了更多的信息性分割,从而对预测准确性做出了更大的贡献[63]。中心A和B的特征重要性排名总结在表11中。根据表11的结果,两个中心中最有影响力的变量分别是CATEGORY、LAG1(1周前的销售量)、START_SALES_DATE(销售开始日期)、LAG1_4W_ROLLING_AVG(基于前一周的4周销售量)、PRICE(销售单价)和FIRST_SHIPMENT_DATE(初始发布日期)。当这六个顶级变量结合使用时,它们分别占中心A和B的92.6%和95.4%。在中心层面,变量类型的重要性有所不同。中心A对时间序列变量(LAG1、LAG1_4W_ROLLING_AVG)的重视程度高于中心B。中心B对产品相关变量(CATEGORY、START_SALES_DATE)的重视程度高于中心A。这表明时间序列变量强烈影响了中心A的需求结构,而产品相关变量强烈影响了中心B的需求结构。其他九个宏观经济和天气变量在两个中心的重要性通常较低,仅作为辅助解释变量。总之,尽管两个中心最重要的变量组成相似,但相对贡献权重有所不同。这表明,即使在处理相同的产品类别时,每个中心的需求结构也显示出不同的销售模式。利用这些结果,需求管理者可以根据最具影响力的变量做出明智的决策。4.5 基于规则的方法和ML方法的比较表12比较了基于规则(SBC)和ML(PatchTST–GMM)方法在所有产品上的预测性能。使用MAPE评估了簇级性能,而使用WMAPE和WAMPE评估了整体性能,以反映产品级别和加权误差。表12. 基于规则的方法和ML方法的比较。结果显示,最佳方法因需求特征而异。在需求模式相对稳定的中心A,ML(PatchTST–GMM)方法实现了较低的误差。相比之下,在需求不确定性较高的中心B,基于规则(SBC)方法表现更好。这些发现表明,没有一种方法是普遍最优的。总体而言,结果支持了一种根据需求模式自适应选择聚类和预测策略的混合方法的有效性。然而,这项研究的一个局限性是方法选择是事后进行的,没有预先定义的标准。这一局限性突显了需要一个原则性的选择框架。表13总结了从基于ML的聚类中获得的簇级统计特征。结果表明,两个中心之间的需求模式存在明显差异。中心B包含的簇具有高变异性和极端性,特别是簇4,其CV、比率、ADI、峰度和趋势波动性都很高,反映了不规则和高度波动的需求模式。相比之下,中心A的产品主要集中在需求行为相对稳定的簇中。表13. ML聚类统计摘要表。这些需求特征的差异解释了表12中观察到的性能变化,并为所提出的启发式框架提供了依据。具体来说,高波动性和极端簇的存在表明基于规则的方法是合适的,而更稳定的需求结构则更适合基于ML的方法。表14展示了使用所提出的诊断启发式方法实现的实验节省。结果显示,该启发式方法在不同波动性情景下将实验搜索空间减少了大约25-50%。这些发现表明,从基于ML的聚类中得出的波动性结构可以作为在基于规则的方法和基于ML的方法之间进行选择的有效先验诊断指标。这种诊断方法能够在保持性能的同时大幅降低实验成本。与现有文献一致,结果确认没有一种预测方法是普遍优越的,性能取决于数据特征。这项研究通过表明聚类策略也应根据需求特征来选择,进一步扩展了这一见解。以前的研究通常采用单一的聚类范式。例如,Petropoulos和Kourentzes [5]以及Li等人[6]专注于基于规则的方法,而Chen和Lu [4]使用了基于ML的聚类,但没有与基于规则的替代方法进行比较。因此,不同需求条件下不同聚类策略的相对有效性尚未系统地进行研究。相比之下,本研究同时考虑了聚类策略和预测模型选择。结果显示,在低需求波动性下,基于ML的聚类表现更好,而在高不确定性下,基于规则的聚类更有效。这些发现强调了没有一种聚类范式是普遍最优的,并强调了上下文敏感的混合方法的重要性。4.6 在不同数据分割下的鲁棒性验证为了评估时间数据分割对结果的影响,使用另一种时间序列分割(训练:2020-2021年,验证:2022年1-6月,测试:2022年7-12月)进行了额外的鲁棒性分析。重新评估了簇级预测性能,重点关注代表性的第1阶段模型(RF、XGBoost)和第2阶段模型(PatchTST–RF、PatchTST–XGBoost)。表15总结了WMAPE和WAMPE在所有聚类方法和配送中心上的整体性能。表15. 在不同数据分割下的鲁棒性验证结果。结果显示,相对性能模式与原始发现一致:中心A偏好基于ML的方法,而中心B偏好基于规则的方法。在簇级别,PatchTST–RF在低变异性簇中表现更好,而PatchTST–XGBoost在高变异性簇中表现更好。此外,基于嵌入的模型始终比基线模型实现了更低的误差,表明它们在捕捉潜在需求结构方面是有效的。总体而言,这些发现表明所提出的框架对不同的数据分割具有鲁棒性,并在潜在的结构变化(如COVID-19期间的变化)下保持了稳定的性能。它们进一步支持了根据需求特征选择预测模型的重要性,而不是依赖于单一的通用方法。5. 结论本研究的目的是提高快速消费品(FMCGs)多产品零售行业中的需求预测准确性。为此,提出了一种混合聚类模型,该模型根据数据特征选择性地使用基于规则和ML的聚类方法。使用来自两个配送中心的POS数据(涵盖三年内的12,661种产品)进行的实验表明,ML方法(PatchTST-GMM)在中心A实现了较低的错误率,而基于规则的方法(SBC)在中心B表现出更好的性能。这表明,即使在同一行业中,最佳框架也可能因数据特征和销售分布而异。对预测阶段中11种算法的性能评估显示,结合时间序列嵌入的XGBoost模型(GAF-CNN-XGBoost、PatchTST-XGBoost、TS2Vec-XGBoost)在高需求不确定性簇中表现良好,而结合时间序列嵌入的RF模型(PatchTST-RF)在销售模式稳定的簇中表现出更好的性能。这表明,这两种方法可以根据产品组的销售分布以互补的方式使用。该研究再次确认了传统上用于间歇性需求预测的SBC系统在高需求不确定性模式中的有效性,并验证了基于嵌入的无监督学习聚类方法可以是学习稳定模式的有效替代方案。这项研究具有以下学术和实际意义:首先,我们提出了一种混合方法,该方法根据需求模式的相似性选择性地整合基于规则和ML的方法,以提高零售环境中需求模式异质性的预测性能,并使用实际零售数据进行了验证。尽管GAF-CNN、PatchTST和TS2Vec越来越多地被用于预测应用,但它们在FMCGs零售需求预测中的使用仍然有限。本研究通过一个经过验证的案例证明了最先进的时间序列嵌入技术在真实零售预测问题中的有效性。其次,使用加权平均绝对百分比误差(WMAPE)评估了传统间歇性需求分类系统(SBC)和基于时间序列嵌入的无监督聚类(PatchTST-GMM)的有效性。实验表明,在需求不确定性较低的情况下,基于机器学习的预测方法更为有效;而在需求不确定性较高的情况下,基于规则的方法表现更佳,这为数据驱动的方法选择提供了实际依据。第三,通过XGBoost特征重要性分析开发了一个可解释的模型。当将该模型应用于未考虑促销效应的零售商数据时,分析清晰地识别出了影响预测的关键独立变量,其中前六个变量解释了超过92%的变异。第四,使用Python 3.10.6中的Optuna库实现了超参数自动化优化,从而最小化了每个簇内的平均销售分布误差。这种方法大大减少了重复调整的工作量,并能够快速确定适合每个簇需求特征的最优超参数。

从实践者和管理者的角度来看,这种方法可以作为选择合适零售需求预测方法的标准。可以根据数据的需求模式选择性地应用基于规则的方法或基于机器学习的方法,以实现最佳的聚类和预测效果。此外,变量重要性分析有助于了解哪些独立变量对预测贡献最大,使管理者能够做出明智的决策。通过Optuna库实现的超参数自动化能够快速响应市场变化。实验结果显示,不同产品类别的预测准确性存在差异,管理者可以利用这些洞察来调整不同产品线的需求预测策略。

本研究存在一些局限性。首先,分析仅基于两个配送中心的数据,这限制了其推广到其他国家、分销商或行业部门的普遍性。其次,外生变量的重要性相对较低,而一些重要的需求驱动因素(如促销活动、库存水平、竞争对手的行为和当地事件)并未被充分考虑。因此,研究结果可能取决于所使用的具体变量集和模型配置。第三,SBC方法依赖于从历史数据计算出的ADI和CV2值,这使得它对所选样本期间非常敏感。因此,观察期的变化可能导致相同产品的簇分配不同。

未来的研究应该将提出的框架扩展到更广泛的地理区域和行业部门,以提高其普遍性。由于本研究关注的是周度预测,因此进行短期、中期和长期预测的比较分析将具有价值。结合店铺级别的聚类和产品聚类可以更好地捕捉地区特定的需求特征,而整合更丰富的上下文变量(如促销活动、价格弹性和库存动态)将进一步提高预测的准确性和模型的完整性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号