可复现的、无泄漏的删失需求预测与库存优化流水线——基于FreshRetailNet-50K

《Inventions》：A Reproducible, Leakage-Free Pipeline for Censored Demand Forecasting and Inventory Optimization on FreshRetailNet-50K

　　

易腐品需求预测因需求删失而变得复杂：当缺货发生时，观测销售额低估了真实需求，并使预测和补货决策产生偏差。研究人员提出了一种无泄漏的端到端三阶段流水线：一种逆Mills比率（IMR）恢复启发式方法，与最大似然Tobit估计器进行基准比较；一个基于117个工程化特征的LightGBM集成，使用仅训练集的聚合统计量和递归多步推断；以及20种Newsvendor族策略，其中报告的策略由发布代码中编码的规则在验证折上以满足率下限为条件固定，然后在保留窗口上评估一次。在FreshRetailNet-50K（50,000条门店-产品序列，90天日销售与小时级库存状态向量）上，集成在重新校正前达到33.54%的WAPE；验证选择的仅CPU校准将其改善至32.79%，并将预测偏差从?8.23%降至?2.62%。所有主要数据来自一次折因果运行：选定的Q90直接策略达到0.956的满足率和每门店-产品日0.241的利润，较静态基线提高46%（门店聚类bootstrap 95% CI，绝对差值为[0.072,0.081]），同时满足0.90的服务下限。由于评估需求是删失的观测销售额，所有利润数据均为代理指标，其相对于潜在需求利润的偏差方向无法识别。消融研究将大部分实测增益归因于多目标集成和服务约束策略；完整特征集主要改善偏差和稳定性，而恢复对偏差的影响大于对WAPE的影响。本研究的贡献在于这种无泄漏评估协议及其支持的CPU可行的运营基线，并随附泄漏测试和聚类bootstrap推断，而非在该基准上取得新的最优WAPE。

**论文解读：可复现的无泄漏删失需求预测与库存优化流水线（FreshRetailNet-50K）**

全球新鲜食品零售面临根本性的运营矛盾：过度库存导致损耗和财务损失，而库存不足造成销售损失和顾客不满。联合国环境规划署估计，2022年约19%的食品在家庭、餐饮和零售层面被浪费；联合国粮农组织估计另有约13%在生产与零售之间损失。需求预测和库存优化是解决这一问题的核心，但易腐品需求预测受到“删失需求”（censored demand，指缺货时观测销售额低于真实需求）的严重干扰。当产品缺货时，观测销量仅构成真实需求的下限；若直接使用删失销量训练模型，预测会系统性低估需求，进而导致补货量偏低、缺货更频繁，形成自我强化的“恶性循环”。

FreshRetailNet-50K由Wang等人发布，包含来自898家门店、865种生鲜SKU的50,000条门店-产品（store-product, SP）时间序列，覆盖90天日销量及小时级库存状态，约44%的日观测受缺货影响，是该问题上目前最大的公开基准。然而，已有研究缺乏在文档化无泄漏协议下的梯度提升（LightGBM、XGBoost、CatBoost）基线，也没有显式的计量经济学恢复方法（如Tobit估计）以及涵盖利润、满足率、浪费分解的端到端评估。为此，研究人员在该基准上实现并评估了一种可复现、无泄漏的运营基线，论文发表在《Inventions》。

研究人员构建了三阶段流水线：第一阶段进行删失需求恢复，比较快速逆Mills比率（IMR）启发式与最大似然Tobit估计器；第二阶段使用117个工程化特征训练多目标LightGBM集成；第三阶段评估20种Newsvendor族库存策略，并通过验证折上的固定规则选择报告策略。该流水线的核心贡献是无泄漏评估协议：所有聚合统计量仅从训练数据拟合，多步预测采用递归推断，库存策略在验证折上预选，测试窗口仅评估一次。

**研究采用的主要关键技术方法**包括：删失需求恢复采用IMR启发式（时间加权部分恢复、滚动平均完全缺货恢复、温和IMR校正）与最大似然Tobit估计（按SP拟合，类别回退）；特征工程采用状态式两阶段拟合-变换构造，共117个特征，全部来自训练数据，递归多步推断；预测模型为多目标LightGBM集成（MAE、Huber、分位数Q50/Q10/Q90）；库存策略覆盖静态基线、正态参数化、分位数直接、非参数经验分位数等20种；统计推断使用聚类bootstrap和配对Wilcoxon检验。数据来源为FreshRetailNet-50K（叮咚平台，898家门店，865个SKU，90天训练+7天评估）。

**研究结果**如下：

**3.1 删失评估下的恢复敏感性**：在1500 SP分层子样本上比较IMR启发式（温度权重0~1）与Tobit MLE。六种配置的下游WAPE仅位于33.31%~33.52%窄带，而恢复提升度差异大（36.9%~55.2%）。没有任何配置全面占优，恢复主要影响预测偏差而非WAPE。计算上，IMR约0.3秒，Tobit约33秒（2000 SP子样本）。

**3.2 五种预测模型的基准比较**：在相同特征和评估协议下，最小特征的LightGBM取得最佳MAE和相关性；CatBoost与其统计上无显著差异，XGBoost略差；统计基线和SSA显著落后。

**3.3 全流水线：50,000个门店-产品**：无泄漏流水线在全量数据上原始集成WAPE为33.54%，经验证选择的仅CPU重校准后降至32.79%，偏差从?8.23%降至?2.62%。该配置由验证门保留，整个流程为一次折因果运行。

**3.4 预测误差分析与模型内省**：按需求变异性分类，X（平稳）类中位WAPE 30.5%，Y（可变）类38.2%，Z（不规则）类61.5%。递归误差随水平线从第1天30.7%增至第7天35.9%。按删失分层，零缺货行WAPE为29.4%，重度删失行为46.9%，且重度删失均观测销量仅0.94。分位数模型的名义80%区间实际覆盖率为70.3%，存在欠覆盖。特征重要性分析显示，仅训练期的周内需求分布特征占总增益约48%。

**3.5 库存优化结果**：验证预选策略为Q90 Direct，测试满足率0.956，利润0.2413/SP日。所有利润高于它的策略在验证折上满足率低于0.90门槛。Pareto前缘显示分位数插值策略利润最高，但满足率较低。业务影响方面，静态基线利润0.1651，ML简单排序0.3395，预选策略0.2413，较静态基线利润提高46%、满足率提高8.1个百分点。统计检验（门店聚类bootstrap等）确认显著。

**3.6 ABC-XYZ划分**：AX单元（高量、平稳）约占三分之一SP，收入占比最大；CZ和BZ单元（不规则、可变）数量少但驱动误差和浪费。该分析仅作为部署假设，本研究不按细分选择策略。

**讨论与结论**：讨论部分指出，无泄漏评估协议会极大改变结论。若使用非因果协议（聚合统计量含评估窗、递归滞后用真实值、策略后验选择），WAPE仅23.26%、利润0.4996；而无泄漏协议为33.54%和0.2413，显示非因果评估可能将利润夸大52%~107%。消融表明多目标集成和服务约束策略是主要增益来源，完整特征集主要改善偏差和稳定性；16个特征的简约配置接近WAPE但偏差显著增大。成本敏感性显示利润在0.0066~0.3560之间变化。与已发表的深度学习结果相比，该梯度提升流水线未超过TFT+TimesNet（29.02%），但提供了2.6小时CPU可行的可审计基线。需求恢复对WAPE影响不大，对偏差影响适中。局限性包括评估需求本身删失、未与深度学习方法进行相同协议下的头对头复现、单数据集、成本配置代表性有限等。

研究结论可翻译为：本文提出了一个完整、可复现且无泄漏的端到端流水线，用于FreshRetailNet-50K上易腐零售中的删失需求预测和库存优化。五个贡献支持这一主张：第一，一种有状态的两阶段特征构建，仅从训练数据拟合每个聚合统计量并在推断时通过查找应用，结合递归多步预测，使测试期间的实际值永远不会进入后续期间特征；第二，一个适当的极大似然Tobit基线，补充而非取代快速逆Mills比率启发式方法，并进行温度权重敏感性扫描；第三，一种样本外策略选择程序，在验证折上学习每个门店-产品的残差分布，并在满足率下限约束下预先选择所报告的策略；第四，在相同无泄漏特征下的比较基准，由聚类bootstrap和定义的Holm–Bonferroni假设检验族支持；第五，两个验证定义的消融，分别分解恢复、特征工程、多目标集成和策略选择的边际贡献，以及在共同折因果多步协议下比较预测阶段的针对性改进。研究人员的发现对实践者有三个启示：严格无泄漏的协议比该基准上任何具体模型选择更能改变实测结论；梯度提升流水线具有吸引力的运营基线，即CPU可行、可解释、直接连接补货决策；需求恢复对WAPE影响小，对偏差影响中等且依赖配置，而下游库存决策对偏差比对WAPE更敏感。在观测销售代理和给定成本配置下，若干分位数和非参数策略优于所测正态变体，服务约束验证规则在其中选择。该流水线被定位为决策层研究的参考对照臂，未来工作包括对TFT+TimesNet的GPU头对头复现、跨数据集复制、端到端预测-然后-优化训练、多级供应链扩展等。