易腐生鲜农产品动态定价：基于注意力增强近端策略优化(ATT-PPO / Attention-Augmented Proximal Policy Optimization)算法的方法

《Symmetry》：Dynamic Pricing for Perishable Fresh Produce with Attention-Augmented PPO Algorithm

　　

易逝品通常需针对波动的市场环境进行实时定价，从而优化库存控制、减少资源浪费并最大化企业盈利能力。本文基于2023年"高教社杯"全国大学生数学建模竞赛公开数据集，针对易逝生鲜农产品的多品类联合定价难题，提出一种将注意力机制嵌入近端策略优化(Proximal Policy Optimization, PPO)框架的注意力增强近端策略优化算法(Attention-Augmented PPO, 简称ATT-PPO)。所集成的注意力机制使模型具备三项核心优势：第一，动态捕捉品类间相互依赖关系，准确反映交叉价格弹性(cross-price elasticity)与需求关联；第二，降低多品类协同定价策略中的特征冗余与计算开销；第三，提升模型的可解释性与计算效率。实验结果表明，在多品类定价场景下，ATT-PPO算法相比PPO、深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)、柔性行动者－评论者(Soft Actor-Critic, SAC)及双延迟深度确定性策略梯度(Twin Delayed DDPG, TD3)具有竞争力表现，其核心优势在于可提供可解释的注意力权重，揭示定价决策中动态的跨品类依赖关系。本研究不仅拓展了深度强化学习(Deep Reinforcement Learning, DRL)在生鲜领域实际经济问题中的适用性，还为短生命周期产品（如时装、消费电子）领域的应用提供了可推广的理论见解。

论文解读：易逝生鲜农产品动态定价的注意力增强近端策略优化(ATT-PPO)算法研究

一、研究背景与意义

易逝品（perishable products，亦称季节性或短生命周期产品）如鲜菜、鲜奶、机票等具有保质期短、随时间加速贬值的特点，若未能在限定销售窗口内售出将面临残值归零或大幅折损。传统固定定价无法动态响应市场需求波动，而动态定价（dynamic pricing）可依市场需量、实时库存、剩余销售时间等因素实时调价，特别适合具高价格弹性与有限补货能力的生鲜品类。现有基于深度强化学习（Deep Reinforcement Learning, DRL）的动态定价研究多聚焦单品场景，对多品类联合定价关注不足；传统DRL在高维状态空间下难以有效表征特征交互及品类间动态需求依赖（交叉价格弹性），且缺乏对新鲜度衰减与季节波动的充分建模，模型可解释性较差。为此，研究人员以生鲜蔬菜多品类联合动态定价为对象，在马尔可夫决策过程（Markov Decision Process, MDP）框架下引入新鲜度衰减函数与季节因子，并将多头自注意力机制（Multi-Head Self-Attention Mechanism）嵌入近端策略优化（Proximal Policy Optimization, PPO）算法的Actor与Critic网络中，提出ATT-PPO（Attention-Augmented PPO）算法，旨在捕获品类间隐含依赖关系、降低特征冗余并提升策略可解释性。研究基于2023年高教社杯国赛C题蔬菜数据集开展数值实验，验证算法性能与可扩展性。论文发表于《Symmetry》。

二、主要关键技术方法

研究人员选取2020年7月1日至2023年6月30日高教社杯国赛蔬菜数据集，筛选西兰花、大白菜和净莲藕三代表性单品构建多品类联合定价仿真环境；将新鲜度定义为含时间敏感因子θ的三阶段指数衰减函数F(t)=e^-θt，需求设为含基期需求、新鲜度正系数、自价格负系数及交叉价格弹性系数ε_jk（替代为正、互补为负）的函数；构建MDP四元组——状态向量含各品类历史价格/批发价/销量滑动窗口、当前库存、剩余货架期、归一化时段、周末标志、天气与促销标志，动作空间为各品类价格比例调整系数（±10%，最低毛利率10%上限100%溢价）经clip约束，奖励函数为各品类销售净利减过期损耗惩罚加重交叉销售战略激励；采用PPO-clip变体，Actor与Critic网络首层全连接隐层（d=256）后嵌入多头注意力（头数H=8，头维度32，含残差连接与层归一化），后经前馈层输出策略分布均值/对数标准差及状态值；价值网络用Huber损失拟合并GAE（Generalized Advantage Estimation）计算优势函数，策略目标含裁剪替代目标与熵正则项，超参数为学习率α=10^-4、折扣因子γ=0.99、裁剪比ε=0.2、熵系数0.1、目标KL散度0.01；以10次独立随机种子训练并与PPO、DDPG、SAC、TD3对比，开展消融实验与N={3,5,10}品类可扩展性测试，通过注意力权重矩阵与预设交叉弹性矩阵比对验证可解释性。

三、研究结果

3.1 问题建模与MDP构建（Model Development – Problem Description & MDP）

研究人员建立了含初始库存无补货、有限调价次数、新鲜度三阶段衰减及线性（实际仿真用乘法非线性）交叉弹性需求函数的多品类易逝品动态定价模型，定义状态空间、连续动作空间（价格比例调整并经clip硬约束）、奖励函数（净利?过期惩罚+捆绑销售激励）及状态转移概率（含确定性时间/货架期递减与随机需求驱动库存变化）。形式化MDP为后续model-free DRL训练提供完备数学基础。

3.2 算法设计与网络架构（Algorithm Design – PPO with Multi-Head Attention）

标准PPO采用裁剪替代目标L^CLIP(θ)=E_t[min(r_t(θ)A_t, clip(r_t(θ),1?ε,1+ε)A_t)]防止策略更新过大。研究人员在Actor与Critic共享全连接隐层输出的256维特征后插入多头注意力层Attention(Q,K,V)=softmax(QK^T/√d_k)V，分H头并行计算后拼接并经输出投影W^O，辅以残差与层归一化，再入后续FFN输出π(a|s)与V(s)。该设计使网络动态加权不同品类及特征间相关性，突出对定价决策关键的品类交叉信息。

3.3 超参数选择与消融实验（Hyperparameter Choosing & Ablation Study）

经对照实验选定注意力头数H=8（稳定收敛优于16头）、学习率α=10^-4（较α=10^-3波动小、最终回报高）、γ=0.99、ε=0.2、熵系数0.1。消融表明：近末500回合ATT-PPO平均累积回报406.61±11.78高于无注意力PPO的400.96±12.22（Cohen's d=0.491，10次中8次占优），变异系数CV由3.05%降至2.90%，证明注意力机制提升学习效率与训练稳定性。

3.4 与基准DRL算法对比（Performance Analysis vs. Baselines）

ATT-PPO、PPO、DDPG、SAC、TD3在全训练周期平均回报相近（约428–431，Wilcoxon检验p>0.13），但ATT-PPO变异系数最低（CV=1.01%，标准差4.35），显著优于DDPG(5.07)、PPO(5.41)、SAC(4.62)、TD3(4.64)，表明在多品类生鲜定价中ATT-PPO具最优训练鲁棒性与重现性。

3.5 注意力权重可解释性分析（Interpretability Analysis of Learned Attention）

在仿真环境中预设交叉弹性矩阵，训练后聚合特征级注意力得品类间依赖矩阵。研究人员发现学习所得注意力权重矩阵与数据特征共现矩阵及预设交叉弹性矩阵模式高度吻合——正确识别强替代品（高注意力权重）与互补品（较低权重），证明多头注意力可从状态—奖励交互中恢复已知商品关联，赋予模型经济学可解释性（注意：此为受控条件下必要性验证，非充分证明挖掘未知关联）。

3.6 算法稳定性验证（Algorithm Stability Analysis）

10次独立随机种子实验显示：ATT-PPO平均回报曲线于约300回合后趋稳并附窄95%置信区间；Actor与Critic损失早期快速下降后平稳无发散；单次千回合训练耗时均值为55.0±1.5秒，证实框架具良好收敛性、稳定性与计算效率。

3.7 多品类可扩展性测试（Scalability Analysis, N∈{3,5,10}）

产品数由3增至10时，训练时间由≈2807秒增至≈5633秒（增幅2.01倍，低于两两交互数平方增长），呈亚二次扩展；注意力熵由0.81增至2.29接近理论log(N)；N=3时Top-K准确率1.0，N=10时0.433仍高于随机基线0.222；Pearson r与Spearman ρ随N增大略降但仍具正向趋势。表明ATT-PPO可适应更大品类规模而不崩溃，注意力权重持续保有超越随机的经济结构对齐能力。

四、讨论与结论（翻译自Conclusion部分）

本文提出一种将注意力模块集成至近端策略优化（PPO）框架的ATT-PPO算法，用于多品类协同定价。十组随机种子实验结果表明，尽管各模型间整体性能差距无统计显著性，但集成注意力机制具独特优势：可动态揭示不同品类间需求相关性，识别每时刻主导定价决策的品类，从而提高模型可解释性。消融实验进一步验证引入注意力机制带来稳定正向性能提升，说明在当前样本量下注意力机制仍可有效增强算法学习效率。本文所嵌入的注意力机制通过捕获品类间相互依赖，为多复杂品类组合动态定价提供了新范式。此外，N∈{3,5,10}的可扩展性实验实证表明ATT-PPO框架在更大规模下可有效运行：训练时间相对两两注意力交互平方增长呈亚二次扩展，注意力熵自然跟踪理论log(N)界，即便N=10时间释性指标仍高于随机基线。本研究存在以下局限：（1）模型未纳入竞争者价格变化及宏观经济指标等外生变量；（2）假设单一决策者，忽略市场中竞争者的动态响应；（3）聚焦生鲜品类，推广性待验证，未来可拓展至时装与电子产品，并系统比较不同非线性需求函数（指数、等弹性或Logit型）的敏感性。