《TRANSPORTATION RESEARCH PART E-LOGISTICS AND TRANSPORTATION REVIEW》:Platelet inventory management in hospital networks: A reinforcement learning approach
编辑推荐:
本研究针对医院血小板库存管理中因需求不确定性和产品易逝性导致的短缺与浪费问题,开展了一项基于近端策略优化(PPO)算法的强化学习(RL)研究。研究构建了一个包含大型医院与地方医院的双中心网络模型,整合了常规与紧急订购、血型替代(如O阴性替代O阳性)以及主动转运等策略。结果表明,PPO-Complete算法能动态优化库存决策,显著降低总成本,减少过期损失和紧急订单,优于传统的基准库存(base-stock)策略。该研究为易逝医疗用品的协同库存管理提供了数据驱动的智能决策支持。
在医院的血库管理中,血小板作为一种至关重要的血液成分,却因其短短5天的有效期而成为管理上的巨大挑战。库存过多会导致大量宝贵的血液资源因过期而浪费,增加医疗成本;库存不足则可能直接危及患者生命,导致手术延迟或取消。尤其对于O型血(包括O阳性和O阴性)血小板的需求,由于血型的普遍性和特殊性,其库存平衡更是难上加难。传统的库存管理方法,如基准库存(base-stock)策略,往往显得僵化,难以应对每日波动的患者需求和血小板不断“衰老”的特性。大型医院和地方医院由于规模和服务人群不同,其血小板需求模式也差异显著,这使得在它们之间建立协同的库存管理系统,实现资源互补和风险共担,变得既迫切又复杂。
为了破解这一难题,研究人员开展了一项创新性研究,他们将目光投向了人工智能领域的前沿——强化学习(RL)。该研究旨在开发一套智能库存管理系统,能够同时为大型医院和地方医院组成的网络制定最优决策。这套系统不仅要决定每天订多少血(常规订单和紧急订单),还要智能地决定是否以及如何进行医院间的血小板调拨(转运),以及在某种血型短缺时,是否允许用兼容的血型进行替代(例如,在O阳性血小板短缺时,使用O阴性血小板来满足需求)。这项研究论文已发表在交通运输与管理领域的国际知名期刊《TRANSPORTATION RESEARCH PART E-LOGISTICS AND TRANSPORTATION REVIEW》上。
为了开展这项研究,作者团队主要运用了几个关键技术方法。首先是建模与仿真,他们构建了一个包含两家医院(一家大型医院,一家地方医院)、两种血型(O阳性、O阴性)的血小板库存系统模型,并采用零膨胀负二项分布(ZINB, Zero-Inflated Negative Binomial)来模拟更符合现实世界中常出现零需求的血小板日常需求。其次是强化学习算法,核心是采用了近端策略优化(PPO, Proximal Policy Optimization)这一先进的RL算法来训练智能体(agent),该算法能有效学习在复杂的库存状态下(包括不同血型、不同剩余保质期的库存量、短缺情况等)应采取的最佳行动(订购量、替代量、转运量)。研究还设定了PPO-Partial(智能体仅学习常规订购决策,替代和紧急订购由启发式规则处理)和PPO-Complete(智能体学习所有决策)两种模式进行对比。此外,作为基准对比,研究还实现了多种不同服务水平(如库存水平满足未来需求峰值的40%到99%)下的传统基准库存策略。所有实验均在模拟环境中进行,并采用了公共随机数(CRN, Common Random Numbers)技术来确保不同策略在相同需求序列下进行公平比较。
研究结果
PPO算法显著降低总成本:模拟结果表明,不论是PPO-Partial还是PPO-Complete算法,其管理的系统总成本均显著低于任何水平的传统基准库存策略。特别是在处理两家医院网络的复杂场景时,PPO-Complete展现出最优性能,其总成本最低,证明了其处理多决策变量的强大能力。
PPO-Complete在库存动态平衡上表现卓越:通过分析成本构成发现,PPO-Complete算法能更智能地平衡各项成本。它通过更精准的常规订购和积极的替代策略,大幅减少了代价高昂的紧急订单(其成本是常规订单的5倍多),同时通过有效的库存控制和转运策略,将血小板的过期浪费降至极低水平,避免了基准库存策略中因维持高库存水平而导致的巨额过期成本。
算法对环境参数变化具有鲁棒性:敏感性分析显示,当关键成本参数如替代成本、紧急订单成本、转运成本发生变化时,PPO-Complete算法能自适应地调整其策略。例如,当替代成本降低时,算法会更倾向于使用替代来应对短缺;当紧急成本升高时,算法会通过增加常规库存来规避风险。这种动态调整能力确保了系统在不同运营环境下的成本效益,凸显了RL方法的适应性和稳健性。
PPO-Complete在决策维度上优于PPO-Partial:对比PPO-Partial和PPO-Complete发现,由智能体完全学习所有决策(包括替代和紧急订单)的PPO-Complete模型能达成更低的总体成本。这表明将全部决策权交给RL智能体,让其探索更广阔的策略空间,能产生比人为设定部分启发式规则更优的整体策略。
研究结论与意义
本研究成功地将先进的近端策略优化(PPO)强化学习算法应用于解决医院网络血小板库存管理这一复杂且实际的难题。研究结论明确指出,基于PPO的智能库存管理策略,特别是能够全面学习订购、替代和紧急补货等所有决策的PPO-Complete方法,在降低总成本、减少血液浪费(过期)和避免供应短缺方面,均显著优于目前实践中广泛使用的传统基准库存策略。
这项研究的重要意义在于,它首次将转运和替代这两种重要的实际操作策略,与强化学习的动态决策能力深度结合,在一个统一的框架下进行优化。这不仅为医院血库管理提供了切实可行的、数据驱动的智能决策工具,有望提升医疗资源利用效率并保障患者用血安全,更重要的是,它为管理其他具有易逝性、需求不确定性且存在替代可能性的产品(如某些药品、新鲜农产品等)的复杂供应链,提供了新的方法论和思路。该研究展示了人工智能,特别是强化学习,在解决现实世界运营管理问题上的巨大潜力和实用价值。