无人机编队补货实现当日达，提供公平客户服务

《TRANSPORTATION RESEARCH PART E-LOGISTICS AND TRANSPORTATION REVIEW》：Drone fleet resupply in same-day delivery with fair customer service

　　

1. 引言

当日达服务（SDD）已经重塑了客户期望，这对物流系统的速度和公平服务提出了前所未有的需求。它是一种服务承诺，为客户提供在同一天内（有时仅需数小时）收到网购商品的便利。虽然时效性是核心卖点，但公平性同样至关重要，以确保各地区、客户群体和产品类别都能获得一致的访问权限。这种服务承诺将实体店的覆盖范围从店内客户延伸出去，由于其快速速度，为消费者提供了显著便利。在苏格兰，不同邮递码区域的居民可能会被某些快递公司和零售商收取明显更高的费用，这种做法受到了苏格兰民族党的批评（Richard, 2021）。类似地，京东将同一城市的某些区域排除在当日达服务之外（JD.com, 2024）。主要原因包括：（1）各地区与配送中心之间距离不同，（2）交通状况复杂，（3）山脉或湖泊等地理限制。这些因素通常导致拒绝配送或费用增加，因为它们使配送过程复杂化并推高了运营成本。显然，这种不公平现象显著降低了客户满意度。企业已认识到，通过公平对待客户来提升客户赋能的潜力，这使客户获得更多自由，从而充分发挥其作用（Han等, 2019）。本研究旨在在确保不同地区公平性的同时，优化整个配送窗口内的服务率。通过解决服务差异，本研究寻求提升运营效率和客户满意度，为公平的当日达服务提供了创新方案。

目前大多数SDD服务严重依赖卡车配送，其本质上受行驶速度、道路拥堵和地理条件的限制。此外，频繁的补货需求进一步缩减了有效服务范围，导致大多数符合条件的客户无法享受当日达服务，即使他们属于SDD的适格客户。客户公平性，即不同地区之间最高与最低服务率之间的差距（Chen等, 2023），往往因地理位置不同而存在显著差异。居住在配送中心较远处或山区、岛屿等地区的客户，其获得及时服务的概率大幅降低。因此，由于此类快速配送服务成本较高，商家倾向于优先向仓库附近的客户配送。这往往使偏远地区的客户被边缘化，服务率降低，从而可能降低平台参与度，最终导致客户流失。此外，随着配送中心与顾客之间距离的增加，补货时间也随之上升。复杂的交通状况也显著降低了准时配送的可能性。相应地，卡车为满足截止日期需要在满载前提前出发，这进一步增加了配送成本并降低了整体客户体验。因此，迫切需要探索更高效的当日达模式，以解决不同地区之间的公平性问题。

无人机补给式当日达为传统卡车配送系统提供了一条快速、不受交通影响的替代方案，特别是在应对复杂的城市或偏远地形时尤为有效。然而，运营和技术约束限制了无人机作为SDD独立解决方案完全取代卡车的能力。首先，续航能力有限，限制了无人机的飞行距离和时间。其次，载荷能力有限，限制了每次运输的货物量。第三，操作范围受限，使其难以服务于偏远或分散区域客户（Chauhan等, 2019）。此外，在缺乏适当投放点的区域（如高层建筑密集的区域），无人机配送往往不切实际。幸运的是，在SDD中，卡车配送可以补充无人机补给，通过无需返回仓库补货即可满足更多订单，从而在紧张的时间约束下提升公平性和效率。Dayarian等（2020）已证明卡车配送加无人机补给可以提高服务率，但他们仅研究了单车单机的情况，且未考虑无人机的续航问题。Pina-Pardo等（2024b）将其扩展为单机卡车与无人机机队的补给模式。然而，关于多卡车通过无人机机队补给的实时协同研究仍处于起步阶段。使用多架无人机为车队中任意一辆卡车补货引入了相当大的复杂性，但通过智能补给策略展现了降低配送成本和提高配送绩效的巨大潜力。本研究通过探索面向多卡车配送的无人机机队补给框架，并提出了软等待补给策略，证明了其在随机需求下的当日达配送中的有效性，从而为相关文献做出贡献。

现有研究主要集中于提高无人机补给和SDD问题的服务率，对客户公平性关注有限。作为一种新的服务模式，已有研究探讨了单卡车当日达配送（Klapp等, 2018）、卡车-无人机混合配送（Chen等, 2022；Li等, 2025b）以及无人机补给。Chen等（2023）对SDD问题中的公平性进行了开创性研究。他们考察了同质化卡车的当日达服务，并应用深度强化学习在提升服务率的同时维持公平性。然而，卡车需要频繁返回配送中心补货，导致服务率并非最优。为了以更高效率扩大服务范围，我们提出了一种新的当日达模式，涉及多架无人机和多辆卡车，并特别关注服务公平性。

本研究最初开发了一个公平客户服务框架，将公平性考虑融入当日达中无人机机队补给的即时响应机制中（DRSDD-F）。具体而言，我们创新性地引入无人机机队补给来解决客户服务不平等的问题，并将该方法扩展至涉及多辆卡车和多架无人机的场景。我们的目标是在确保各地区公平性的同时提升服务率。在我们的模型中，客户按其与配送中心的距离进行分类。订单可以在一天中的任何时间在线提交。收到订单后，决策者（DM）应立即决定是否接受该订单。如果接受，则订单必须在保证的服务时间内完成配送。除最大化接受的订单数量外，决策者还应确保接受策略不会造成各地区服务率的差异，因为这会降低客户满意度并导致客户流失。

我们将该问题建模为序贯决策过程（SDP），以高效捕捉对客户请求的即时响应。客户订单的动态特性在无人机路线调度、起飞时间和卡车路线上的降落点安排方面引入了显著复杂性，需要高度同步的决策。我们将动作空间分解为三个关键组成部分：订单分配、配送路由和补给路由。我们在Chen等（2023）框架的基础上，将无人机补给与卡车配送相结合，以提升SDD问题中的公平性，而非由卡车直接配送。这种创新方法利用深度Q学习技术增强决策智能并优化配送绩效。此外，我们设计了一种高效的奖励函数，使得在有限迭代次数内即可实现有效训练。神经Q网络学习状态-动作对，指导合理的订单分配，以联合优化服务率和公平性。此外，采用启发式算法规划卡车路线，同时考虑无人机续航和载重能力以实现更真实的补给过程。我们引入一组固定的补给点，卡车仅在补给超出无人机操作范围时才会访问这些点。这些固定点确保所有补给操作在物理上是可行的。无人机返回仓库后立即派遣可能导致其运力利用不足，因此我们提出了一种软等待补给策略，以联合优化补给点和无人机起飞时间。该策略自适应地推迟无人机出发，将多个订单整合到同一次运输中，从而提升整体效率。本研究试图回答以下问题：（1）多卡车配送加无人机机队补给能否改善SDD中的公平性，改善程度如何？（2）如何对随机请求进行建模和分配给无人机-卡车单元以实现即时响应，同时考虑实时决策对未来不确定性的影响？（3）影响多无人机补给鲁棒性的关键因素有哪些？

我们的贡献如下：

（1）本研究首次探讨了面向多卡车当日达的无人机机队补给框架，并将公平性融入客户服务承诺中。提出的DRSDD-F问题整合了客户的随机请求和无人机机队补给，以确保即时响应。

（2）采用深度Q学习（DQL）方法进行订单接受决策，设计了新的奖励函数，整合了奖励和惩罚，以便在更少的训练迭代中实现学习目标。

（3）提出了一种创新的软等待补给策略，以高效优化补给点和无人机起飞时间。

（4）设计了多样化的实验场景，包括不同的客户分布、配送距离和地区差异，以全面评估我们方法在多个实例中的鲁棒性。

（5）关于设计奖励函数和无人机补给策略以解决SDD问题中公平性问题的主要发现包括：（a）无人机机队补给能有效提升各地区的客户公平性和服务率；（b）具有惩罚机制的适当奖励函数显著促进了公平性；（c）存在最优的无人机-卡车车队配置，以平衡服务率和相关成本，而仅增加卡车数量虽然可显著提升服务率，但会产生更大的成本；（d）所提方法在不同无人机载重下均保持有效，而延长无人机续航对服务率的提升有限，但可显著降低配送成本。

本文其余部分结构如下：第2节全面回顾了与无人机补给、当日达配送及强化学习公平性最相关的文献。第3节使用序贯决策过程对公平感知当日达问题进行建模。第4节提出并分析了DQL求解方法，第5节展示了仿真与优化结果。最后，第6节进行总结并展望未来研究方向。

2. 文献综述

本节对与DRSDD-F相关的文献进行了全面回顾。首先考察了涉及无人机补给集成运营的研究，随后将其延伸至SDD领域。之后，我们介绍了所提出的强化学习方法以解决公平性问题。

2.1 无人机补给

SDD系统越来越多地探索使用无人机对在途卡车进行补给，这为减少配送延迟和避免道路拥堵提供了一种有前景的解决方案。无人机被用于从仓库为卡车补货，随后卡车完成最终配送。这显著减少了卡车返回仓库的行程次数，从而在随机需求场景下提升了配送效率。无人机补给相关文献仍然有限。

无人机补给问题可根据订单是否预先可知大致分为两类。第一类涉及确定性订单，通常称为具有发布时间的无人机补给或延迟到达订单问题。在此类设置中，每个订单的出现时间和地点事先已知。然而，由于时间约束（例如发布时间），这些订单无法在路线初始阶段装载到车辆上。Pina-Pardo等（2021）提出了一种面向具有发布时间配送问题的无人机补给模型，重点是最小化总配送时间。他们将问题建模为混合整数线性规划（MILP）模型，假设一个静态场景，即所有需求在一天开始时已知。Dienstknecht等（2022）研究了受卡车容量约束的无人机补给问题，其中无人机在部分配送后为卡车补货。他们通过对比分析多种算法的结果，展示了无人机补给模型的效率。Liu等（2024）探讨了涉及多辆卡车和多架无人机的更复杂场景，其中卡车按照预定路线行驶，无人机调度通过基于网络流的方法离线优化，假设所有订单在无人机部署前已知。Pina-Pardo等（2024a）也研究了具有确定性需求的多卡车、无人机机队补给问题，但每次配送均受预定义的发布时间约束。他们将问题建模为MILP模型，并开发了禁忌搜索算法来求解。与以往研究不同，我们的研究处理订单不确定性，即所有订单均事先未知。此外，我们提出了一种混合方法，将使用深度强化学习（DRL）的离线训练与在线优化技术相结合，以有效适应动态条件。

第二类处理随机或动态到达的订单，其中每个订单的时间和地点仅在客户下单时才被发现。

例如，Dayarian等人（2020）首次提出了一种利用无人机补给配送车辆的创新方法，这从运营方的角度有助于提高客户服务率。他们通过无人机从配送中心进行多次往返为一辆卡车补给的方式建模该问题。研究者设计了一种启发式算法，以优化卡车与无人机的交会点和无人机的起飞时间。类似地，Pina-Pardo等人（2024b）将模型扩展为一卡车多无人机组补给框架，提出了一种自适应补给策略，用于调度无人机运行，并量化相对于完美信息基准的性能差距。他们的研究假设无人机一返回配送站即被立即派出。与他们的研究不同，本研究是首批考虑多卡车在随机需求下由无人机组进行补给的研究之一。我们的模型明确纳入了无人机的续航约束，这在客户位置远离配送站时尤为重要。相应地，我们提出了一种高效的补给策略，以引导无人机策略性地等待，从而合并多个订单。此外，这也提出了一个关键挑战，即如何最优地分配特定无人机以完成单独的补给请求。

2.2 当日达配送

当日达配送已成为一项重要的服务承诺，正在重塑商家满足客户期望的方式。具体而言，商家应在数秒内响应客户请求，并在保证的时间范围内完成配送。需求的随机到达使当日达配送高度复杂、计算困难且时间敏感，因此卡车补给和配送路线必须动态调整。这一挑战本质上是一个具有更严格交付时间窗的动态车辆路径问题（VRP）（Zhang和Van Woensel, 2023）。

以往的当日达研究（SDD）涵盖两大主要类别：战术层面规划与运营层面执行。战术层面研究关注低频决策，例如车队调度（Ackva和Ulmer, 2024；Banerjee等, 2022；Fernandes等, 2025；Stroh等, 2022）、服务区划分（Auad等, 2023；Banerjee等, 2023）、定价（Ulmer, 2020）以及服务网络设计（Wu等, 2023）。尽管这些战术决策旨在长期规划，但大多数研究仍优先关注运营层面的优化。运营优化研究处理动态与随机订单请求、交付截止期限，以及在部分或全部订单满足约束下，如最大化已服务订单数或最小化行驶距离/配送时间等目标。例如，Klapp等人（2018）研究了一维当日达问题，并将动态问题转化为一个确定性模型，通过确定车辆派出间隔和路线，最小化运营成本以及未服务订单的罚款。此外，Klapp等人（2020）将当日达问题建模为半马尔可夫决策过程，其中在车辆可用时做出决策。Ulmer和Thomas（2018）首次将无人机与卡车结合用于当日达配送。他们将该问题建模为马尔可夫决策过程（MDP），并采用策略函数近似（PFA）方法，根据订单距离配送中心的远近分配配送任务。所有这些研究都将卡车和无人机视为独立的配送车辆，然而，本研究将多卡车配送与无人机组补给相结合。

尽管对当日达运营研究的兴趣不断增长，但关键挑战依然存在，尤其是在应对资源变异性与客户服务覆盖方面。Ulmer和Streng（2019）研究了配备取货站点和自动驾驶车辆的当日达问题，利用近似动态规划支持实时配送决策。Voccia等人（2019）研究了当日物流中的多车动态取送货问题。他们使用多情景抽样来模拟不确定的订单到达，并优化服务量。当客户距离仓库较远时，配送成本可能显著上升。Klein和Steinhardt（2023）采用多情景方法，对不同配送时间窗实行差别定价，以灵活分配资源并覆盖固定配送成本，从而扩大当日达覆盖范围。此外，Dayarian和Savelsbergh（2020）探讨了当日达中自有车队与客户众包之间的协作，提出了一种简单高效的求解方法，可在短时间内获得高质量解。然而，众包配送资源本质上具有不确定性，因为参与者并非专职从事配送。这需要大规模、地理分散的客户群体以确保足够的覆盖，但同时也带来了维持效率与一致性的挑战。本研究尝试通过开发一种新型的无人机组—多卡车方法来解决此类问题，以优化资源分配并提高众包配送系统的可靠性。

深度学习的最新进展进一步拓展了当日达优化的潜力。Chen等人（2022）将卡车—无人机协同当日达问题建模为随机动态规划（SDP）模型，并使用深度Q学习（DQL）进行离线训练。他们的方法展示了更高的服务率，验证了深度强化学习的有效性。受其启发，本研究是首批将基于DRL的方法与无人机组补给相结合以提高服务率的尝试之一。此外，我们的方法通过引入无人机对卡车的补给这一更复杂的特性（由于无人机与卡车之间动态交互而显著增加了问题复杂度）来处理更为复杂的问题。此外，我们的方法不仅最大化服务率，还确保不同客户区域间服务分配的公平性。

2.3 强化学习中的公平性

以成本驱动的优化总能保证公平的结果吗？优化算法通常具有明确定义的目标，但它们往往以最小化成本为目的而产生某种不公平的结果。Gajane等人（2022）对强化学习中的不确定性及其影响进行了全面综述。相应地，强化学习中的公平性研究可划分为两大主要领域：社会公平性与非社会公平性，具体取决于应用领域。

社会公平性主要针对基于种族、性别或年龄等人口学因素的偏见或歧视。强化学习（RL）技术已被应用于多个现实领域以促进解决方案的公平性，包括教育（Baker和Hawn, 2022）、医疗（Atwood等, 2019；Huang等, 2024；Ricci Lara等, 2022）、推荐系统（Burke等, 2018；Singh和Joachims, 2018）、食品银行（Alkaabneh等, 2021）等。

相比之下，非社会公平性聚焦于在实时/顺序决策和资源分配中遵循预设的公平规则。该方法常用于设计公平的资源分配方案。Wang等人（2022）针对城市最后一公里配送中的工作量分配不公问题展开研究，该研究在众包员之间平衡激励与努力。他们提出了一个在随机需求和动态调度下的多周期工作量平衡问题，并提出了一种平衡惩罚策略，以在考虑运营成本和众包员福祉的同时优化工作量公平性。Chen等人（2023）首次通过基于DQL的订单分配方法，减少不同区域当日达服务率之间的差异，从而优化客户公平性。然而，他们的方法整体服务率仍有提升空间。我们提出了一种新型无人机补给模型，旨在维持公平性的同时提高服务率。Neria和Tzur（2024）研究了诸如疫苗或食品分配等问题，其中需求量和时机均为随机的。决策者应动态分配运输资源，将货物从取货点送至需求点，同时确保需求点之间资源分配的公平性。类似地，本研究也考察群体公平性，解决了一个非社会公平性问题，纠正传统算法中成本最优策略所导致的资源失衡。

有三种被广泛认可的方法类别用于解决不公平问题，即预处理、处理中和后处理。预处理聚焦于消除数据中的偏见，以防止不公平输入进入模型（Madras等, 2018；Wang等, 2019）。处理中涉及在模型训练过程中对资源分配或决策进行实时调整，以提升公平性（Berk等, 2017；Chen等, 2023；Neria和Tzur, 2024）。后处理则通过调整动作直接修改模型输出，以实现更公平的结果（Hardt等, 2016；Li等, 2025a；Lohia等, 2019）。强化学习通过与环境交互并利用大量训练，可有效适应周期性事件，从而实现主动调整。处理中方法通常更有效，因为它在系统运行过程中主动识别并缓解偏见（Chen等, 2023）。后处理是其中最简单的方法之一，基于结果强制消除偏见。本研究采用处理中方法，尽管其计算复杂度更高，但具有更优的优化潜力。

2.4 简要总结

通过无人机补给进行卡车配送已被证明是促进偏远地区当日达的有效配送模式。然而，现有研究仅关注单车配送与单架或多架无人机。本研究通过考虑当日达中多卡车配送与无人机组补给填补了这一研究空白。此外，尽管现有当日达文献大多优先关注提高服务率，但针对这一单一目标的优化算法往往导致不同服务区之间出现公平性问题，进而引发客户不满。为弥补这一缺口，我们引入了一个明确考虑客户服务公平性的当日达无人机组补给模型。强化学习中的公平性研究，特别是处理中方法，对速度与解质量提出了新的要求。为此，我们提出了一种新颖的奖励函数，能够在更少的训练迭代中取得更优结果，同时更有效地适应不同场景下的客户分布。

3. 问题定义与模型

3.1 问题描述

在DRSDD-F中，??={??1,??2,?}表示所有客户的集合，客户????在时刻??(????)下达订单。每个客户????∈??都关联一个区域??(????)∈??，其中??表示区域集合。企业运营??架无人机??={??1,??2,…,????}，可为??辆卡车??={??1,??2,…,????}中的任意一辆灵活补给。所有卡车和无人机当天均从配送站{0}出发。卡车被分配以在服务区域内完成随机订单，并需在当天结束前返回配送站，但无需为中间补给返回。无人机受容量与续航限制，每次补给最多可运载??个订单，每次飞行不超过??米。我们假设每次无人机飞行仅服务一个区域，排除了多停靠点补给，以避免将无人机补给建模为车辆路径问题。收到当日达请求后，企业的决策者（DM）决定接受或拒绝该请求。若决定拒绝，则客户请求被拒绝并退出系统。被接受的订单应在承诺时间窗δ内送达，截止时间为??(????)+??。值得注意的是，由于请求的位置和时间均事先未知，决策过程涉及显著的不确定性。

本研究共同优化两个目标：（1）通过最小化各区域之间最低与最高服务率之差，改善区域间公平性；（2）最大化整体服务率，确保在实现公平性的同时不损害系统性能。服务率定义为已完成订单数占当天生成订单总数的比例。这一双目标形式与以往主要关注最大化当日达性能的单目标研究相一致。

3.2 卡车—无人机协同中的路径

在调度过程中，路径分为计划路径与进行中路径。计划路径指的是无人机离开配送站后的路径，该路径在新订单被接受后被修改。设????,????=((??1,??(??1),??(??1)),(????,??(????),??(????)),(??2,??(??2),??(??2)),…,(???1,??(???1)),????????????)表示无人机????在决策点τ的计划路径，其中??(??1)和??(??1)分别表示无人机在配送站??1的到达和离开时间。我们使用索引1表示第一个条目，2表示第二个条目，以此类推。??(??2)与??(??2)之间的间隔表示更换电池、装载及等待所需的时间，而??(????)与??(????)之间的间隔则指货物从无人机向卡车的转移时间。索引-1表示无人机最终返回配送站，此时等待时间为????????????。返回后，无人机装载自上一次派出以来新到达并接受的订单，之后其计划路径相应更新。第4节将详细说明无人机等待时间和其计划路径的调度。对于卡车，进行中路径指两次连续补给点之间所访问的客户位置序列。????,????=((??1,??(??1),??(??1)),(????,??(????),??(????)),…,(???,??(?????),??(?????)),(???1,??(???1)),????????????)表示卡车????在决策点τ的计划路径，其中??(????)与??(????)之间的间隔表示对客户的服侍时间，或等待无人机的时间。

卡车不允许返回配送中心，因此它们会在计划路线结束时停留在最后服务的客户所在地。鉴于无人机的续航限制，我们定义了一组固定补给点?。每个固定点??∈?都位于无人机的续航范围之内，以确保补给可行。卡车默认不需要返回固定补给点进行补给。相反，卡车行程路线上的任何客户位置都可以作为候选补给点，前提是它位于无人机的操作范围内。O_{τ,ki}=((c_i, a(c_i), l(c_i)), …, (?, a(?_j)), (???1, a(???1)), t_max^{k_i})指的是卡车k_i的当前行程路线。卡车在到达最后一个客户或固定补给点后，将保持空闲（等待）时间t_max^{d_i}。无人机的当前行程路线优先于卡车的当前行程路线，而卡车的计划路线则包含了当前行程路线中的某些点位。图1展示了一个包含2架无人机和3辆卡车的系统中的配送过程示例。一般情况下，我们为m×n系统构建问题模型，其中m和n分别表示无人机和卡车的数量。初始时，每辆卡车携带一组配送订单。假设存在两个区域，上层区域的服务率为50.00%，下层区域的服务率为71.43%，两者之间的服务率差距为21.43%。在服务当天，一位新客户（编号12）提交了请求（图1(b)），决策管理器（DM）根据当前系统状态接受了该请求。卡车（编号2）正在运营中，而它最后服务的客户（编号9）超出了无人机的操作范围，因此卡车将前往固定补给点（编号-1）。相应地，无人机的计划路线将根据新安排的起飞时间进行更新（图1(c)）。在起飞前，DM会因位置、截止时间及公平性考量（图1(e)）而接受另一个新请求（图1(d)）。因此，卡车和无人机的计划路线均被生成，且卡车将在无人机完成补给前保持不动。图1(f)显示，其中一架无人机在起飞时间启动补给过程，在固定点-1为卡车2进行补给。补给实际由卡车1在客户6处执行，由卡车3在客户4处执行。经过两次决策步骤后，差距减少至4.76%，对应77.79%的降幅。下载：下载高清图片（960KB）下载：下载全尺寸图片 图1：3辆卡车与2架无人机在场地内补给SDD系统的示例。当起飞时间到达时，其中一架无人机开始补给过程（图1(f)）。卡车1和卡车3的补给将分别在客户6和客户3处进行。

### 3.3 序贯决策过程建模

本节将DRSDD-F问题建模为序贯决策过程（SDP）。所提出的建模方法扩展了Chen等人（2023）的框架，纳入了无人机辅助卡车补给和服务公平性考量。每当有新订单到达时即触发一次决策，因此每天的决策次数与新订单数量相同。在一天开始时，卡车被派遣去服务历史积压订单，包括前一天收到的未满足订单。无人机被分配为已接受订单的卡车进行补给，每辆卡车在当天结束前不允许返回配送中心。

我们现在定义SDP的组成部分，包括决策时点、状态、动作、状态转移、奖励和目标。

**决策时点：** 每当有新订单到达时，便发生一次决策时点τ。收到订单后，决策管理器（DM）应迅速决定接受或拒绝该订单。

**状态：** 状态捕捉了系统的完整状态，为决策管理器提供了决策所需的所有相关信息。具体组件设置如下：

- t_τ：决策时点τ的时间。
- c_τ：新订单。
- O_{τ,ki}：卡车k_i的当前行程路线。
- P_{τ,ki}：卡车k_i的计划路线。
- ?_{τ,dj}：无人机d_j的当前行程路线。
- P?_{τ,dj}：无人机d_j的计划路线。
- ξ_received_{τ,u}：区域u中已收到的订单数量，其中u∈U。
- ξ_accepted_{τ,u}：区域u中已接受的订单数量，其中u∈U。

无人机的返回时间可从当前行程路线和计划路线中推导得出。决策时点t_τ的状态表示为S_τ，S_τ=(t_τ, c_τ, {(O_{τ,ki}, P_{τ,ki})}_{i=1}^n, {(?_{τ,dj}, P?_{τ,dj})}_{j=1}^m, {(ξ_received_{τ,u}, ξ_accepted_{τ,u})}_{u∈U})，其中c_τ指客户的请求时间和配送地点。在一天开始时（t_τ=0），卡车被派遣去执行历史订单，包括前一天的积压订单或服务期之前预接受的订单。与此同时，无人机保持空闲状态，等待其计划起飞时间进行补给。被拒绝的订单不会改变系统状态，而已接受的订单则被分配至指定无人机的待配送队列中。一旦到达无人机的计划起飞时间，无人机将订单带到卡车处，使卡车能够完成配送。

**动作：** 动作直接与决策时点相关联，代表新订单到达时所做出的选择。这些决策应实时做出，因为客户需要立即获得其订单是否会被服务的反馈。这些决策使得动作空间天然地非常大。对于已接受的订单，还将做出额外决策，包括分配无人机进行补给、确定已接受订单的转运位置、选择适当的卡车进行配送以及安排配送顺序。此外，在考虑接受新订单时，任何对已接受订单的延迟都是不可接受的。因此，采用启发式方法来缩减动作空间 X_τ=(A_τ, P_{τ,ki}, P?_{τ,dj})。A_τ=(0, a_{ij})表示分配决策，其定义如下：

(1) A_τ={0 拒绝新订单; a_{i,j} 接受并分配卡车i进行配送，由无人机j进行补给}

当新订单被接受时，卡车和无人机的计划路线将更新。对P_{τ,ki}和P?_{τ,dj}的决策应满足以下约束条件：

**对于卡车：**
1. 补给约束：补给点应在无人机的续航范围之内。否则，卡车将前往最近的固定补给点?。
2. 订单纳入约束：卡车计划路线应包含之前已接受的订单和新订单c_τ。
3. 服务时间约束：卡车应在服务时间窗口H结束前返回配送中心，将新订单插入卡车计划路线不应延迟其返回配送中心的时间a_{k_i}(??_1)< />4. 时间一致性约束：两个连续客户到达时间之间的时间差等于行驶时间和服务时间的总和。
5. 分配唯一性约束：新订单只能分配给一辆卡车。

**对于无人机：**
1. 无人机续航约束：从配送中心到补给点的飞行距离应在无人机最大续航能力?的一半以内。
2. 到达时机约束：无人机不允许在分配给它服务的卡车之前到达补给点。
3. 容量约束：待补充分配必须遵守每架无人机的容量限制，不得为任何无人机分配的订单数量超过其承载能力。
4. 无人机可用性约束：无人机在返回配送中心后可用，可用时间等于无人机的返回时间、电池更换或充电时间以及装载时间之和。
5. 时间一致性约束：无人机从起飞到到达补给点之间的时间差等于行驶时间和卸载时间的总和。

**状态转移：** 状态转移分为两个阶段：1) 从预设状态s_τ到决策后状态s^x_τ，2) 从决策后状态s^x_τ到后续的预设状态s_{τ+1}（powell, 2011）。预设状态s_{τ+1}表示下一个决策时点的系统状态，在sdp框架中可视为下一状态。决策后状态捕捉了决策做出后系统的即时状态。在已接受订单的情况下，无人机和卡车的计划路线均更新以纳入新订单；否则，状态保持不变。一旦下一个订单c_{τ+1}到达，决策后状态转移到后续的预设状态s_{τ+1}。这一新状态反映了由于持续事件（如无人机起飞或卡车服务客户）导致的系统更新，具体如下：

1. 决策时间：决策时点时间将为t_{τ+1}=t(c_{τ+1})。
2. 无人机路线转移：在计划起飞时间，无人机的计划路线p?_{τ+1,dj}转移为其当前行程路线?_{τ+1,dj}，载货订单相应更新。当无人机完成补给并返回配送中心时，其当前行程路线将被清除。
3. 卡车路线转移：卡车的当前行程路线o_{τ+1,ki}通过移除已完成的配送进行更新。如果无人机成功为卡车进行了补给，卡车的计划路线p_{τ+1,ki}转移为当前行程路线o_{τ+1,ki}；否则保持不变。

**奖励：** 我们不仅旨在(1)最大化整体服务率，还(2)寻求最小化各区域之间最大和最小服务率之间的差距。因此，这构成了一个多目标优化问题。采用最大-最小法来处理多目标优化。然而，区域间服务差距只能在服务日结束时才能完全观察到。仅基于当日结束时的结果分配奖励值不利于有效训练。因此，在训练过程中将服务率差距纳入奖励函数至关重要。限制区域间服务差距可能会损害整体服务率。常用的奖励函数通过最大化最小服务率来解决这一问题。因此，这种方法可以平衡提高整体服务承诺效率和确保各服务区域公平性的双重目标。为了引导训练过程，我们将公平性约束整合到状态-动作对的价值中。奖励函数引导智能体在最小服务区域采取接受动作时获得更高的奖励。这一机制允许直接追踪各区域u中已收到的订单ξ_received_{u,τ}和已接受的订单ξ_accepted_{u,τ}。最小和最大服务率之间的差距β_τ可通过公式(2)计算。因此，状态s_τ中动作x_τ的奖励定义如公式(3)所示。动作的奖励r(s_τ, x_τ)为：

(2) β_τ = max{ξ_accepted_{u,τ}/ξ_received_{u,τ}} - min{ξ_accepted_{u,τ}/ξ_received_{u,τ}}

(3) r(s_τ, x_τ) = {1-β_τ, 如果a_τ=1且β_τ≤α; 0, 其他情况}

**目标：** 目标是找到一个最优策略π*，通过在区域间平衡服务率和公平性，最大化所有决策的累积奖励。

(4) π* = arg max_{π∈π} e[∑_{τ=0}^{t} r(s_τ, x^π_τ(s_τ)) | s_0]

x^π(s_τ)表示根据策略π在状态s_τ下选择的动作。

## 4. 解决方案方法

本研究解决了"维度灾难"这一动态车辆路径问题中常见的挑战。整个服务日中需要做出大量复杂决策，包括订单接受、公平性改进、无人机派遣时机、补给点选择和已接受订单的路线规划。庞大的状态空间要求追踪无人机和车辆的计划路线与当前行程路线，以实现有效决策。因此，引入了一种启发式方法来简化动作空间，并纳入代表性特征用于状态表征。如上所述，动作空间可分为三个部分，即x_τ=(a_τ, p_{τ,ki}, p?_{τ,dj})。我们采用深度q学习（dql）方法来确定a_τ，同时使用最便宜插入（ci）算法和无人机补给策略分别处理p_{τ,ki}和p?_{τ,dj}。利用经典的贝尔曼方程可获得理论解：

(5) v(s_τ) = max_{x_τ∈x(s_τ)} {r(s_τ, x_τ) + e[v(s_{τ+1})|s_τ, x_τ]}

### 4.1 深度q学习

强化学习（rl）是通过与动态环境交互并从收集奖励中进行自学习来寻找sdp高质量策略的有效方法。基于价值的强化学习适用于我们的问题，因为它可以通过估计策略π下状态s_τ中采取动作x_τ的价值来追踪服务率和公平性。然而，动作空间的高维度降低了q学习方法的可靠性。为应对这一困难，深度q学习使用非线性神经网络（nn）来近似基于价值的函数q_π(s_τ, x_τ)。缩减动作空间后，子集动作a_τ被分配用于dql训练。因此，q值函数可改写为：

(6) q(s_τ, x_τ) = r(s_τ, x_τ) + e[?(s_{τ+1})|s_τ, x_τ]

其中?(s_{τ+1})是在状态s_τ上采取动作x_τ时状态s_{τ+1}的近似价值。我们可以求解公式(7)的近似解，即：

(7) ?(s_τ) = max_{x_τ∈x?_τ} {q(s_τ, x_τ)}

动作空间和状态空间均为高维空间。神经网络的输入层将状态作为特征，用于区分具有不同价值的状态。 4. 时间一致性约束：两个连续客户到达时间之间的时间差等于行驶时间和服务时间的总和。 5. 分配唯一性约束：新订单只能分配给一辆卡车。 **对于无人机：** 1. 无人机续航约束：从配送中心到补给点的飞行距离应在无人机最大续航能力?的一半以内。 2. 到达时机约束：无人机不允许在分配给它服务的卡车之前到达补给点。 3. 容量约束：待补充分配必须遵守每架无人机的容量限制，不得为任何无人机分配的订单数量超过其承载能力。 4. 无人机可用性约束：无人机在返回配送中心后可用，可用时间等于无人机的返回时间、电池更换或充电时间以及装载时间之和。 5. 时间一致性约束：无人机从起飞到到达补给点之间的时间差等于行驶时间和卸载时间的总和。 **状态转移：** 状态转移分为两个阶段：1) 从预设状态s_τ到决策后状态s^x_τ，2) 从决策后状态s^x_τ到后续的预设状态s_{τ+1}（powell, 2011）。预设状态s_{τ+1}表示下一个决策时点的系统状态，在sdp框架中可视为下一状态。决策后状态捕捉了决策做出后系统的即时状态。在已接受订单的情况下，无人机和卡车的计划路线均更新以纳入新订单；否则，状态保持不变。一旦下一个订单c_{τ+1}到达，决策后状态转移到后续的预设状态s_{τ+1}。这一新状态反映了由于持续事件（如无人机起飞或卡车服务客户）导致的系统更新，具体如下： 1. 决策时间：决策时点时间将为t_{τ+1}=t(c_{τ+1})。 2. 无人机路线转移：在计划起飞时间，无人机的计划路线p?_{τ+1,dj}转移为其当前行程路线?_{τ+1,dj}，载货订单相应更新。当无人机完成补给并返回配送中心时，其当前行程路线将被清除。 3. 卡车路线转移：卡车的当前行程路线o_{τ+1,ki}通过移除已完成的配送进行更新。如果无人机成功为卡车进行了补给，卡车的计划路线p_{τ+1,ki}转移为当前行程路线o_{τ+1,ki}；否则保持不变。 **奖励：** 我们不仅旨在(1)最大化整体服务率，还(2)寻求最小化各区域之间最大和最小服务率之间的差距。因此，这构成了一个多目标优化问题。采用最大-最小法来处理多目标优化。然而，区域间服务差距只能在服务日结束时才能完全观察到。仅基于当日结束时的结果分配奖励值不利于有效训练。因此，在训练过程中将服务率差距纳入奖励函数至关重要。限制区域间服务差距可能会损害整体服务率。常用的奖励函数通过最大化最小服务率来解决这一问题。因此，这种方法可以平衡提高整体服务承诺效率和确保各服务区域公平性的双重目标。为了引导训练过程，我们将公平性约束整合到状态-动作对的价值中。奖励函数引导智能体在最小服务区域采取接受动作时获得更高的奖励。这一机制允许直接追踪各区域u中已收到的订单ξ_received_{u,τ}和已接受的订单ξ_accepted_{u,τ}。最小和最大服务率之间的差距β_τ可通过公式(2)计算。因此，状态s_τ中动作x_τ的奖励定义如公式(3)所示。动作的奖励r(s_τ, x_τ)为： (2) β_τ=max{ξ_accepted_{u,τ}/ξ_received_{u,τ}} - min{ξ_accepted_{u,τ} ξ_received_{u,τ}} (3) r(s_τ, x_τ)={1-β_τ, 如果a_τ=1且β_τ≤α; 0, 其他情况} **目标：** 目标是找到一个最优策略π*，通过在区域间平衡服务率和公平性，最大化所有决策的累积奖励。 (4) π*=arg max_{π∈π} e[∑_{τ=0}^{T} r(s_τ, x^π_τ(s_τ)) | s_0] x^π(s_τ)表示根据策略π在状态s_τ下选择的动作。 ## 4. 解决方案方法 本研究解决了"维度灾难"这一动态车辆路径问题中常见的挑战。整个服务日中需要做出大量复杂决策，包括订单接受、公平性改进、无人机派遣时机、补给点选择和已接受订单的路线规划。庞大的状态空间要求追踪无人机和车辆的计划路线与当前行程路线，以实现有效决策。因此，引入了一种启发式方法来简化动作空间，并纳入代表性特征用于状态表征。如上所述，动作空间可分为三个部分，即x_τ=(A_τ, p_{τ,ki}, p?_{τ,dj})。我们采用深度q学习（dql）方法来确定a_τ，同时使用最便宜插入（ci）算法和无人机补给策略分别处理p_{τ,ki}和p?_{τ,dj}。利用经典的贝尔曼方程可获得理论解： (5) v(s_τ)=max_{X_τ∈X(S_τ)} {r(s_τ, x_τ) + e[v(s_{τ+1})|s_τ, x_τ]} ### 4.1 深度q学习 强化学习（rl）是通过与动态环境交互并从收集奖励中进行自学习来寻找sdp高质量策略的有效方法。基于价值的强化学习适用于我们的问题，因为它可以通过估计策略π下状态s_τ中采取动作x_τ的价值来追踪服务率和公平性。然而，动作空间的高维度降低了q学习方法的可靠性。为应对这一困难，深度q学习使用非线性神经网络（nn）来近似基于价值的函数q_π(s_τ, x_τ)。缩减动作空间后，子集动作a_τ被分配用于dql训练。因此，q值函数可改写为： (6) q(s_τ, x_τ)=R(S_τ, x_τ) + e[?(s_{τ+1})|s_τ, x_τ] 其中?(s_{τ+1})是在状态s_τ上采取动作x_τ时状态s_{τ+1}的近似价值。我们可以求解公式(7)的近似解，即： (7) ?(s_τ)=max_{x_τ∈X?_τ} {q(s_τ, x_τ)}>4. 时间一致性约束：两个连续客户到达时间之间的时间差等于行驶时间和服务时间的总和。
5. 分配唯一性约束：新订单只能分配给一辆卡车。

**对于无人机：**
1. 无人机续航约束：从配送中心到补给点的飞行距离应在无人机最大续航能力?的一半以内。
2. 到达时机约束：无人机不允许在分配给它服务的卡车之前到达补给点。
3. 容量约束：待补充分配必须遵守每架无人机的容量限制，不得为任何无人机分配的订单数量超过其承载能力。
4. 无人机可用性约束：无人机在返回配送中心后可用，可用时间等于无人机的返回时间、电池更换或充电时间以及装载时间之和。
5. 时间一致性约束：无人机从起飞到到达补给点之间的时间差等于行驶时间和卸载时间的总和。

**状态转移：** 状态转移分为两个阶段：1) 从预设状态s_τ到决策后状态s^x_τ，2) 从决策后状态s^x_τ到后续的预设状态s_{τ+1}（powell, 2011）。预设状态s_{τ+1}表示下一个决策时点的系统状态，在sdp框架中可视为下一状态。决策后状态捕捉了决策做出后系统的即时状态。在已接受订单的情况下，无人机和卡车的计划路线均更新以纳入新订单；否则，状态保持不变。一旦下一个订单c_{τ+1}到达，决策后状态转移到后续的预设状态s_{τ+1}。这一新状态反映了由于持续事件（如无人机起飞或卡车服务客户）导致的系统更新，具体如下：

1. 决策时间：决策时点时间将为t_{τ+1}=t(c_{τ+1})。
2. 无人机路线转移：在计划起飞时间，无人机的计划路线p?_{τ+1,dj}转移为其当前行程路线?_{τ+1,dj}，载货订单相应更新。当无人机完成补给并返回配送中心时，其当前行程路线将被清除。
3. 卡车路线转移：卡车的当前行程路线o_{τ+1,ki}通过移除已完成的配送进行更新。如果无人机成功为卡车进行了补给，卡车的计划路线p_{τ+1,ki}转移为当前行程路线o_{τ+1,ki}；否则保持不变。

**奖励：** 我们不仅旨在(1)最大化整体服务率，还(2)寻求最小化各区域之间最大和最小服务率之间的差距。因此，这构成了一个多目标优化问题。采用最大-最小法来处理多目标优化。然而，区域间服务差距只能在服务日结束时才能完全观察到。仅基于当日结束时的结果分配奖励值不利于有效训练。因此，在训练过程中将服务率差距纳入奖励函数至关重要。限制区域间服务差距可能会损害整体服务率。常用的奖励函数通过最大化最小服务率来解决这一问题。因此，这种方法可以平衡提高整体服务承诺效率和确保各服务区域公平性的双重目标。为了引导训练过程，我们将公平性约束整合到状态-动作对的价值中。奖励函数引导智能体在最小服务区域采取接受动作时获得更高的奖励。这一机制允许直接追踪各区域u中已收到的订单ξ_received_{u,τ}和已接受的订单ξ_accepted_{u,τ}。最小和最大服务率之间的差距β_τ可通过公式(2)计算。因此，状态s_τ中动作x_τ的奖励定义如公式(3)所示。动作的奖励r(s_τ, x_τ)为：

(2) β_τ = max{ξ_accepted_{u,τ}/ξ_received_{u,τ}} - min{ξ_accepted_{u,τ}/ξ_received_{u,τ}}

(3) r(s_τ, x_τ) = {1-β_τ, 如果a_τ=1且β_τ≤α; 0, 其他情况}

**目标：** 目标是找到一个最优策略π*，通过在区域间平衡服务率和公平性，最大化所有决策的累积奖励。

(4) π* = arg max_{π∈π} e[∑_{τ=0}^{t} r(s_τ, x^π_τ(s_τ)) | s_0]

x^π(s_τ)表示根据策略π在状态s_τ下选择的动作。

## 4. 解决方案方法

本研究解决了"维度灾难"这一动态车辆路径问题中常见的挑战。整个服务日中需要做出大量复杂决策，包括订单接受、公平性改进、无人机派遣时机、补给点选择和已接受订单的路线规划。庞大的状态空间要求追踪无人机和车辆的计划路线与当前行程路线，以实现有效决策。因此，引入了一种启发式方法来简化动作空间，并纳入代表性特征用于状态表征。如上所述，动作空间可分为三个部分，即x_τ=(a_τ, p_{τ,ki}, p?_{τ,dj})。我们采用深度q学习（dql）方法来确定a_τ，同时使用最便宜插入（ci）算法和无人机补给策略分别处理p_{τ,ki}和p?_{τ,dj}。利用经典的贝尔曼方程可获得理论解：

(5) v(s_τ) = max_{x_τ∈x(s_τ)} {r(s_τ, x_τ) + e[v(s_{τ+1})|s_τ, x_τ]}

### 4.1 深度q学习

强化学习（rl）是通过与动态环境交互并从收集奖励中进行自学习来寻找sdp高质量策略的有效方法。基于价值的强化学习适用于我们的问题，因为它可以通过估计策略π下状态s_τ中采取动作x_τ的价值来追踪服务率和公平性。然而，动作空间的高维度降低了q学习方法的可靠性。为应对这一困难，深度q学习使用非线性神经网络（nn）来近似基于价值的函数q_π(s_τ, x_τ)。缩减动作空间后，子集动作a_τ被分配用于dql训练。因此，q值函数可改写为：

(6) q(s_τ, x_τ) = r(s_τ, x_τ) + e[?(s_{τ+1})|s_τ, x_τ]

其中?(s_{τ+1})是在状态s_τ上采取动作x_τ时状态s_{τ+1}的近似价值。我们可以求解公式(7)的近似解，即：

(7) ?(s_τ) = max_{x_τ∈x?_τ} {q(s_τ, x_τ)}

动作空间和状态空间均为高维空间。神经网络的输入层将状态作为特征，用于区分具有不同价值的状态。>

所选特征包括：1) 决策时间：新订单的到达时间。2) 订单区域：新订单所属区域，以及该区域已接受订单占系统累计生成订单的比例。3) 预计返回时间：卡车和无人机对后续任务的预计可用时间。4) 配送增量：将新订单分配给特定卡车-无人机组合所产生的边际配送成本或努力程度。根据这些相互独立且高度相关的特征，DQL方法在避免过度复杂的同时捕获了系统动态的核心要素。

4.2 状态空间与动作空间的缩减

新接受的订单应无缝整合到卡车的计划路线中，这是一个随着订单累积而日益复杂的路径规划问题。实时需求进一步加剧了问题的复杂性，因为必须在数秒内做出决策，以便及时向客户反馈。因此，提出一种快速且智能的路线优化方法至关重要。

最便宜插入（CI）算法因其速度快、结构简单而在路径优化领域广受认可。该算法通过计算将新订单插入计划路线中每个潜在位置的增量距离，来解决实时路线调整问题。随后，它确定一个能最小化额外距离的位置，同时确保此前已调度的所有订单仍处于其配送时间窗口内。

CI算法因其计算效率高，适用于动态路径规划问题，能够支持实时运营中的快速决策。此外，该算法符合驾驶员的偏好，并通过保持现有订单的顺序来最小化对计划路线的干扰。将在线路线规划委托给CI算法，可使系统将注意力转移到评估当前决策对整体配送能力的宏观及长期影响上。

4.3 补给策略

一旦无人机完成就绪并接到补给任务，便可基于卡车正在执行的路线立即起飞。这通常导致无人机在接收到仅一个订单后即刻起飞。此类单订单飞行可能导致补给效率低下和卡车闲置时间延长。为此，我们提出了一种软等待补给策略，在该策略下设置一个等待间隔σ，以提高每次飞行的无人机补给订单数量。当订单到达间隔足够短时，无人机在返回仓库前可积累多个待处理订单，从而实现无缝运营。

算法1展示了补给策略的伪代码。补给点将从卡车正在执行的路线中的客户位置集合????,????以及新增的客户cτ位置中选取。我们首先确定无人机到达卡车正在执行的路线上各个位置的最早可能到达时间 ????????(????)，其中????∈????,????∪????。如果无人机早于卡车到达（即 ????????(????)
[图1. 无人机补给策略]

只有当无人机的到达时间落在卡车的到达时间与最晚允许离开时间之间时，客户ci才被认定为可行的补给点。会面地点索引从一组候选补给点中确定，其中选择无人机等待时间最接近σ的点。新的无人机起飞时间也可由此推导得出。

4.4 修改后的奖励函数

第3.3节中的奖励函数通过最大化最小服务率来估计总服务量和各区域间的服务差异，但在实际应用中由于动作奖励过小，导致效果次优。因此，该奖励机制在引导智能体决策方面效果不佳。现有研究通常对接受动作分配更高的奖励，对减少服务率差异的动作给予额外奖励，如Chen等人（2023）所述。虽然该方法在充分训练后效果良好，但在直接应用于我们的案例时表现欠佳。这可能与系统复杂度增加有关：（1）智能体倾向于过度接受订单；（2）考虑到配送时间窗口相对较窄，早期接受订单并不能带来更好的结果。因此，我们设计了一种新的奖励函数以更好地应对这一问题。

我们提出的新奖励函数采用分段结构，定义了奖励区间和惩罚区间。仅当最大-最小服务率差值落在可接受范围内时才给予正奖励，且奖励随差值增大而递减。当各子区域服务率普遍较低时，接受新订单可获得更高奖励。一旦该差值超过预设阈值，则对状态-动作对施加惩罚，且惩罚随偏差的增大而按比例增加。该函数通过根据服务率差异调整奖励来促进智能体的快速训练。如第3.3节所述，最小服务率与最大服务率之间的差值βτ可通过公式（2）计算。因此，在状态Sτ下，动作xτ的修改后奖励定义为公式（8）。

(8)???(????,????)=?{ {?{ {????2·??????,if????=1and????≤??,0,otherwise

该奖励函数在考虑以下因素的基础上，平衡了订单接受行为并促进公平性：（1）拒绝操作获得零奖励，而非负值，以避免训练初期过度接受订单；（2）当最大与最小服务率之间的差值βτ超过阈值时，将接受奖励归零，从而鼓励更多随机选择以帮助差值缩小回阈值范围内；（3）当差值βτ处于范围α内时，根据各区域已接受订单占总订单比例，线性施加惩罚或奖励以改善区域公平性。在高服务率区域接受订单若扩大差异则受到惩罚，而改善低服务率区域平衡的接受行为则获得奖励。

该奖励函数鼓励改善区域公平性的决策，并基于各区域已接受订单与总订单之比线性施加惩罚或奖励。当在高服务率区域接受订单导致差异扩大时产生惩罚，而在改善区域间服务率平衡时给予奖励。

与Chen等人（2023）等传统方法不同，该方法不依赖对各区域或整个系统订单量的预估。相反，它利用运营过程中观测到的数据，使得奖励结构既简单又更适用于实际应用。线性惩罚函数动态平衡即时奖励与公平性导向的惩罚，鼓励智能体优先关注服务不足的区域以缓解差异。此外，该设计消除了复杂预估的需求，从而简化了训练流程并提升了可扩展性。所提奖励函数的简洁性和明确性既便于实施，也使智能体在更少训练迭代次数下仍能保持稳健性能。该方法在服务效率与区域公平之间取得了理想的平衡，如图2所示，可实现动态环境中的高效运营。为便于可视化，所报告的曲线经过100个回合的移动平均平滑处理。

[图2. 基于服务率和不同奖励函数的学习曲线]

在图2(a)中，由于服务率差异基本维持在平均水平以下，大多数接受动作均获得正奖励。这导致整体服务率稳步提升，但未能缓解服务率差异。在图2(b)和图2(c)中，奖励函数仅带来边际化的差异限制效果，尽管服务率和覆盖范围仍有较大提升空间。相比之下，图2(d)表明缩小奖励范围可使智能体对差异更为敏感。可能导致区域间服务率差异扩大的订单将被系统性地拒绝。此外，整体服务率稳步增长，同时通过奖励驱动的探索改善了公平性。为进一步验证奖励设计，我们考虑了两种替代奖励结构，分别对拒绝动作分配-0.5和-1的负奖励，如图2(e)和图2(f)所示。两种变体均收敛更慢，最终服务率低于所提出的奖励函数。对拒绝动作施加惩罚使智能体更不愿意拒绝可能加剧区域服务水平差异的订单，从而削弱了公平性改善机制。因此，所提奖励设计在服务率与公平性之间提供了更好的平衡。

4.5 解决方案框架

无人机补给策略采用带有修改奖励的DQL来决定订单的接受、分配和补给。具体而言，DQL智能体决定是否接受订单，若接受则将订单分配给合适的卡车和无人机。CI算法将新订单整合到卡车的计划路线中，而无人机补给策略则选择补给点并安排无人机的起飞时间。修改后的奖励引导订单接受行为趋向公平性。

当新订单在决策点τ到达时，我们更新决策前状态，并使用CI算法和无人机补给策略生成候选分配方案。仅当新订单可被满足时才会执行分配动作。每一步都将（状态，动作，奖励，决策后状态）的元组记录到记忆中。当记忆达到一定阈值时，通过梯度下降从采样转移元组更新目标网络。ε-贪心策略中的ε根据依赖于训练步数的预设衰减计划逐渐减小，并且每隔ρ步将行为网络克隆到目标网络。集成无人机补给策略的DQL伪代码见算法2。

[算法2. 集成无人机补给策略的DQL]

5. 计算结果

本节对问题建模和所提求解算法的有效性进行全面评估。首先介绍实验的案例设置，随后给出基准配置。接着，提出所提方法与现有文献中方法的对比结果。此外，还对奖励函数进行了对比实验，以评估无人机补给策略的影响和DQL的鲁棒性，并对无人机载荷容量、参数设置和续航能力进行了敏感性分析。

本研究中的运输成本基于车辆和无人机的总行驶距离定义，以米为单位衡量。

5.1 案例设置

我们设计了两个具有代表性的客户分布案例，其特征为客户坐标和区域大小的不同方差。本节还概述了DQL方法中使用的参数。承诺服务时间设定为2小时，即所有已接受的订单必须在下单后2小时内送达。每个区域平均有500个客户订单。无人机的最大续航距离设定为20000米，如图6中蓝色阴影区域所示。无人机最大载货量q为15，即每架无人机每次飞行最多可携带15个订单。更多地理配置和参数设置在5.3至5.6节中讨论。两个案例描述如下：

[图3. 两种地理分布的示意图]

G_disp：两个区域共享一个客户聚集区，但面积不同。客户中心位于(0, 7500)，上方区域的面积是下方区域的两倍。该设置代表了不同规模城市区域的复杂性。示意图见图6(a)。

G_var：定义两个客户聚集区，每个区域包含250个客户，见图6(b)。两个区域的客户聚集区方差不同。区域1中心位于(0, 7500)，方差为3 km；区域2中心位于(0, 2500)，方差为1.5 km。对于3 km的方差，卡车可在30分钟内访问超过99%的客户。

这些案例的目的是放大区域服务承诺的不平衡，以展示所提模型的优越性。在实际中，我们的方法在各种分布条件下均能强效地平衡服务率，即使使用短视策略也是如此。

采用泊松过程生成8:00 AM至3:00 PM之间的订单，服务期从8:00 AM至4:00 PM。所有卡车必须在4:00 PM前返回仓库。卡车的每单服务时间设定为3分钟，无人机在仓库需要3分钟进行换电池和装货。我们设置了多组实验参数mDnT，表示由m架无人机和n辆卡车组成的系统。

所有实验均采用2层神经网络架构，每层64个节点。

应用了ReLU激活函数，输出层设计为n+1个节点：n个节点对应将订单分配给特定的卡车，而0代表拒绝订单的选项。采用了贪心搜索策略，探索率从1衰减至0.01。模型使用500个训练实例训练了60,000个回合，结果基于另外500个测试集的平均表现进行评估。学习率使用三周期余弦退火调度进行调整，该调度在训练期间周期性地降低并重启。这种策略改进了早期阶段的探索，并在后期训练阶段促进稳定收敛。

5.2. 基准策略

我们基于启发式和实际启发策略实现了三类基准，以评估DQL的性能。第一类采用旨在最大化服务率的启发式算法，包括仅卡车和无人机补给策略。该基准解释了本研究背后的动机。第二类在服务启发式框架中引入服务差异约束，作为实际启发策略。第三类对应于所提出的DQL方法，该方法整合了差异化奖励结构以指导决策。这些基准算法的详细描述见以下各节：

具体而言，我们采用经验驱动的启发式结合固定阈值约束来限制各区域之间的服务率差异，主要目标是最大化整体订单完成率。

1) 最大化服务率：
i) 仅卡车模式（??H?T）策略：卡车通过最廉价插入（CI）算法独立管理补货和配送任务。不考虑服务公平性，该策略将接受任何能在承诺时间内送达的订单。
ii) 无人机补给模式（??H?DR）策略：在无人机补给环境中应用相同的策略逻辑以进行比较分析。

2) 桶策略：为每个区域的最大服务率设置固定阈值。一旦达到阈值，来自该区域的额外订单将被拒绝。这腾出资源以服务不足的区域，进一步促进平衡。阈值通过迭代确定。该策略用于：
i) 仅卡车配合桶策略（??B?T）
ii) 无人机补给配合桶策略（??B?DR）

所有订单在前30分钟内无阈值限制地被接受并分配以最小化成本。

3) PPO方法（??PPO?DR）：PPO代理的动作空间与DQL代理相同。PPO采用演员-评论家架构，配合截断策略更新以提高训练稳定性。

4) DQL方法（??DQL?DR）：训练好的代理决定是否接受订单，如果接受，则选择合适的卡车进行配送。不同DQL方法之间的区别在于奖励函数，奖励函数在优化服务率和服务公平性方面起着关键作用。

5.3. 解的质量

本节比较了所提出模型和算法与现有方法及基准策略的性能。此外，我们通过变化关键参数设置进行敏感性分析，以得出管理见解。

显然，奖励范围的确定显著影响整体服务率和公平性。一种相对可靠的选择方法是根据现有近视策略下观察到的最大值和最小值之间的差异进行选择。这种方法建立了基线效应，可以进一步微调以获得更好的性能。在实践中，这种差异表现出地理一致性，不太可能在长期内发生显著变化。我们的测试集分析表明，即使客户分布发生变化，该值仍然是基本优化的稳定基础。

在后续实验中，我们采用逐步长增量的迭代方法来识别最佳奖励范围。修改后的奖励函数中使用的阈值参数通过训练阶段的迭代搜索程序确定。具体而言，阈值初始化为0.10，以0.05的步长递增。对于每个候选值，在训练实例上训练和评估代理，选择产生最佳整体性能的阈值。由于阈值是奖励塑形参数而非可学习的模型参数，因此在评估前固定。

为了评估DQL策略相对于基准的性能，我们通过在每种场景下逐步增加奖励范围，计算了每种策略和卡车-无人机组合下的最优目标值。如前所述，所有测试均在500个测试实例集上进行。策略的性能定义为这些组合中四个目标值的平均值。表1展示了每种基准和基线策略相对于我们提出的DQL策略的百分比差异，其中运输成本基于以米为单位测量的总行驶距离定义。它还突出了不同策略下各区域客户服务率的差异。总体而言，我们的DQL策略在各种地理环境和车队配置下均优于基线和所有基准策略。

表1. 按地理-卡车-无人机-车队组合的所有策略的详细解质量。

| | G_disp | | | | G_var | | | |
|---|---|---|---|---|---|---|---|---|
| 车队规模 | 效用 | 最大值 | 最小值 | 平均值 | 效用 | 最大值 | 最小值 | 平均值 |
| | 范围 | 总成本 | 卡车成本 | 无人机成本 | 范围 | 总成本 | 卡车成本 | 无人机成本 |
| **??H?T性能** | | | | | | | | |
| 3T | 116.26 | 0.14 | 0.32 | 0.23 | | 130.26 | 0.12 | 0.40 | 0.26 |
| | 0.18 | 5.11 × 10? | -- | -- | | 0.28 | 4.84 × 10? | -- | -- |
| 5T | 181.61 | 0.23 | 0.49 | 0.36 | | 199.64 | 0.23 | 0.57 | 0.40 |
| | 0.25 | 8.44 × 10? | -- | -- | | 0.34 | 9.08 × 10? | -- | -- |
| **??H?DR性能** | | | | | | | | |
| 3D3T | 165.94 | 0.26 | 0.40 | 0.33 | | 178.12 | 0.26 | 0.45 | 0.36 |
| | 0.15 | 7.4 × 10? | 4.64 × 10? | 2.77 × 10? | | 0.19 | 7.16 × 10? | 4.43 × 10? | 2.72 × 10? |
| 5D3T | 165.94 | 0.26 | 0.40 | 0.33 | | 178.15 | 0.26 | 0.45 | 0.36 |
| | 0.15 | 7.41 × 10? | 4.64 × 10? | 2.77 × 10? | | 0.19 | 7.16 × 10? | 4.43 × 10? | 2.73 × 10? |
| 3D5T | 227.09 | 0.39 | 0.51 | 0.46 | | 243.82 | 0.42 | 0.56 | 0.49 |
| | 0.12 | 1.09 × 10? | 7.21 × 10? | 3.65 × 10? | | 0.14 | 1.04 × 10? | 6.82 × 10? | 3.6 × 10? |
| 5D5T | 261.31 | 0.44 | 0.60 | 0.52 | | 278.82 | 0.46 | 0.65 | 0.56 |
| | 0.16 | 1.22 × 10? | 7.64 × 10? | 4.57 × 10? | | 0.19 | 1.18 × 10? | 7.26 × 10? | 4.54 × 10? |
| **??B?T性能** | | | | | | | | |
| 3T | 95.69 | 0.18 | 0.21 | 0.19 | | 101.77 | 0.19 | 0.22 | 0.20 |
| | 0.03 | 5.26 × 10? | -- | -- | | 0.03 | 5.15 × 10? | -- | -- |
| 5T | 146.06 | 0.28 | 0.31 | 0.29 | | 150.23 | 0.29 | 0.31 | 0.30 |
| | 0.03 | 8.43 × 10? | -- | -- | | 0.03 | 8.16 × 10? | -- | -- |
| **??B?DR性能** | | | | | | | | |
| 3D3T | 130.92 | 0.25 | 0.27 | 0.26 | | 133.49 | 0.26 | 0.28 | 0.27 |
| | 0.02 | 7.62 × 10? | 4.9 × 10? | 2.7 × 10? | | 0.02 | 7.32 × 10? | 4.66 × 10? | 2.66 × 10? |
| 5D3T | 135.92 | 0.26 | 0.28 | 0.27 | | 138.82 | 0.27 | 0.29 | 0.28 |
| | 0.02 | 7.65 × 10? | 4.91 × 10? | 2.74 × 10? | | 0.02 | 7.36 × 10? | 4.68 × 10? | 2.68 × 10? |
| 3D5T | 187.56 | 0.36 | 0.39 | 0.38 | | 192.76 | 0.37 | 0.40 | 0.39 |
| | 0.02 | 1.01 × 10? | 6.71 × 10? | 3.44 × 10? | | 0.02 | 9.61 × 10? | 6.27 × 10? | 3.34 × 10? |
| 5D5T | 208.71 | 0.41 | 0.43 | 0.42 | | 208.41 | 0.41 | 0.43 | 0.42 |
| | 0.02 | 1.19 × 10? | 7.59 × 10? | 4.33 × 10? | | 0.02 | 1.12 × 10? | 7.04 × 10? | 4.14 × 10? |
| **PPO策略性能（??PPO?DR）** | | | | | | | | |
| 3D3T | 160.14 | 0.29 | 0.35 | 0.32 | | 175.66 | 0.29 | 0.41 | 0.35 |
| | 0.05 | 7.80 × 10? | 4.77 × 10? | 3.04 × 10? | | 0.13 | 7.46 × 10? | 4.50 × 10? | 2.96 × 10? |
| 5D3T | 160.77 | 0.30 | 0.35 | 0.32 | | 169.28 | 0.29 | 0.38 | 0.34 |
| | 0.05 | 7.55 × 10? | 4.74 × 10? | 2.81 × 10? | | 0.09 | 7.44 × 10? | 4.59 × 10? | 2.86 × 10? |
| 3D5T | 224.72 | 0.42 | 0.48 | 0.45 | | 237.48 | 0.42 | 0.53 | 0.48 |
| | 0.05 | 1.19 × 10? | 8.09 × 10? | 3.83 × 10? | | 0.10 | 1.15 × 10? | 7.82 × 10? | 3.71 × 10? |
| 5D5T | 265.66 | 0.49 | 0.57 | 0.53 | | 283.39 | 0.53 | 0.60 | 0.57 |
| | 0.09 | 1.32 × 10? | 7.74 × 10? | 5.49 × 10? | | 0.08 | 1.25 × 10? | 7.34 × 10? | 5.15 × 10? |
| **??DQL?DR性能** | | | | | | | | |
| 3D3T | 152.07 | 0.30 | 0.31 | 0.31 | | 163.44 | 0.31 | 0.34 | 0.33 |
| | 0.01 | 7.52 × 10? | 4.78 × 10? | 2.74 × 10? | | 0.02 | 7.43 × 10? | 4.67 × 10? | 2.76 × 10? |
| 5D3T | 155.11 | 0.30 | 0.32 | 0.31 | | 160.47 | 0.31 | 0.33 | 0.32 |
| | 0.02 | 7.56 × 10? | 4.78 × 10? | 2.78 × 10? | | 0.02 | 7.53 × 10? | 4.71 × 10? | 2.82 × 10? |
| 3D5T | 216.68 | 0.42 | 0.44 | 0.43 | | 244.21 | 0.48 | 0.50 | 0.49 |
| | 0.02 | 1.09 × 10? | 7.25 × 10? | 3.61 × 10? | | 0.02 | 1.07 × 10? | 7.06 × 10? | 3.65 × 10? |
| 5D5T | 247.59 | 0.48 | 0.51 | 0.50 | | 255.02 | 0.50 | 0.52 | 0.51 |
| | 0.02 | 1.25 × 10? | 7.87 × 10? | 4.58 × 10? | | 0.02 | 1.19 × 10? | 7.4 × 10? | 4.47 × 10? |

??H?T和??H?DR的性能实现了高服务率，但各子区域之间存在相当大的差异。相比之下，桶策略有效地减少了服务率范围，但以拒绝大量订单为代价。具体来说，在G_disp和G_var中，??B?T和??B?DR分别导致约20.01%和25.78%的客户损失。所提出的??DQL?DR通过保持低服务率范围同时最小化客户损失，成功地在效率和公平性之间取得平衡。例如，在G_disp中，它仅平均降低5.38%的服务率，同时将公平性提高了76.5%。

我们进一步在效率导向和公平性导向设置下比较了仅卡车和卡车-无人机车队，以评估无人机辅助补给的影响。不考虑公平性时，引入无人机使3卡车车队的平均服务率提高38.5%–43.5%，使5卡车车队的平均服务率提高22.5%–27.8%，证明了无人机补给在提高服务效率方面的有效性。考虑公平性时，桶策略将所有车队配置的服务率范围保持在0.03以下。在此设置下，与仅卡车车队相比，无人机补给仍将平均服务率提高了30.0%–36.8%。更重要的是，在πH下比较5T和3D5T配置，服务率范围在G_disp中减少了52.0%，在G_var中减少了58.8%，而平均服务率分别仅增加27.8%和22.5%。这表明无人机辅助补给对提高服务公平性的贡献甚至超过了对整体服务效率的提升。

我们进一步将所提出的方法与基于PPO的策略进行比较。虽然PPO在多个实例中实现了略高于??DQL?DR的平均服务率，但未能有效控制区域差异。具体而言，PPO在G_disp和G_var下的平均服务率范围分别达到0.06和0.10，而所提出的方法仅为0.02。这对应于服务率差异分别减少了约70.5%和80.0%。这些结果表明，简单地应用强化学习算法不足以实现公平性目标。相反，所提出的奖励函数在引导学习过程向区域间均衡服务水平方向发展方面起着关键作用。

值得注意的是，我们DQL策略中的新奖励函数使针对性训练成为可能，以最小化服务率的最大-最小差值。因此，我们策略实现的差异性与πBucket相当。??DQL?DR的成本低于仅卡车策略。例如，在G_disp中，5D5T组合比10T配置多服务6.52%的客户，同时实现了18.54%的成本降低。这些结果突出了（1）无人机辅助补给和（2）将卡车-无人机车队作为集成系统管理的显著优势，正如我们提出的方法所证明的那样。

5.4. 补给策略的性能

基于实验操作设计了三种补给基准策略，以评估无人机补给策略的性能。

1) 最后补给：无人机不起飞直到卡车到达当前路线上的最后一位客户，如Dayarian等人（2020）最初提出的。

2) 最短补给距离补给：一旦无人机准备好起飞，该策略选择卡车当前路线上最近的补给点，无人机起飞时间可推导为卡车的到达时间。

3) 最短等待策略：当无人机准备好且有新订单到达时，它搜索最晚的可行补给时间以最小化等待时间。

所有三个基准将在500个实例上进行测试。此处省略了公平性约束，因为它们仅在DQL方法中应用。

表2展示了不同补给策略在两种地理环境下的性能。软等待补给策略优于这些基准。例如，在G_var中，四种车队规模中有三种比其他补给策略多服务1～2%的客户。软等待补给策略平衡无人机等待时间和卡车可用性以提高服务率。还观察到，改变补给策略对减少服务不公平的影响很小。最后补给策略可能会错过将新订单纳入当前路线的机会，尤其是当无人机数量少于卡车数量时。

表2. 按地理-车队组合的所有补给策略的详细解质量。

| | 车队规模 | 软等待 | | | 最短距离 | | | 最短等待 | | | 最后补给 | | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| | | 效用 | 最大值 | 最小值 | 平均值 | 效用 | 最大值 | 最小值 | 平均值 | 效用 | 最大值 | 最小值 | 平均值 |
| | | 效用 | 最大值 | 最小值 | 平均值 | 效用 | 最大值 | 最小值 | 平均值 | 效用 | 最大值 | 最小值 | 平均值 |
| **G_disp** | 3D3T | 165.94 | 0.26 | 0.40 | 0.33 | 165.10 | 0.26 | 0.40 | 0.33 | 165.10 | 0.26 | 0.40 | 0.33 |
| | 5D3T | 165.94 | 0.26 | 0.40 | 0.33 | 165.11 | 0.26 | 0.40 | 0.33 | 165.11 | 0.26 | 0.40 | 0.33 |
| | 3D5T | 227.09 | 0.39 | 0.51 | 0.46 | 225.74 | 0.39 | 0.51 | 0.45 | 225.74 | 0.39 | 0.51 | 0.45 |
| | 5D5T | 261.31 | 0.44 | 0.60 | 0.52 | 260.31 | 0.44 | 0.60 | 0.52 | 260.31 | 0.44 | 0.60 | 0.52 |
| **G_var** | 3D3T | 178.12 | 0.26 | 0.45 | 0.36 | 176.56 | 0.26 | 0.44 | 0.35 | 176.56 | 0.26 | 0.44 | 0.35 |
| | 5D3T | 178.15 | 0.26 | 0.45 | 0.36 | 176.57 | 0.26 | 0.44 | 0.35 | 176.57 | 0.26 | 0.44 | 0.35 |
| | 3D5T | 243.82 | 0.42 | 0.56 | 0.49 | 240.76 | 0.41 | 0.55 | 0.48 | 240.76 | 0.41 | 0.55 | 0.48 |
| | 5D5T | 278.82 | 0.46 | 0.65 | 0.56 | 276.63 | 0.46 | 0.65 | 0.56 | 276.63 | 0.46 | 0.65 | 0.56 |

5.5. DQL策略的稳健性

5.5.1. 场景变化

我们通过延长仓库与服务区域之间的距离以及调整承诺服务时间来评估DQL的性能。使用5D5T车队在G_disp上进行测试作为基线。

雷达图图4展示了不同设置下的变化。显然，DQL方法显著减少了最大值和最小值之间的差距。此外，我们观察到，将距离加倍对服务率影响很小，服务率几乎保持恒定，而补给距离增加了18.08%，导致总成本上升6.82%。这意味着无人机补给对距离变化具有稳健性，更适合服务距离仓库更远的客户。

下载：下载高分辨率图像（174KB）下载：下载全尺寸图像

图4. 不同场景设置下DQL策略的性能。

有趣的是，将承诺交付时间减半至60分钟导致服务率增加2.16%。这可由无人机更快的速度解释，使补给更加可靠。无人机相关成本增加了81.88%，这表明补给操作次数更多。可以轻易推断，仅卡车模型将因更紧的承诺时间而失去大量客户。

管理见解1：决策者可以采用涉及多架无人机和多辆卡车的混合策略来改善随机请求下的服务公平性，因为将无人机车队补给集成到基于卡车的配送中提高了系统稳健性，特别是对长途和时间敏感任务。

5.5.2. 无人机和卡车数量

然后我们检查了改变无人机和卡车数量如何影响DQL的性能。图5展示了500个模拟实例中的服务率和服务率范围。

下载：下载高分辨率图像（315KB）下载：下载全尺寸图像

图5. 卡车-无人机组合对订单服务率和公平性的影响。

正如预期，DQL方法有效地维持了服务公平性，在9种车队配置中平均服务率差异为0.02，其中8种配置的范围低于0.03。这证明了DQL方法根据服务率范围的稳定性。随着卡车数量增加，服务率范围扩大，可能是由于较大的车队规模增加了系统复杂性。这个问题可以通过增加训练轮数来缓解。

增加卡车数量显著提高了服务率。在1D3T车队配置中，由于仅有一架无人机用于补给的限制，服务率大幅下降。当无人机数量从3增加到5时，服务率仅增加2.04%。此外，添加超过卡车数量的无人机产生的改进不如增加卡车数量的效果明显。

值得注意的是，当无人机数量固定为3架、卡车数量从3辆增加到5辆时，服务率提升了42.49%，这表明扩大卡车车队可以显著提高服务率。

管理启示2：存在一种有效的无人机-卡车车队组合，能够在服务表现与运营成本之间取得平衡。决策者应仔细斟酌车队组成，以实现具有成本效益的服务交付，因为单纯增加卡车数量可能会大幅提升服务率，但以不成比例的高成本为代价。

5.5.3. 区域数量

为了检验所提出的公平感知DQL框架的可扩展性，我们将原始的两大区域设置扩展到三个和四个区域的场景。对于三区域场景，将区域划分为面积相等的上、中、下三个区域。对于四区域场景，采用基于网格的划分方法，将区域划分为四个面积相等的象限。

3个和4个区域的布局如图6所示。

表3报告了三种配置下的结果。随着区域数量的增加，所提出的DQL框架仍然能够在各区域之间维持相对较小的服务水平差异。虽然服务率范围从两大区域设置中的0.02增加到三区域和四区域设置中的0.05，但最低和最高服务率仍然彼此接近，表明该策略成功地平衡了多个区域之间的服务机会，而不仅仅是两个极端区域之间。这一结果表明，公平机制不仅能够有效地协调服务最高和最低的区域，还能够协调在更大分区设置中出现的中间区域。

表3. 不同区域划分设置下的性能比较。

| 指标 | 2个区域 | 3个区域 | 4个区域 | Gap1 | Gap2 | Gap3 |
|------|---------|---------|---------|------|------|------|
| 效用值 | 162.65 | 124.21 | 112.30 | 0.24 | 0.31 | 0.10 |
| 最小值 | 0.32 | 0.22 | 0.20 | 0.31 | 0.36 | 0.06 |
| 最大值 | 0.34 | 0.27 | 0.26 | 0.19 | 0.23 | 0.06 |
| 平均值 | 0.33 | 0.25 | 0.23 | 0.24 | 0.31 | 0.10 |
| 范围 | 0.02 | 0.05 | 0.05 | -1.57 | -1.59 | -0.01 |
| 总成本 | 7.43 × 10? | 6.25 × 10? | 6.16 × 10? | 0.16 | 0.17 | 0.02 |
| 卡车成本 | 4.71 × 10? | 3.88 × 10? | 3.80 × 10? | 0.18 | 0.19 | 0.02 |
| 无人机成本 | 2.72 × 10? | 2.38 × 10? | 2.36 × 10? | 0.13 | 0.13 | 0.01 |

注：Gap1为两个区域与三个区域数值之间的相对差距；Gap2为两个区域与四个区域数值之间的相对差距；Gap3为三个区域与四个区域数值之间的相对差距。

5.5.4. 禁飞区对系统性能的影响

我们进一步研究了禁飞区对所提出配送系统的影响，因为此类限制在实际中经常被实施，并可能严重影响路由效率和整体系统性能。具体来说，禁飞区用于表示人口稠密区域、军事敏感区域、受保护景区以及其他特殊用途区域周边的空域限制。为了评估所提出方法的鲁棒性，在原始无禁飞区限制的实例上训练DQL策略，并在包含禁飞区的实例上进行测试。禁飞区的布局如图7所示，相应结果见表4。绕过禁飞区产生的额外行驶距离按照Ren等人（2025）和Zeng等人（2026）提出的方法计算。

图7. 两种需求分布场景下的禁飞区示意图。

表4. 有无禁飞区场景下的性能比较。

| 车队配置 | 3D3T | 5D3T | 3D5T | 5D5T | 平均值 |
|----------|------|------|------|------|--------|
| | 数值 | 差距 | 数值 | 差距 | 数值 | 差距 | 数值 | 差距 | 数值 | 差距 |
| 场景：G_disp 效用值 | 148.73 | -0.02 | 154.54 | 0.00 | 216.46 | 0.00 | 236.88 | -0.04 | 189.15 | -0.02 |
| 最小值 | 0.29 | -0.02 | 0.30 | -0.01 | 0.42 | 0.00 | 0.46 | -0.05 | 0.37 | -0.02 |
| 最大值 | 0.30 | -0.02 | 0.32 | 0.00 | 0.44 | 0.00 | 0.48 | -0.04 | 0.39 | -0.02 |
| 平均值 | 0.30 | -0.02 | 0.31 | 0.00 | 0.43 | 0.00 | 0.48 | -0.04 | 0.38 | -0.02 |
| 范围 | 0.01 | 0.09 | 0.02 | 0.11 | 0.02 | -0.02 | 0.02 | 0.05 | 0.02 | 0.05 |
| 场景：G_var 效用值 | 162.65 | 0.00 | 160.20 | 0.00 | 239.29 | -0.02 | 253.28 | -0.01 | 203.86 | -0.01 |
| 最小值 | 0.32 | 0.01 | 0.31 | 0.00 | 0.47 | -0.02 | 0.50 | -0.01 | 0.40 | -0.01 |
| 最大值 | 0.34 | 0.00 | 0.33 | 0.00 | 0.49 | -0.02 | 0.51 | 0.00 | 0.42 | -0.01 |
| 平均值 | 0.33 | 0.00 | 0.32 | 0.00 | 0.48 | -0.02 | 0.51 | -0.01 | 0.41 | -0.01 |
| 范围 | 0.02 | -0.09 | 0.02 | 0.04 | 0.02 | 0.08 | 0.02 | 0.03 | 0.02 | 0.01 |

表4中的结果表明，所提出的模型和算法在不同禁飞区场景下具有鲁棒性。在每个场景的500个测试实例中，公平性表现基本保持稳定。与相应的无禁飞区限制实例相比，平均服务率下降约1%–4%。这些发现表明，虽然禁飞区增加了路由和补给协调的复杂性，但学习到的DQL策略能够有效适应此前未见过的空域约束。因此，所提出的DQL方法表现出很强的鲁棒性，并在空域受限的运营环境中保持了令人满意的性能。

此外，有无禁飞区场景之间的公平性仅表现出微小变化。这表明空域限制主要影响运营效率，而非区域服务公平性。该结果证实，所提出的奖励机制能够有效保持各区域之间平衡的服务分配，展示了其在空域受限环境下的鲁棒性。

5.6. 无人机补给性能

5.6.1. 无人机载重能力

表5报告了在不同动态卡车-无人机补给设置下，各种无人机载重能力（q = 5、10、15、20和30个单位）的详细性能。随着无人机载重量的增加，我们观察到系统整体性能有所改善，特别是在成本降低方面。

表5. 不同无人机载重能力下的详细方案质量。

| 无人机载重 | 效用值 | 最小值 | 最大值 | 平均值 | 范围 | 总成本 | 卡车成本 | 无人机成本 |
|------------|--------|--------|--------|--------|------|--------|----------|------------|
| 5 | 238.20 | 0.46 | 0.49 | 0.48 | 0.03 | 1.55 × 10? | 7.72 × 10? | 7.74 × 10? |
| 10 | 246.13 | 0.48 | 0.50 | 0.49 | 0.02 | 1.29 × 10? | 7.86 × 10? | 5.00 × 10? |
| 15 | 247.59 | 0.48 | 0.51 | 0.50 | 0.02 | 1.25 × 10? | 7.87 × 10? | 4.58 × 10? |
| 20 | 247.65 | 0.48 | 0.51 | 0.50 | 0.02 | 1.24 × 10? | 7.87 × 10? | 4.56 × 10? |
| 30 | 247.65 | 0.48 | 0.51 | 0.50 | 0.02 | 1.24 × 10? | 7.87 × 10? | 4.56 × 10? |

具体而言，将q从5增加到15，平均服务率出现了明显的改善，从48%提升到约50%。然而，当载重量进一步增加到30时，服务率稳定在50%。详细的补给信息如图8所示。当无人机载重量设为5时，每架无人机的补给频率可达8次，且补给量完全被利用，这也导致了最高的无人机成本。当载重量设为10时，补给频率、补给量和成本之间达到了良好的平衡。这些发现表明，将无人机载重量增加到超过10后，服务率的提升效益递减，这表明在时间敏感的场景中，过大的载重量并非必要。

图8. 无人机每日补给频率和补给量的性能表现。

从成本角度来看，随着无人机载重量从5增加到10，总物流成本大幅下降，从约155万降至129万。这一降低主要由无人机运营成本下降所驱动（从77.4万降至50万），因为大载重无人机需要的补给航次更少。然而，将载重量进一步增加到30仅带来边际成本改善，这表明在载重量为10时存在一个近最优的权衡点。

这些结果凸显了载重规划在无人机辅助配送系统中的关键作用。适度的载重量增加可以带来显著的成本节约和服务提升，但过大的载重量可能导致利用率不足和边际收益递减。

管理启示3：SDD服务提供商应避免无人机载重量不足和载重量过大的配置。相反，适中载重的无人机能够在资本投资、运营成本和服务表现之间提供最佳平衡。

5.6.2. 无人机续航能力

接下来，我们研究了无人机续航能力对DRSDD-F服务率的影响。图9展示了在不同无人机续航能力设置下（在G_disp案例设置中使用5D5T车队进行测试）的客户服务率和成本。

图9. 不同无人机续航能力下的详细方案质量。

如图9所示，随着无人机续航能力的提高，平均每日服务客户数量仅有边际增长，从10km处的245.26增至20km处的247.59。中位数在各续航能力水平下保持稳定，这表明服务容量已接近饱和。这种有限的改善表明，在订单随机动态生成的环境中，延长无人机航程并不能显著提升服务水平。相反，服务瓶颈可能源于需求在时空上的聚集或卡车可用性的限制，而非无人机航程约束。

在成本分解中观察到更明显的影响。将续航能力从10km增加到15km，平均无人机成本降低了43.6%，这得益于飞行次数减少和更高效的航线整合。然而，15km之后无人机成本的持平表明，进一步增加续航能力的收益递减。同时，卡车成本略有下降，这可能是由于改进的无人机支持减少了卡车空闲或绕路。这些发现意味着，在给定的运营配置下，15km的续航能力代表了一个成本最优点。

总成本反映了这些趋势的综合影响。它从10km续航时的约160万降至15km时的124万，随后趋于稳定。这种稳定表明，延长无人机航程在一定程度上可以提高运营效率，但超过该点后成本节约则微乎其微。在快速响应和资源利用至关重要的时间敏感物流场景中，过高的无人机续航能力可能并不具有成本效益。识别并在该效率阈值附近运营对于平衡表现和投资至关重要。

管理启示4：应优先关注任务协调而非续航最大化，因为无人机车队多卡车策略无论无人机规格如何都仍然有效。决策者应注意，提高无人机续航能力仅能带来有限的服务提升，但能带来显著的成本节约。

6. 结论

本研究将无人机车队补给问题纳入传统的当日配送模型，有效地解决了传统配送系统中客户服务承诺不公平的问题，并相应地提升了客户满意度。其目标是在指定的时间窗口内完成已接受的订单，同时最大化完成率并确保不同区域之间公平的服务承诺。为解决这一复杂的优化问题，本研究采用了深度强化学习策略，利用智能代理决定订单接受。提出了一种高效的奖励函数来控制各区域之间服务率的差异。我们从前瞻性的角度考虑对未来服务能力的长期影响。计算实验验证了DQL方法的有效性。结果表明，该方法在确保多种场景下运营鲁棒性的同时，显著提高了配送完成率。结果指出：（1）无人机车队补给有效改善了各区域之间的客户公平性和服务率；（2）适当的带有惩罚机制的奖励函数显著促进了公平性；（3）存在一种有效的无人机-卡车车队组合，能够在服务率和相关成本之间取得平衡，而单纯增加更多卡车虽然能大幅提升服务率，但会产生更高的成本；（4）所提出的方法在不同无人机载重量下保持鲁棒，而延长无人机续航能力对服务率的提升有限，但能显著降低配送成本。

本研究也存在局限性，并提供了进一步研究和探索的机会。一个关键的research方向可能涉及为一组卡车和无人机确定最优配送区域。未来的工作也可以探索在允许决策修订的场景中，将强化学习与公平性导向的后处理策略相结合。此外，本研究仅关注单一请求场景，未涉及来自客户的取货请求。研究同时包含取货和送货请求的场景可能为实际应用提供关键见解。

CRediT作者贡献声明

陈亮：初稿撰写、软件、方法论、形式化分析、概念构思。
王淑怡：审阅与编辑、监督、方法论。
王琪：验证、调查、数据整理。
康龙江：监督、项目管理、资金获取。
肖建华：监督、项目管理、资金获取。
George Q. Huang：监督、项目管理。

陈亮 | 王淑怡 | 王琪 | 康龙江 | 肖建华 | George Q. Huang