允许的负载政策是否会影响排放？——一种用于摩托车最后一公里配送的强化学习方法

《Case Studies on Transport Policy》：Does allowable load policy affect the emissions? a reinforcement learning for last-mile distribution using motorcycles

　　阿德·贾弗鲁丁（Ade Sjafruddin）、费布里·祖克鲁夫（Febri Zukhruf）、拉斯·博纳·弗拉齐拉（Russ Bona Frazila）、陶菲克·苏里约·努格罗霍（Taufiq Suryo Nugroho）、安德烈安·毛拉纳（Andrean Maulana）、温迪·伊里亚娜（Windy Iriana）

印度尼西亚万隆理工学院（Institut Teknologi Bandung）土木与环境工程学院
地址：Ganesha路10号，万隆40132

**摘要**
摩托车因其能够在交通不便的区域更高效地运送货物而受到最后一公里配送的青睐。然而，目前的实践表明，依赖摩托车的快递员经常超出其承载能力，导致运输次数增加，从而加剧了环境污染。本研究通过实验室实验和网络建模来确定摩托车在最后一公里配送中的最佳载荷，并分析用轻型电动货运车辆替代摩托车作为替代配送方式的影响。车辆路径规划框架考虑了取货和送货服务、载荷限制、交通状况以及道路坡度等因素。我们提出了一种基于强化学习的算法，通过修改注意力机制来反映摩托车的配送特性，包括包裹重量、客户距离和可达性。强化学习代理被训练以减少包裹配送过程中的二氧化碳排放，同时考虑了载荷政策、车辆类型、交通变化和分配策略对排放和配送时间的影响。在真实道路网络上进行的数值实验提供了管理上的见解，结果显示允许更高载荷的政策通常可以降低二氧化碳排放。然而，强化学习代理始终未充分利用最大允许载荷，这表明需要谨慎确定平衡效率与环境影响的最优载荷阈值。

**引言**
电子商务的兴起显著增加了最后一公里配送的需求。这类配送面临诸多挑战，包括高成本、效率问题以及如何在减少环境影响的同时满足不断变化的客户期望。为应对这些挑战，许多最后一公里配送公司使用更小、更高效的车辆（如摩托车）来提高运营效率。特别是在发展中国家，摩托车在货物配送中的使用越来越普遍（Ngoc等人，2022年）。Christie和Ward（2023年）的研究也指出，由于摩托车的效率高且被认为排放较低，因此更受青睐用于最后一公里配送。考虑到非计划性居住区的分布以及电子商务的发展，摩托车因其经济性、在狭窄街道中的机动性以及低基础设施要求而成为主要的最后一公里配送方式（Janjevic和Winkenbach，2020年）。即使对于像摩托车这样的小型车辆，快递员也常常需要将车辆停在远离客户的位置，然后步行完成剩余的距离。对于大型车辆来说，这种情况可能更为严重，因为它们需要行驶更长的距离，从而增加配送时间。

**表1.**
尽管摩托车在最后一公里配送中效率较高，但其广泛应用受到物理限制的制约。与卡车和厢式货车等大型车辆相比，摩托车的载货量明显有限，因此增加了运输次数和环境影响。Tong等人（2023年）的研究表明，减少短途摩托车运输次数可降低18%的机动车交通温室气体排放。Zhang等人（2024年）也指出，摩托车排放的挥发性有机化合物是乘用车的三倍，中等挥发性有机化合物是八倍。当前实践中，快递员经常超出摩托车的载荷能力以运送更多包裹，从而减少返回仓库重新装载的次数。然而，过重的载荷可能会因降低车辆速度而影响配送时间（Fragkogios等人，2024年）。研究表明，车辆速度的波动会显著影响污染物排放（Sithananthan等人，2024年）。这引发了一个重要问题：超载行为是否更环保？

**研究方法**
为了解决这一权衡问题，本研究首先通过受控实验室实验探讨了车辆载荷对排放的影响。然后将研究结果纳入车辆路径规划（VRP）框架下的网络级模型中。VRP被构建为一个优化问题，旨在最小化配送过程中的排放。我们在实际道路网络上测试了该优化模型，考虑了摩托车的特定特性，如载货重量限制、交通和地形条件、客户可达性以及摩托车与轻型电动货运车辆的混合使用（这些在以往研究中仅部分提及）。鉴于机器学习（ML）在解决优化问题方面的最新进展，我们发现针对摩托车配送特性定制的ML算法开发仍有限。本研究通过开发一种结合注意力机制的ML变体来解决这一问题。Veli?kovíc等人（2018年）已将注意力机制整合到强化学习（RL）中，本研究对其进行了修改，以纳入摩托车的具体特性，即包裹重量、客户距离和客户可达性。

**研究内容**
基于上述背景，本研究提出了一个优化模型来解决最后一公里配送问题，主要依赖于摩托车配送。本研究的具体贡献有三个方面：首先，我们明确地根据摩托车的特性（如载荷限制、交通变化、地形条件和客户可达性）构建了VRP模型，这些在以往研究中仅部分涉及。其次，提出了一种强化学习变体来解决路径规划问题，通过修改注意力机制来反映摩托车的配送特性。第三，通过数值实验研究了载荷政策、行驶速度、道路坡度条件以及摩托车与轻型电动货运车辆混合使用对排放的影响，并从中得出管理启示。本文的其余部分结构如下：第2节回顾相关文献，第3节解释建模框架，第4节讨论案例研究的数值实验，第5节给出结论。

**文献综述**
已有大量研究探讨了摩托车在最后一公里配送中的应用。这些研究主要从两个角度进行分析：一是地方政府研究摩托车在城市环境中的影响，例如Thao（2021年）研究了河内市的最后一公里配送对环境的影响。他们使用ASIF（活动-份额-强度-因子）方法估算了货运车辆的排放。

**建模框架**
本研究旨在解决作为VRP形式提出的最后一公里配送问题。由于我们关注的是污染最小化，这种VRP变体可归类为绿色VRP（Asghari和Mirzapour Al-e-hashem，2021年对此进行了全面综述）。他们列出了VRP目标函数的几种变体，包括本文中提出的最小化污染目标。设G（N, A）表示一个由所有节点（N）和所有链接（A）组成的有向图。

**解决方案技术**
为了解决优化问题，我们提出了一种结合注意力机制概念的强化学习变体。该概念和公式化方法借鉴了Lillicrap（2019年）和Veli?kovíc（2018年）的研究，通过加入摩托车快递员的特性来修改注意力机制。注意力机制可以为每个服务对象提供上下文信息，用于在路径规划中优先处理客户。

**数值测试——万隆地区案例研究**
为了评估所提出模型的适用性，我们将其应用于印度尼西亚西爪哇省万隆市Coblong区的实际道路网络问题。该案例涉及一个配送中心和142位客户，其中75位需要送货服务，67位需要取货服务（图2）。配送中心的位置基于从快递员处收集的GPS跟踪数据。道路网络包含159个链接和149个节点。

**结论**
本研究提出了一种基于强化学习的算法来解决最后一公里配送问题，重点关注摩托车配送。问题在车辆路径规划框架内构建，考虑了摩托车的载荷限制、交通波动、地形条件和客户可达性等特性，这些在以往研究中仅部分涉及。强化学习代理被训练以最小化送货和取货服务过程中的二氧化碳排放。

**作者贡献声明**
阿德·贾弗鲁丁（Ade Sjafruddin）：撰写——审稿与编辑、初稿撰写、监督、资金筹集、概念构思。
费布里·祖克鲁夫（Febri Zukhruf）：撰写——审稿与编辑、初稿撰写、软件开发、方法论设计、形式分析、概念构思。
拉斯·博纳·弗拉齐拉（Russ Bona Frazila）：监督、概念构思。
陶菲克·苏里约·努格罗霍（Taufiq Suryo Nugroho）：撰写——审稿与编辑、初稿撰写。
安德烈安·毛拉纳（Andrean Maulana）：撰写——审稿与编辑、初稿撰写、数据整理。
温迪·伊里亚娜（Windy Iriana）：撰写——审稿与编辑。

**致谢**
作者衷心感谢万隆理工学院（ITB）的“研究、社会服务与创新计划”（P2MI）项目提供的财务支持和研究设施。