考虑现场可再生能源供应的机器人装配线平衡

《INTERNATIONAL JOURNAL OF PRODUCTION ECONOMICS》：Robotic assembly line balancing with on-site renewable energy supply

　　

摘要

本文提出了一种多目标机器人装配线平衡问题，并将其与长期聚合能源供应决策相结合。考虑三个目标：生产效率、碳足迹和成本。假设现场可再生能源发电作为替代电网供电的能源供应方式。可供选择的两种技术是光伏和风电。为捕捉此类能源输出固有的不确定性，考虑了能源供应可行裕度约束。本文提出一种结合固定Q目标机制和经验回放的深度Q学习算法，以寻找该问题的近似帕累托最优解。通过一组合成实例，将该过程与一种成熟的元启发式算法进行比较。此外，基于某制造企业在特定发动机类型长期生产规划中的数据，开展实证案例研究，以验证所提出的建模框架和求解过程。研究结果表明，本文提出的方法学发展能够有效为决策过程提供信息，从而有助于提升生产系统的可持续性和运营绩效。

引言

制造和生产品类贡献了全球20%的碳足迹，并消耗了全球交付能源的54%。1 减少制造业碳足迹被广泛视为实现全球气候目标的手段。此外，拥抱碳管理为制造商带来的好处远超可持续性范畴。可再生能源（RE）生产（如光伏（PV）和风电（WP））已成为实现脱碳的途径。在实践中，许多制造商已在其综合能源供应系统中配备现场可再生能源发电设备，作为电网所供能源的补充。例如，福特宣布"其在西班牙瓦伦西亚阿尔穆萨菲斯工厂现有的每年464万Wh太阳能装置，将增建每年376万Wh的容量"。2

尽管采用现场可再生能源的理由看似充分，但其应用并不普遍。这引发两个问题：是否存在反对现场可再生能源实施的重大论点？此外，如果存在此类论点，生产计划者和管理者能否通过优化流程来增强其吸引力？事实上，多个方面阻碍了制造系统中现场可再生能源的生产，具体如下所述。

首先，可再生能源发电设备的安装涉及相当可观的成本，乍一看可能并不具吸引力。例如，虽然风力发电机组的运营和维护（OM）费用可能并不高昂，但前期建设成本却可能令人望而却步。根据Charabi和Abdul-Wahab（2020）的研究，GE SLE 1.5型风机的年OM成本为87,500美元，而建设成本则超过330万美元。此外，还可能产生与生产相关的管理费用和折旧成本等其他费用。光伏面板的安装和运营也具有类似的财务影响（Ramasamy等人，2021）。因此，安装和使用可再生能源设备可能会削弱制造商的利润空间。

其次，碳足迹减少的好处并不总是显而易见或立即被感知到。当可再生能源在总能源产出中所占比例较小时，例如现场只有一到两台风机时，情况尤其如此。通常，此类特定设备并不对整体决策过程产生决定性影响。

上述两个方面要求在可能的碳足迹减少与可再生能源设备投资之间进行权衡。然而，第三个因素在此讨论中发挥着重要作用：与可再生能源生产相关的不确定性。可再生能源发电过程的输出具有间歇性、波动性，且始终存在不确定性。事实上，光伏和风电在很大程度上受天气条件影响。例如，一台3MW风机的年预期发电量范围为5200mWh至11000mWh。因此，风力发电机组的建设应基于考虑此类波动性的投资回报分析。换言之，如果决策过程中未能充分预期不确定的产出，制造商可能会遭受经济损失。所有这些因素都可能使生产计划者不愿考虑建设现场可再生能源设备。

本文在上述方面集成分析的基础上，将其置于全自动机器人手臂操作的装配线（AL）系统情境中。具体而言，我们在生产系统背景下研究一个长期聚合能源规划问题。有多种机器人类型可供选择，每种类型均具有特定的效率水平和能耗。需在规划期内生产单一同质产品（例如，某汽车型号中嵌入的特定发动机）以满足给定需求。通过多个任务分配至工作站来完成生产。这些任务之间存在优先关系。需做出的决策包括：（i）装配线配置（分配至每个工站的机器人类型及任务集），（ii）需建设的现场可再生能源生产单元，以及（iii）需从电网购买的能源量。此外，考虑三个均需最小化的目标：由从电网购买的电力产生的总碳足迹、总能源成本以及循环时间（所有工站中最长的时间）。

循环时间（装配线配置的目标）是装配线平衡文献中的经典目标，因为它直接决定了生产吞吐量和有效系统容量。在长期基础设施规划情境中，循环时间不仅仅反映短期生产速度；它还影响生命周期范围内的累计产量，进而影响总能耗、可再生能源容量需求以及生命周期碳排放。

在本文研究中，规划期由现场可再生能源安装的生命周期决定。因此，循环时间影响长期能源需求和基础设施规模决策。这解释了为何最小化循环时间与生命周期能源成本和生命周期碳足迹并列作为优化目标之一。

最后，我们假设可再生能源生产存在不确定性。此类不确定性假定为由有限场景集捕获。整体问题被表述为带能源供应可行裕度的优化模型。该裕度通过一个约束表示，该约束通过限制规划期内能源短缺的概率来应对可再生能源产出不确定性所需的对冲需求。乍一看，有限场景假设可能显得极为受限。但实际上并非如此。在实践中，如果场景数量非常大（可能无穷），则在建模和求解问题时，必须考虑场景分解或缩减工具（例如通过采样或聚类），从而将问题简化为本文研究所涉及的情形。有兴趣的读者可参考Dupa?ová等人（2003）、Hewitt等人（2022）、Kleywegt等人（2002）以及Pagnoncelli等人（2009）以获取更多细节。

针对上述问题，我们设计了一种深度Q学习程序以近似帕累托前沿。该程序包含固定Q目标处理和经验回放机制。此外，在动作选择中采用ε-贪婪策略。本文研究的问题过于复杂，无法广泛求解Q函数。因此，我们考虑由深度神经网络估计该函数值，从而得出上述深度Q学习程序。使用强化学习算法的动机源于其相比更传统的启发式或元启发式方法的优势，例如具有竞争力的计算时间以及不同于许多启发式程序的"从过去经验中学习"能力。

尽管在一般情境下分析，本文研究的问题受到一家发动机制造公司的启发，该公司正投资现场可再生能源生产以减少碳足迹。我们使用该公司数据对所提出的方法学发展进行测试。研究结果突出了所提出模型和算法程序的优势，同时提供了重要的管理见解，包括：（i）如何选择最优能源计划以促进总成本与碳足迹之间的平衡；（ii）最有效的装配线设计如何最小化能耗并优化生产效率；（iii）能源与生产计划决策之间存在何种相互依赖关系，以及它们是否可能相互矛盾。为研究我们所提出的可再生能源生产聚合可能掩盖的时间不匹配（如季节性短缺或天气驱动的短缺），我们补充了能源存储系统的后验（初步）分析。进行的敏感性分析说明了存储潜在的效果，提供了透明且保守的估计，即添加不同容量和捕获比例的存储可替代多少生命周期电网购买量。

本文其余部分结构如下：第2节综述与我们工作相关的文献。第3节描述所研究的问题，讨论基本假设，并介绍带能源供应可行裕度的多目标优化模型。第4节详细介绍为近似帕累托前沿而设计的强化学习算法。第5节报告基于汽车制造厂发动机生产实际实例的计算结果。第6节总结全文并建议进一步研究方向。

部分片段

文献综述

本节综述与我们工作密切相关的文献。涵盖多个研究流派，包括机器人装配线平衡问题、可再生能源生成中的不确定性以及组合优化中的强化学习算法。最后，我们指出现有工作如何为本论文的研究提供启示。

问题描述与建模

我们考虑一家运营全自动机器人装配线的制造商。需在给定的规划期内生产单一同质产品——即现场可再生能源系统（RES）的生命周期。生产系统由一系列工作站组成。每个工作站执行一个或多个相互依赖的装配任务，其优先关系已给定。有多种机器人类型可供分配至待处理任务；每种类型均具有单任务处理...（原文截断）

一种深度Q学习算法

强化学习（RL）是一个顺序过程，其中所谓的"智能体"学习采用何种策略以最优管理一个系统（Kaelbling等人，1996；Sutton和Barto，2018）。该过程通常离散化并建模为马尔可夫决策过程（MDP）。在每个阶段t，智能体观察系统并发现其处于某个状态，记为s_t，出自可能性集合S。然后，智能体从可用动作集合A中选择动作a_t。执行该动作...（原文截断）

计算分析

本节报告为评估上述方法学发展所进行的计算测试结果。我们首先评估考虑DQA的相关性。这是通过与启发式算法——粒子群优化（PSO）算法——进行比较实现的，该算法已被视为机器人装配线平衡问题（RALBP）的近似算法。然后我们将方法学发展应用于北京汽车产业集团（BAIC，//www.baicmotor.com...（原文截断）的真实数据。

结论

与生产系统配套的现场可再生能源（RE）发电已成为实现脱碳的重要方式。然而，可再生能源生产系统的输出存在不确定性。此外，安装可再生能源生产单元的成本可能高得令人望而却步。在这两方面之间寻找权衡的需求激发了新的研究方向，如本文所涵盖的内容。具体而言，我们研究了一个综合的机器人装配线平衡...（原文截断）

CRediT作者贡献声明

李雨辰：撰写初稿、软件、方法论、概念构思。Francisco Saldanha-da-Gama：撰写——审校与编辑、调查、形式分析。Ibrahim Kucukkoc：可视化、数据整理。刘丹：监督指导。

利益冲突声明

作者声明，他们没有已知的相互竞争的财务利益或个人关系可能影响本论文所报告的工作。

李雨辰 | Francisco Saldanha-da-Gama | Ibrahim Kucukkoc | 刘丹