面向工业5.0的迁移学习驱动跨制造领域联合调度与控制框架

《Engineering》:Transfer Learning-Based Framework for Joint Scheduling and Control Across Manufacturing Domains Toward Industry 5.0

【字体: 大 中 小 】 时间:2026年10月23日 来源:Engineering 12.2

编辑推荐:

  工业5.0(Industry 5.0)是一种新型制造范式,旨在通过促进人类与先进技术深度协作,构建以人为本、可持续且具有韧性的制造系统。随机制造环境需要适应需求、可变加工时间和频繁设备故障等波动条件的可调度与控制策略。尽管传统调度规则和控制策略易于实施,但往往

  
工业5.0(Industry 5.0)是一种新型制造范式,旨在通过促进人类与先进技术深度协作,构建以人为本、可持续且具有韧性的制造系统。随机制造环境需要适应需求、可变加工时间和频繁设备故障等波动条件的可调度与控制策略。尽管传统调度规则和控制策略易于实施,但往往导致高废品率和过度维护操作。因此,强化学习(reinforcement learning, RL)已成为解决这些问题的数据驱动替代方案。尽管有效,RL的实际实施仍面临若干挑战,包括学习过程初始化。本研究通过提出一种基于迁移学习(transfer learning, TL)的框架,面向动态多线制造环境中的联合调度与控制,以应对这些局限。目标是通过智能制造和预测性维护提高产量和能效,从而支持长期可持续性、以人为本的运营和运营韧性,迈向工业5.0。所提框架通过实施长短期记忆网络(long short-term memory, LSTM)将知识从传统多线制造环境迁移至增材制造(additive manufacturing, AM)环境,以促进跨异质制造领域的联合控制策略迁移。通过将该框架应用于AM环境以联合控制打印过程和输出质量等操作,评估其泛化性和领域自适应。结果表明,领域自适应网络实现完美的对角线得分,非对角线得分等于零,表明为每个领域形成了显著不同的策略而无跨领域混淆。这些发现表明,TL可显著提高制造环境中的效率和可靠性,从而为实际部署提供可行途径。
该论文由Panagiotis D. Parashos与Dimitrios E. Koulouriotis完成,发表于《Engineering》。研究背景方面,工业5.0强调以人为本、可持续和韧性制造,但现代制造工厂受到频繁设备故障、可变加工时间等波动事件影响;传统调度规则如最短加工时间(shortest processing time, SPT)和生产控制策略如看板(Kanban)多为确定性方法,难以适应实时扰动,启发式策略如最早到期日(earliest due date, EDD)在系统扰动下表现不佳,易导致高废品率、过多停机和运营成本上升。强化学习(reinforcement learning, RL)可通过数据驱动决策平衡可靠性与生产率,但存在样本低效和学习初始化问题,部署到新生产线或修改工艺参数时需重新学习环境动态;迁移学习(transfer learning, TL)可复用知识、减少训练时间与数据需求,但既有制造领域TL多用于诊断、预测和过程监测,较少涉及实时控制与调度的控制策略迁移。因此,研究人员提出基于TL的RL联合调度与控制框架,在传统多线制造环境预训练后迁移至不同制造领域,并应用于增材制造(additive manufacturing, AM)环境联合控制打印过程、能耗和输出质量;意义在于提高制造效率、可靠性和实际部署可行性,支撑工业5.0的可持续、以人为本和运营韧性目标。

技术方法概括:研究采用仿真制造环境,未涉及样本队列来源;构建两条多线生产系统作为源域与目标域,并构建五台并行打印机的AM系统。RL智能体以生产状态、缺陷率、机器可用性、能耗、累计产量、失败单元、维修时间等归一化状态为输入,动作涵盖生产、维护、维修、回收、空闲、作业类型选择及AM工艺参数,奖励由利润比Pratio与整体设备效率(overall equipment effectiveness, OEE)加权构成。核心网络为注意力增强的堆叠LSTM Q网络,结合经验回放、ε-greedy策略、Adam优化器和周期性训练;先在源域预训练,再以θtarget(0)=θsource*初始化并在目标域微调。研究设置20个实验场景,与差分进化、遗传算法、粒子群优化、近端策略优化和深度Q网络比较,并在AM四个领域比较零样本学习(zero-shot learning)与领域自适应(domain adaptation)。

5.2 Rewards(奖励):通过比较TL与扩展Kanban、恒定在制品(constant work-in-process, CONWIP)等策略的平均收益,TL持续获得最高收益并优于RL;CONWIP/SPT在CONWIP类中较高,扩展Kanban居中,CONWIP类整体最低,结论是TL可利用源域知识提高成本效益,CONWIP更适合高波动复杂环境。5.3 Productivity(生产率):通过比较两线平均生产和吞吐量,生产线1在RL下多数较高而TL短暂收敛时例外,生产线2在TL下更高且TL吞吐量持续较高,结论是微调优先优化目标线并改善产品流、降低系统低效。5.4 Reliability(可靠性):通过比较生产线1失败单元和维护次数,RL与TL失败单元少于EKFCFS、CONSPT等传统方法,TL微调减少生产损失和停机并提高质量与设备健康;RL与TL授权维护少于传统方法,RL略多于TL,结论是学习型方法可减少废品和成本,TL提升整体效率。5.5 Performance of the proposed approach(所提方法性能):通过设置50000件产量阈值评估,TL智能体在7084.3时间单位达到阈值,转移比为2.33,对应达到全规模生产所需时间减少23.6%;价值热图显示高值集中在机器可用性平衡、低缺陷率和稳定能耗区域,Q值热图显示作业A至E具有状态感知调度偏好;与DE、GA、PSO、PPO、DQN比较,所提方法平均奖励81.77、平均吞吐量0.601、平均利润比1.741、平均可用性1.000,奖励和吞吐量最高,但OEE非最高,归因于故障事件、质量和能耗成本;结论是TL加速收敛并提高决策质量,优于静态规则、优化算法和对比RL。5.6 Sensitivity analysis of the framework(框架敏感性分析):通过调整α与β权重并在100个回合、100个时间步下评估奖励设计,“仅利润”获得高收益和高吞吐,“强调OEE”保持高可用但产量较低;方差分析显示权重配置对性能有统计显著影响,F统计量为11.081、p=8.923×10?9、η2=0.0472;网络配置比较中“更快训练”平均奖励最高但方差大,“更大LSTM”最大奖励达1.8×108,“较低学习率”中等且较稳定,“更小LSTM”不优;结论是奖励权重需谨慎选择,网络规模与更新频率影响利润和训练稳定性。5.7 Performance analysis in the AM environment(AM环境性能分析):通过四个AM域比较零样本学习与领域自适应,二者平均奖励差异≤3;标准域领域自适应略优,能源密集域自适应下降,高需求域预训练网络略降,低可靠性域自适应最大下降,增益仅第一域为正、第四域为负;零样本学习混淆矩阵非对角值为0.544—0.641,领域自适应对角线完美且非对角为零;零样本学习动作熵较高且各域相似,领域自适应熵显著降低;结论是TL跨域鲁棒,领域自适应收益具有域特异性,在高能耗或频繁故障环境可能有限或有害,领域自适应可形成确定且域特定的策略。

讨论部分总结:讨论将所提方法与进化算法、临时调度控制策略和RL比较,认为TL通过复用源线知识优化多面制造系统,提高收入和吞吐量,目标线高需求产品库存增加;通过授权维护和维修保持高机器可用性,失败产品未因连续加工新件而对收入形成明显负影响但能耗较高;AM中领域自适应较零样本学习更能适应新环境;多线并行系统在汽车零件厂等实际场景常见。

研究结论翻译:本研究提出了一种基于TL的方法,用于联合多线制造,采用带注意力机制的LSTM网络改善涉及多条生产线的随机制造环境中的控制与调度。考虑了一个两生产线制造环境,网络在生产线1中预训练,并在优化过程中持续在生产线2中微调,训练和微调由RL智能体执行。所提方法在各种波动场景和条件下评估,并与传统控制与调度方法比较。评估表明,TL可显著增强多线制造环境的效率和鲁棒性;该方法在学习过程中实现更快收敛,学习曲线较传统RL约提前30%稳定,从而降低训练延迟并加速部署;加速收敛通过减少故障单元和维护事件显著降低运营成本和意外停机;此外,所提方法持续产生更高产量、提高吞吐量并缩短周期时间;就所选动作而言,所提方法通过主动安排维护使加工机器保持接近最优利用率。这些发现表明,所提TL方法为涉及不断变化数据流的现代工业环境中的联合控制与调度提供了可扩展且鲁棒的解决方案。所提方法应用于涉及多台打印机的AM环境,以突出方法跨不同制造领域的可迁移性;使用领域自适应和零样本学习在不同领域配置下评估,结果表明领域自适应仅在1个领域改善深度神经网络性能,而在高成本和频繁故障领域影响最小;同时,TL在各领域提供鲁棒性能,表明领域自适应应仅在逐案AM场景中应用。鉴于该方法已证明的功效,未来研究应考虑:实施多智能体协调机制以评估方法在更大型生产网络中的性能;集成在线自适应以确保网络源知识随目标域动态变化而持续更新;在真实工业环境中实施和评估所提方法,将其集成到多层面制造系统中以优化过程并监控活动,并可集成到IoT设备等物理设备中收集和分析真实制造数据,从而促进框架在实际制造系统背景下的验证,缩小仿真与工业实践之间的差距。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号