基于大语言模型与强化学习的知识引导单纯形搜索方法用于注塑质量控制

《ADVANCED ENGINEERING INFORMATICS》:RLLM-SS: A knowledge-guided simplex search method integrating large language model and reinforcement learning for injection molding quality control

【字体: 大 中 小 】 时间:2026年01月27日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  在注塑(IM)过程中,产品质量和过程稳定性高度依赖于关键工艺参数的设定,因此高效的参数调优对于实现可靠且一致的生产至关重要。然而,传统的调优过程主要依赖专家经验和试错法,这往往导致效率低下且调整周期长。为应对这一挑战,研究人员提出了一种知识引导的单纯形搜索方法

  
在注塑(IM)过程中,产品质量和过程稳定性高度依赖于关键工艺参数的设定,因此高效的参数调优对于实现可靠且一致的生产至关重要。然而,传统的调优过程主要依赖专家经验和试错法,这往往导致效率低下且调整周期长。为应对这一挑战,研究人员提出了一种知识引导的单纯形搜索方法,该方法将大语言模型(LLM)与软演员-评论家(SAC)强化学习算法集成在一个协同优化框架中,称为RLLM-SS。在RLLM-SS中,一个准梯度机制利用历史数据来动态估计单纯形搜索方法的步长和梯度补偿方向。这些估计变量与领域知识相结合,被编码为结构化提示,通过自然语言推理指导注塑质量LLM动态调整单纯形系数。这使得单纯形搜索能够克服固定系数的限制,并最大程度地避免陷入局部最优。为缓解LLM的缺点(例如产生幻觉输出和缺乏对过去调优调整的记忆),引入了一个基于SAC的评估模块。该模块根据优化性能分配奖励,从而在类似情况再次出现时强化有效策略并促进策略的持续改进。实验评估首先在标准高维基准函数上验证了LLM-SS,证实了其在复杂搜索空间中的有效性;随后在一个基于实际IM过程数据训练的神经网络构建的注塑质量仿真平台上进行了实验。结果表明,RLLM-SS优于几种先进方法,平均迭代次数减少了27.6%,与目标质量曲线的最终欧氏距离减少了68.3%。在高斯噪声扰动下,该方法也保持了强大的鲁棒性。
本研究在《ADVANCED ENGINEERING INFORMATICS》期刊上发表,旨在解决注塑成型工艺参数优化中的核心难题。注塑成型作为现代塑料制造的关键技术之一,其过程涉及多个相互作用的变量,确保产品质量并提升质量控制效率至关重要。然而,传统的参数调优方法严重依赖人工调整和操作员经验,这些方法通常耗时、效率低下且缺乏系统性优化,难以应对现代注塑工艺的复杂性和多变性。早期的调优方法如Nelder–Mead单纯形搜索法因其简单性、无需导数和在低维优化任务中的鲁棒性而被广泛采用。但在实际应用中,经典单纯形搜索通常需要数十次迭代才能收敛到满意解,这对于实时质量控制而言速度过慢。其固定的反射、扩展和收缩系数限制了在动态过程环境中的适应性。此外,经典单纯形法缺乏全局搜索视角,极易陷入局部最优,其性能在非平稳或有噪声条件下尤为受损。近期研究探索了多种策略,通过将Nelder–Mead算法与其他优化技术结合或引入自适应机制来增强其性能。这些研究的共同目标是通过利用历史、结构或过程衍生信息实现自适应参数调优。

研究人员在动态生产条件下缺乏自适应参数调优能力、易陷入局部最优且对过程扰动鲁棒性有限,以及在优化过程中对过程数据信息和领域知识利用不足的背景下,提出了一种知识引导的协同优化框架RLLM-SS。该框架将大语言模型(LLM)和软演员-评论家(SAC)强化学习算法与单纯形搜索方法集成。具体而言,该方法将两个关键要素纳入LLM的结构化提示中:搜索过程中产生的数值数据以及关于当前优化状态的领域知识。这些提示引导LLM的推理,使其能够自适应地调整单纯形系数。为确保此自适应调优过程的可靠性和安全性,进一步使用SAC构建了一个基于强化学习的验证模块,通过奖励-惩罚机制评估LLM生成建议的有效性。此外,考虑到LLM的计算延迟可能对实时部署构成挑战,本研究聚焦于概念验证。该框架采用SAC智能体来提炼LLM策略,旨在减少未来对实时LLM推理的依赖,并为更高效的嵌入式部署铺平道路。

本研究的主要贡献包括:(1)将单纯形搜索过程的数值信息(包括自适应步长和准梯度方向)与当前状态的部分领域知识编码为结构化自然语言提示,这些提示引导注塑质量LLM推理并动态调整单纯形系数。(2)提出了一种互补的SAC智能体,以克服LLM的幻觉和缺乏记忆等局限。该智能体可以从历史调整尝试及其对目标函数的影响中学习,逐步构建一个通用策略,该策略可以在类似情境中复制有效的调优策略,从而在即使没有LLM参与的情况下也能确保可靠的优化。(3)所提方法在一个使用真实注塑数据训练的预测模型上得到了验证,证明了其在动态工业环境中的实际有效性。

研究结果部分通过以下方面进行阐述:首先,研究人员在标准高维基准函数上验证了LLM-SS模块,证实了其在复杂搜索空间中的有效性。随后,利用基于实际注塑过程数据训练的神经网络构建了一个注塑质量仿真平台,并在该平台上进行了实验评估。结果表明,RLLM-SS方法在多个方面优于几种先进的对比方法,包括平均迭代次数减少了27.6%,最终与目标质量曲线的欧氏距离减少了68.3%。此外,实验还证明了该方法在高斯噪声扰动下具有较强的鲁棒性。这些结果共同表明,集成LLM推理和SAC强化学习的协同优化框架能够有效提升单纯形搜索在注塑质量控制任务中的性能和可靠性。

讨论与结论部分总结指出,本研究提出了一种增强的单纯形搜索(SS)算法,用于注塑参数调优,旨在提升产品质量控制。该方法通过利用LLM的推理能力,整合了过程内在的优化数据信息(如自适应步长和补偿准梯度方向)以及特定领域的知识(包括参数约束和目标质量曲线特征)。为了克服LLM固有的局限性,引入了一个SAC强化学习模块,该模块能够从历史调整尝试中学习,构建一个泛化策略,以在类似情境中复制有效的调优策略,从而确保即使没有LLM参与也能实现可靠优化。研究结论表明,所提出的RLLM-SS方法通过知识引导和协同优化,显著提高了注塑工艺参数调优的效率和鲁棒性,为动态工业环境中的智能质量控制提供了一种有效的解决方案。未来的研究方向可能包括进一步优化计算效率、探索更广泛的工业应用以及深化LLM与强化学习机制的融合。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号