通过遗传编程和大型语言模型辅助的课程学习进行策略搜索

《ACM Transactions on Evolutionary Learning and Optimization》：Policy Search through Genetic Programming and LLM-assisted Curriculum Learning

课程学习（CL）通过多样化用户提供的难度递进且有序的测试用例优化策略搜索。本研究评估大型语言模型（LLMs）作为GP优化策略的测试用例生成器，在单人和多人游戏中使用四类LLMs生成测试用例，实验表明LLM辅助CL的有效性取决于模型选择、提示设计和调度策略，为自动化课程设计提供关键启示。

　　

摘要

课程学习（Curriculum Learning, CL）是指利用用户提供的多样化测试用例来学习策略，这些测试用例具有不同的难度级别，并按照适当的顺序组织起来。测试用例的质量对于遗传编程（Genetic Programming, GP）等优化技术解决策略搜索问题至关重要。在这项研究中，我们评估了大型语言模型（Large Language Models, LLMs）作为基于GP的策略搜索测试用例提供者的能力。我们考虑了两种策略搜索任务：单人游戏和多人游戏，并使用了四种在复杂性和专业化方面各不相同的LLMs，通过对其进行引导来生成适用于这两种游戏的测试用例。我们通过实验评估了LLM生成的测试用例本身的质量及其在遗传编程优化过程中的实用性。我们还评估了该方法在测试用例安排方式以及策略表示方式（我们使用了由GP进化得到的图和线性程序）方面的鲁棒性。研究发现，LLM辅助的课程学习的有效性既取决于LLM的选择，也取决于引导和调度策略的设计。这些发现为在基于GP的自动化课程设计中利用LLMs提供了重要的参考。