大型语言模型在创意和假设生成任务中的适应性研究：下游任务适配、知识蒸馏方法及其挑战

《ACM Computing Surveys》：A Survey of Adaptation of Large Language Models to Idea and Hypothesis Generation: Downstream Task Adaptation, Knowledge Distillation Approaches and Challenges

本研究系统综述了大型语言模型（LLMs）在创意生成任务中的应用，分析其现有技术瓶颈，提出整合知识图谱、因果推理与逻辑推理的改进框架，并探讨知识蒸馏等定制化方法在 idea/hypothesis generation 中的潜力，最后总结技术挑战与未来方向。

　　

摘要

创意过程（如想法生成和假设构建）需要较高的推理能力。头脑风暴、分析推理、归纳推理等多种推理方法已被证明在这一领域的研究中非常有效。为了应对这些具有挑战性的任务，机器学习技术得到了广泛研究。然而，这些技术在推理能力方面存在局限性，无法完全满足需求，因此语言模型的出现为这一方向的研究带来了新的活力。大型语言模型（LLMs）已成为实现高效生成任务和支持语言理解的最新技术。BERT、BARD、GPT 和 LLaMa 等模型主要基于Transformer网络架构，在文本分类、情感分析、语言推理、问答、文本摘要和命名实体识别等下游任务中取得了显著成果。然而，将这些模型应用于想法生成和假设构建等新兴任务的需求揭示了新的研究机会。本研究通过系统性的文献回顾，分析了LLMs在传统下游任务中的应用情况，并探讨了将其适配到这些新任务中的可能性。此外，研究还研究了用于定制化和知识提取的技术，以帮助这些方法更好地解决想法生成和假设构建问题。同时，我们分析了基于LLM的研究在实现这些目标时所面临的局限性，并提出了一个高层次的概念框架来总结研究结果。最后，讨论了在想法生成和假设构建中结合知识图谱、因果推理和逻辑推理与LLM提取方法的潜力。最后，还探讨了在这些研究中将LLMs适配到这些任务所面临的挑战。