用于增强产品开发中基于LLM的ML算法推荐的图检索增强生成（GraphRAG）

《Proceedings of the Design Society》：Graph retrieval-augmented generation for enhancing LLM-based ML algorithm recommendation in product development

　　

近期，机器学习（ML）领域的进展为产品开发（PD）提供了巨大潜力，但其应用仍然有限。一个关键步骤是为给定的PD问题识别合适的ML算法，这需要将领域特定的问题表述转化为适当的ML任务。先前的研究表明，由于缺乏领域知识，大语言模型（LLM）在这一步骤中表现不佳。因此，本研究探讨了特定领域的GraphRAG方法是否能够通过从PD知识图谱中丰富结构化上下文来改善模型性能。

研究背景与问题提出

在产品开发（PD）领域，人工智能尤其是机器学习（ML）的应用潜力巨大，涵盖从需求提取到概念生成等多个阶段。然而，许多企业在实施ML时面临困难，关键在于如何根据其特定需求、数据特征和问题结构识别合适的ML应用机会。这一过程通常包含四个步骤：首先形成PD相关问题（PD-problem），进而推导对应的ML相关问题及底层ML问题类型，最终确定可解决的ML算法。该过程需要同时具备领域专业知识和ML专业知识，而这正是企业普遍缺乏的。现有定量方法依赖预定义问题，仅支持已确立的ML问题设置的算法选择；定性方法则受限于有限的算法覆盖和僵化的知识库，无法灵活适应多样化的PD问题表述。先前研究人员探索了利用大语言模型（LLM）进行问题转换，但直接推理的准确率仅为61%，微调带来的提升也十分有限。失败的主要原因在于LLM缺乏对PD背景的结构化领域知识，导致频繁误判ML问题类型和推荐不合适的算法。为了克服这一局限，检索增强生成（RAG）被引入以链接外部知识源，而鉴于PD活动与ML问题间存在固有的层次化和相互关联的特性，图检索增强生成（GraphRAG）能够从知识图谱（KG）中检索上下文信息，从而更有效地提供任务特定知识。基于此，本研究旨在评估领域特定的GraphRAG方法能否改善LLM在PD相关ML算法推荐中的表现，具体研究问题包括：RQ1，GraphRAG能否提高识别正确ML问题类型的可靠性；RQ2，GraphRAG能在多大程度上生成更合理的ML算法候选集并减少不合适推荐；RQ3，领域特定KG的集成是否能提高生成模型输出在重复运行间的一致性。该论文发表在《Proceedings of the Design Society》。

关键技术方法概述

研究人员构建了涵盖任务澄清（TC）阶段的领域特定知识图谱（KG），采用VDI 2221和Pahl & Beitz的流程骨架，定义了六个核心类：Phase、Activities、Design tasks、Method、Subtasks和Atomic ML tasks，并将ML问题分为分类（Cl）、回归（Re）、聚类（Clu）和关联规则（Ar）。在此基础上实现GraphRAG架构，包含嵌入器（使用BAAI/bge-m3句子嵌入模型）、检索器（结合FAISS向量数据库与Neo4j图查询的两阶段检索）和上下文构建器，将检索到的子图线性化为自然语言示例注入提示。评估数据集源自Sonntag和Nagarajah（2025b）建立的语料库，从中选取56个TC阶段问题表述，平衡四种ML问题类型且包含复合问题。实验选用GPT-4o-mini、Gemini 2.5 Flash和Claude Haiku 4.5三个较小规模LLM，比较零样本基线（无图上下文）与GraphRAG条件，温度设为0.2，每问题执行五次重复。评估指标包括图检索质量（GRQ）、任务完成率（TFR）和输出一致率（OCR）。

研究结果

1. 3.
   Results
   实验结果显示，基线条件下各LLM的TFR介于58%至64%之间，其中关联规则（Ar）问题表现最差（6%至31%），而回归（Re）问题最佳（93%）。集成GraphRAG后，整体TFR显著提升，GPT-4o-mini达到最高的88%。Ar问题在所有模型中均提升至100%，但GPT-4o-mini和Gemini 2.5 Flash在Re问题上出现下降（从93%降至79%），表明图上下文可能对这类问题的解释产生偏差。在输出一致性方面，基线OCR最低为29%（Claude Haiku 4.5和Gemini 2.5 Flash），最高为59%（GPT-4o-mini）；GraphRAG使所有模型一致性改善，GPT-4o-mini达到96%。图检索质量（GRQ）平均88%，在不同模型和重复中保持稳定，其中Re问题的GRQ最低（79%），与相应模型TFR下降现象吻合。总体而言，GraphRAG提升了输出质量与一致性。

讨论与结论

4.1. Classes of failures

通过分析失败模式，研究人员定义了四类错误：识别过多ML相关问题、无法识别多个ML相关问题、命名通用AI术语而非具体ML算法、以及ML问题类型误分类。基线条件下这些错误普遍存在，而GraphRAG实施后，前三类错误基本消失，仅剩ML问题类型误分类，且其频率在多数模型中降低，说明GraphRAG有效缩小了错误行为范围。

4.2. Influence of GraphRAG on model performance

针对研究问题的讨论表明：在问题理解（RQ1）上，结构化上下文帮助LLM更准确识别ML问题类型，但检索质量直接影响正确性；在候选推荐（RQ2）上，GraphRAG减少了因问题类型错误导致的推荐失败，但部分模型在检索正确时仍可能给出错误推荐，表现出模型特异性惯性；在输出一致性（RQ3）上，领域上下文显著稳定了生成过程，降低了随机变异。

4.3. Limitations and future work

研究局限性包括未与人类专家表现比较、仅使用商业LLM而未测试开源模型、局限于TC阶段问题、未采用提示工程优化等。未来工作应扩展KG至后续PD阶段，结合提示策略，并评估更大规模基础模型。

1. 5.
   Conclusion
   结论指出，GraphRAG方法能显著提升较小规模LLM在识别适用ML算法方面的准确性和鲁棒性，其中GPT-4o-mini取得了最高的TFR_GraphRAG（88%）。尽管仍存在检索错误或误导的风险，该研究证明了用结构化工程知识丰富LLM提示的潜在益处。未来研究需扩展至后续PD阶段，探索与提示工程的结合，并在开源及大型基础模型上验证性能。