一种结合检索增强技术的可解释产品创意方法：统一概念设计知识图谱与大型语言模型

《ADVANCED ENGINEERING INFORMATICS》：A retrieval-augmented method for explainable product ideation: unifying conceptual design knowledge graph and large language models

　　杨帆聪|隋怀宇|詹杰楚|帕万·特贾斯维·维利维拉|彭超王|瑶瑶菲奥娜·赵|王佳杰
香港理工大学设计学院，红磡999077，中国

**摘要**
产品构思对于推动创新至关重要，尤其是对于市场上新兴的产品，这些产品需要不断的迭代以满足不断变化的用户需求。虽然大型语言模型（LLMs）具有强大的生成能力，但由于知识 cutoff和缺乏可解释性，它们容易产生幻觉。相反，知识图谱在结构化设计知识积累和推理方面表现出色，但在文本到文本和全面设计构思方面的表现较弱。为了解决这些局限性，本研究提出了一种可解释的产品构思方法，该方法通过检索增强生成（RAG）框架将LLMs与可解释的概念设计知识图谱（I-CDKG）相结合。该方法包括四个关键组成部分：构建一个对设计师友好的知识图谱来存储动态增长且最新的概念设计知识；开发一个图查询生成模型，将自然语言设计问题自动转换为针对特定知识检索的查询；利用检索到的上下文知识生成RAG提示，以增强输入到LLMs的初始提示；以及生成带有多方面解释的基于现实的构思输出，帮助设计师理解生成逻辑。该方法通过一个实际的设计案例进行演示，并通过定性和定量分析进行评估，突出了LLMs和I-CDKG的互补优势。验证表明，所提出的方法使LLMs能够生成更具上下文丰富的构思，同时减少幻觉，并利用构建的设计知识图谱提高透明度和证据可追溯性。这有助于发展更加可信且以设计师为中心的认知智能驱动的产品设计。

**引言**
概念生成是产品创新中的关键阶段，设计师在此阶段探索解决方案空间并开发新的产品概念[1]。以往的设计和创新研究强调，构思本质上是一个知识重组的过程，设计师通过重新解释和整合现有设计知识来生成新想法。然而，在早期概念设计阶段，设计师常常面临有效访问、组织和利用相关设计知识的挑战，尤其是在历史数据和先前设计案例有限的新产品领域。
大型语言模型（LLMs）的最新进展展示了其在支持基于自然语言的构思方面的强大潜力，这得益于它们对大规模预训练知识的利用[2]。诸如微调[3]和提示工程[4]等技术已被用来增强生成设计概念的创造力和多样性。尽管如此，基于LLM的构思仍面临一些关键局限性。首先，它们容易产生幻觉，生成看似合理但实际上不正确或无法验证的设计建议。当设计完全新的产品时，LLMs仍然存在知识 cutoff问题[5]，[6]，因为它们通常缺乏最新的设计知识。例如，2024年推出的Apple Vision Pro只有一个版本，这使得LLMs在没有实时数据的情况下难以提供相关见解。当前基于LLM的产品设计方法的第二个局限性是由于黑盒性质而导致的缺乏可解释性[7]，[8]。LLMs将知识编码在其模型参数中，使得解释、验证及其输出与设计师的认知过程对齐变得困难[4]。在构思阶段，可解释性是必不可少的，因为如果没有“为什么”的解释，生成的想法很难被设计师接受[1]。这将削弱信任感，并使设计师浪费时间去验证输出，而不是专注于创新[9]。
为了解决这些局限性，结构化设计知识被探索作为支持构思的补充资源。基于知识工程和基于本体建模的长期研究，知识图谱（KGs）作为一种有效的范式出现，因为它们能够以结构化、透明和可解释的方式表示领域知识。作为设计师强大的辅助工具，KGs充当“第二大脑”，提供及时和结构化的灵感和支持。在产品设计背景下，KGs已被用于捕捉产品功能、结构和原则之间的关系。它们可以高效支持产品制造[10]、产品定制[11]和产品性能评估[12]等任务。随着设计知识的不断积累，特别是对于快速发展的产品，KGs可以作为持久和结构化的存储库，促进构思过程中的知识重用和系统探索。
然而，尽管KGs在知识表示和检索方面具有优势，但现有的基于KG的方法在支持自动自然语言到自然语言（NL-to-NL）构思生成过程方面的可用性往往有限。设计师通常通过正式的查询语言（例如Cypher）与KGs交互，这需要技术专长并增加认知负担。此外，KG查询的输出通常是结构化数据（例如节点或三元组），缺乏连贯且上下文丰富的自然语言描述，使得设计师难以直接解释和重组检索到的知识。因此，仅依赖KGs不足以支持直观且对设计师友好的构思工作流程。
最近的研究表明，将KGs与LLMs相结合提供了将结构化知识与生成能力结合的有希望的方向。检索增强生成（RAG）提供了一个通用框架，使模型能够在构思生成过程中访问最新和特定于领域的信息。RAG不仅依赖于参数化知识，还允许LLMs结合检索到的上下文知识，从而提高事实一致性和减少幻觉[13]，[14]。在设计背景下，这种整合有潜力支持更加基于知识且可解释的构思过程。
在我们的先前工作基础上构建了可解释的概念设计知识图谱（I-CDKG），本研究提出了一种将知识图谱与大型语言模型结合的可解释产品构思方法。本研究的总体动机是使构思生成过程更加透明，使设计师能够理解AI生成想法背后的逻辑，从而建立更大的信任。在概念设计中，可解释性尤为重要，因为设计师必须理解生成想法背后的推理路径和可追溯的证据。
所提出的双向方法包括四个关键组成部分：存储、检索、增强和生成。首先，使用深度学习算法构建I-CDKG，作为特定于产品设计的可靠知识存储库。其次，从构建的设计知识图中自动进行信息检索，其中用所提出的C-Text2Cypher模型将自然语言描述的设计问题转换为图查询。第三，使用检索到的上下文知识来增强初始提示，形成RAG提示。第四，将RAG提示输入LLMs以生成最终构思输出，并附带三种类型的可追溯证据：从设计问题转换的Cypher查询、增强的RAG提示以及从知识图中检索的图形知识。所提方法的关键步骤确保了从自然语言设计问题到可解释的文本设计解决方案的无缝过渡，有助于开发更加可信的智能驱动的产品设计系统。

**本文结构如下**
第2节提供了相关研究背景的概述。第3节详细介绍了通过将设计知识图谱与LLMs结合使用RAG的可解释方法。第4节包括一个示例案例研究，以证明所提方法的可行性。第5节基于结果评估和讨论了有效性和影响。最后，第6节总结了本文并提出了未来研究的局限性和方向。

**节选**
**LLM辅助的产品构思**
LLM辅助的产品构思可以分为三类：基于微调的、基于提示的和基于RAG的。在ChatGPT流行之前，一些学者已经探索了生成预训练变压器（GPT）在口语设计概念生成中的潜在应用。那时，微调技术被用来使GPT模型更加专业化。Zhu等人[15]收集了一个数据集……

**方法论**
该方法论基于GraphRAG设置[51]。给定一个基于自然语言的设计问题p，首先将其转换为Cypher查询c(p)，以便从外部KG数据库G中检索相关知识k(p)。然后使用检索到的知识k(p)构建增强的RAG提示p′，作为生成最终产品构思a(p)的输入。这里，可解释的概念设计知识图谱（I-CDKG）被用作外部数据库G。

**案例研究**
智能猫砂盆被选为一个具有代表性的新颖产品，因为它最近出现、立即受到欢迎，并在市场上引发了迅速的模仿。它展示了需要持续设计迭代才能保持领先地位的新产品。
4.1 I-CDKG集成
4.2 概念设计知识检索
4.2.1 问题-查询对准备
4.2.2 C-Text2Cypher模型构建
4.2.3 Cypher查询生成
4.3 RAG提示增强
4.4 配备了……

**结果和讨论**
为了验证我们提出的产品构思方法的有效性，我们进行了一系列针对不同方面的评估。这些评估对于展示LLM和I-CDKG之间的互补性以及它们对生成构思结果的影响至关重要。

**结论**
随着生成AI的最新进展，KGs和LLMs的集成已成为推进AIPD向CIPD发展的一个有前景的途径。与仅依赖LLMs或KGs的先前工作不同，我们的方法促进了结构化知识和生成推理之间的双向交互。我们发现，KGs和LLMs不仅互相补充，还共同实现了更加可解释和设计师友好的构思过程。这提高了设计师对AI生成结果的信任度。

**CRediT作者贡献声明**
杨帆聪：写作——审阅与编辑、撰写原始草案、可视化、验证、软件、资源、方法论、调查、形式分析、概念化。
隋怀宇：监督、资金获取。
詹杰楚：监督、资金获取。
帕万·特贾斯维·维利维拉：验证、调查。
彭超王：验证、调查。
瑶瑶菲奥娜·赵：监督。
王佳杰：监督、资金获取。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本项工作得到了中国国家重点研发项目[项目编号2019YFB1405702]、香港理工大学未来（关怀）移动性研究中心[项目编号P0042701]、大学战略重要性项目[项目编号P0036851]以及与世界领先研究小组的协作研究项目[项目编号P0039528]的支持。