一种用于指导并丰富利益相关者价值理解与产品需求开发的大语言模型（LLM）

《Proceedings of the Design Society》：An LLM model to guide and enrich the understanding of stakeholder value and development of product requirements

　　

利用大语言模型（LLM）中语言和思想的广泛互联，设计人员通过对目标利益相关者的需求、期望和欲望的理解，借助价值机会分析（VOA）方法来定义产品或服务解决方案的价值主张和产品设计要求。由此产生的VOA LLM Bot探索情感、美学和其他人类重视的属性，并显著提高了将VOA视为识别产品需求和分析机会解决方案的有用方法的认知。

本文解读的论文《An LLM model to guide and enrich the understanding of stakeholder value and development of product requirements》发表在《Proceedings of the Design Society》。该研究针对传统价值机会分析（VOA）方法在实际应用中面临的挑战，尤其是新手难以有效转化定性数据为简洁属性及相应需求的问题，开发了基于大语言模型（LLM）的VOA LLM Bot，旨在辅助设计人员理解和阐明利益相关者价值，并生成产品设计要求。

研究背景方面，过去二十五年间，创新过程的认知机制、计算搜索、流程方法和团队协作等方面均得到深入研究。Cagan和Vogel于2002年提出的价值机会分析（VOA）方法，通过识别情感、美学、社会影响、品牌身份、人机工程学、核心技术及质量七大类价值机会（VO），将利益相关者洞察转化为产品价值主张和需求。然而，该方法的应用需要大量努力和洞察力，尤其对新手而言存在困难。与此同时，以生成式预训练Transformer（GPT）为代表的大语言模型（LLM）技术迅速发展，虽然GPT-4在创意生成和写作等任务中能显著提升知识工作者的生产力和工作质量，但在需要情境判断和综合多样信息的任务中表现不佳，甚至降低解决方案的正确性和思维多样性。因此，研究人员考虑利用LLM的优势并规避其劣势，创建了VOA LLM Bot来指导和告知VOA过程。

研究人员开展了多项工作：首先构建了VOA LLM Bot系统，随后通过一个案例研究展示其具体应用，并通过初步的用户研究评估了该工具的有效性。得出的主要结论包括：VOA LLM Bot能够有效引导用户完成VOA流程，探索情感、美学等人类重视的属性，显著提高用户对VOA方法有用性的认知，并高效产出深入且高质量的产品设计要求。该工具不仅具有实践价值，也为工程与设计教育中增强学生能力提供了新途径。其重要意义在于展示了LLM技术如何增强设计过程，使设计人员能够更具战略性地思考，同时提升了VOA方法的教学与应用效果。

在关键技术方法上，研究人员采用了Dietrich Analysis Research Education（DARE）多智能体LLM框架，基于Anthropic Claude 3.5模型（拥有超过1750亿文本和代码参数）构建了Agent+Helper框架。核心Agent利用检索增强生成（RAG）技术，将《Creating Breakthrough Products》等文献的向量化嵌入存储于向量数据库中，通过语义相似度搜索获取相关上下文，减少幻觉现象。此外，引入迭代智能体对齐过程，通过API评估基础模型能力，逐步优化系统提示和RAG知识库。辅助Helper智能体则专注于监控对话进度，跟踪VOA流程完成情况。用户可通过三面板界面（主对话面板、进度跟踪面板和笔记面板）与系统交互。案例研究选取“为行动不便者设计出行服务”作为机会陈述，用户输入关于竞争服务的描述以测试系统。初步用户研究则招募了卡内基梅隆大学集成创新硕士（MIIPS）在线项目中的5名专业学生，这些学生此前已学习并手动应用过VOA方法，他们在课程项目中使用了VOA LLM Bot，并在使用前后接受调查，采用配对T检验比较感知效益的变化。

研究结果部分，论文主体包含六个章节，分别介绍了研究内容、技术实现、案例验证和评估结论。

1. 1.
   Introduction
   引言部分回顾了创新设计领域的理论基础，指出理解用户及其他关键利益相关者的需求、期望和欲望是创新的关键驱动因素。Cagan和Vogel于2002年引入价值机会分析（VOA）方法，通过图表形式呈现利益相关者看重的产品价值属性及其重要性，进而指导产品需求的制定。尽管VOA方法被广泛用于教学和企业实践，但其应用存在挑战。随着LLM技术的发展，研究人员认识到其潜力与局限，据此开发了VOA LLM Bot，利用LLM技术创建智能代理，引导用户生成VOA，执行产品机会差距分析，并创建产品需求文档。该Bot经过VOA文献训练，通过脚手架式访谈充当用户的设计伙伴，既灵活响应用户输入，又鼓励创造性探索。
2. 2.
   Value and product development
   本章阐述了价值的概念，即人们通过产品或服务体验所需、想要和渴望的内在意义，目标是实现有用性、可用性和满意度。VOA方法包含七个价值机会类别：情感、美学、社会影响、品牌身份、人机工程学、核心技术以及质量。每个类别可进一步细分属性。VOA图表帮助设计人员将定性和定量用户研究及二手资料中所知的利益相关者价值具体化，标明相关属性及其重要程度，进而推导出产品设计要求。案例图表展示了针对行动不便者出行服务机会的分析结果。
3. 3.
   VOA LLM Bot
   本章详细说明了VOA LLM Bot的系统架构与功能。系统基于DARE多智能体LLM框架，采用Agent+Helper框架。主智能体（Agent）作为AI设计伙伴，利用自定义系统提示和检索增强生成（RAG）将响应锚定于VOA方法论，RAG存储文献的向量化嵌入，通过语义搜索检索相关文本块以增强输入，减少幻觉。经过迭代智能体对齐过程，评估基础模型能力，优化提示和知识库，最终形成当前系统。辅助智能体（Helper）作为助手，分析对话以跟踪VOA流程进展，使用简单视觉提示减轻用户认知负荷。用户界面分为三个面板：中央主对话面板、左侧进度跟踪面板和右侧笔记面板。该Bot展示了三种人机协作模式：主动且流程聚焦的指导、主动且问题聚焦的建议，以及基于实时价值表达进度的反应式信息提供。
4. 4.
   Case study
   案例研究以“设计帮助行动不便人士出行的服务”为例，演示了VOA LLM Bot的实际应用。Bot首先询问高层级问题，引导用户逐一探讨VOA类别中的相关价值属性及其原因。用户提供了情感类别中冒险、独立、安全、自信和赋权属性的相关性及理由。Bot随后处理输入，总结所有价值类别，并生成详细的VOA图表，其中情感、身份、交互、性能、质量被评为高重要性，美学和影响为中等，感官性为低。用户进一步提供三家竞争服务的描述后，请求仅基于高价值属性生成产品设计需求，Bot输出了包含预订系统、乘车管理、驾驶员要求、车辆要求、社区功能和支付系统等在内的需求列表。竞争信息的加入使需求数量翻倍，并细化了差异化特征，如增加社区社交功能。
5. 5.
   Assessment of the use of the VOA LLM Bot
   初步用户研究评估了VOA LLM Bot的潜在价值。研究对象为卡内基梅隆大学集成创新硕士（MIIPS）在线项目的5名专业学生，他们此前已学习并手动应用过VOA方法。学生在顶点课程项目中使用该Bot，并在使用前后完成调查。配对T检验显示，使用后设计人员在以下方面的感知均有显著提升：VOA作为识别产品需求有用方法（p=0.03411）、VOA作为识别替代机会解决方案优缺点的有用方法（p=0.03492）、对VOA方法使用的理解（p=0.03492），以及认为VOA时间投入适合其目的的边缘显著性改善（p=0.0993）。结果表明，该工具受到经验丰富开发者的青睐。
6. 6.
   Discussion
   讨论部分强调，VOA方法本质上涉及产品或服务在用户中引发的情感，这是一种基本的人类属性。VOA LLM Bot虽不具备情感，但能处理和区分人类情感，并与用户共同探索这些感受。Bot有效引导用户完成VOA方法，并基于设计人员带来的利益相关者知识和LLM的庞大知识库，增进了理解。最令人印象深刻的是，通过高效应用该方法，产出的产品设计需求描述具有深度和质量。该Bot可供读者使用，体现了LLM技术如何被调整以助力设计人员理解和阐明设计要求，从而提升设计成功的可能性。未来工作将扩大科学分析，探索Bot对人类情感掌握的解释，并定期更新以适应LLM能力的快速发展。

总结讨论部分的核心结论：VOA LLM Bot利用先进的LLM技术，通过引导用户完成VOA流程并探索情感等人类重视的属性，显著提高了设计人员对VOA方法有用性的认知。它不仅能有效辅助实践中的产品设计，还为工程与设计教育提供了增强学习的途径。该工具的成功展示了LLM技术在增强设计过程中的巨大潜力，允许更深入和高效的推理。未来需进一步通过更广泛的研究验证其有效性，并持续更新以应对技术的快速演进。