《International Journal of Human-Computer Studies》：iGOAT: Intelligent linkoGraphy for online analysis and tracking of ideation process
编辑推荐：
创意过程追踪与AI辅助连图法研究：提出iGOAT工具，通过大语言模型实现设计步骤自动提取、关联分类及灵感生成，支持分层可视化与紧凑式视觉刺激呈现。
何晨康|兰浩伦|程轩|林俊聪|罗国亮|夏嘉志|王成|陈伟
厦门大学，中国福建省厦门市思明南路422号
摘要
构思是设计过程中的关键步骤，通常伴随着活跃但可能杂乱无章的讨论，因此很容易失控。为此提出了“链接图谱”（Linkography）来追踪、可视化和分析构思过程。然而，手动维护工作繁琐，给用户带来沉重负担，往往需要离线构建。本文介绍了基于大语言模型（LLMs）的AI辅助计算工具< />，该工具能够半自动化地分析用户提出的想法，并提供新的灵感或刺激。我们设计了一种从宏观到微观的探索方案，让用户可以根据需要整体了解整个过程或在特定时刻深入细节。系统生成的上下文相关视觉刺激被分解为不同元素，并在有限的屏幕空间内层次化展示。通过一系列实验和用户研究验证了链接图谱在在线追踪和可视化构思过程中的有效性。尽管在偏见和准确性等方面仍存在一些局限性，但LLMs在全面支持构思过程（包括想法提取、关联和启发等）方面展现出巨大潜力。
引言
设计是人类的一项天赋，也是一个高度创造性的过程。其中，构思阶段对产生创新设计具有最重要的影响。小组头脑风暴是最受欢迎的创新想法生成方法之一，它通过鼓励小组成员自由分享想法来积累大量创意（Nijstad和Stroebe，2006年）。
然而，小组头脑风暴也具有脆弱性。产生新颖、非传统甚至偏离常规的想法在认知和社会心理层面都颇具挑战（Diehl和Stroebe，1987年；Nijstad和Stroebe，2006年）。设计师们常常从现实世界中的视觉示例和概念中获取灵感。研究表明（Kang等人，2021年；Wang等人，2010年），相关图像有助于增加头脑风暴中产生的想法多样性。另一种常用的方法是利用群体智慧，大量且多样化的参与者可能促进协同创意的产生。然而，群体创意技术的应用有时会带来意外后果，例如小组成员之间缺乏协调可能导致思维固化（Jansson和Smith，1991年），从而干扰解决方案空间的探索，最终产生大量重复且浅层次的想法。实证研究显示，头脑风暴中的想法生成速度在30分钟后会放缓并趋于稳定，而想法质量在20分钟后就会显著下降（Howard等人，2011年）。随着讨论深入，情况可能变得混乱：大多数个体想法的质量通常较差（Dow等人，2013年）；由于缺乏协调，许多显而易见的想法可能会被多次提出（Siangliulue等人，2016年）。此外，筛选有前景的想法需要大量时间，尤其是当引入群体参与时问题更加严重。群体带来的规模和多样性虽然有助于创意产生，但也可能阻碍创意输出，因为个体难以阅读所有想法（从而可能错过那些能启发他们的灵感），更不用说关注它们了（Nijstad和Stroebe，2006年）。因此，亟需有效的工具来组织整个过程、追踪想法并理解其中的动态变化。链接图谱（Linkography）被提出用于记录、可视化和分析行动、想法或事件之间的联系（Roozenburg，2016年），但这种方式是离线的，需要事后从整个构思过程的录音中构建。
链接图谱的概念可以追溯到20世纪70年代中期。研究人员观察到设计师倾向于使用固定的思维模式，并抵制任何试图引导他们偏离自然流程的尝试（Youmans，2011年；Crilly，2015年）。这些规定的方法要求设计师按照严格顺序执行预先确定的步骤，这与所谓的“自然设计思维”相悖。研究人员开始讨论“描述性设计模型”，并将其与规定性模型或方法区分开来。他们意识到，准确描述实际设计行为对于理解真实设计实践中的思维过程至关重要（McDonnell，1997年）。链接图谱最显著的特点是采用了认知心理学中广泛使用的协议分析（Goldschmidt，2014年）技术来记录和描绘设计师的思维过程：设计师被要求同时口头表达他们的想法，这些想法随后被记录下来形成协议；研究人员再对这些协议进行解析，将其分解为分析单元，并开发分类方案来编码这些片段，从而研究它们之间的联系（Kan和Gero，2008年）。
图1解释了链接图谱的常见特征和术语。最常见的思维分析单元称为设计步骤，根据发生顺序排列在时间轴上（水平轴上的绿色圆圈）。两个步骤之间的关系由链接（蓝色圆圈）表示。这些关系可以是并行的（将一个想法应用于新情境）、渐进的（通过小改进发展出单一解决方案）、新的（由问题或评论引发的新设计想法）、替代的（改变某个元素或应用于新情境）或相关的（通过共同主题建立认知联系）。关键步骤（Critical Moves，CMs）是指与先前步骤（回链）或后续步骤（前链）有大量链接的设计步骤。设定一个链接阈值（，通常为），作为判断一个步骤是否关键的标准（Goldschmidt，2016年）。例如，图1中的步骤1和7都是关键步骤（一个有四个前链，另一个有四个回链），分别标记为。为了展示如何用链接图谱表示设计过程，我们在图2中展示了一些包含四个设计步骤的例子。在第一个案例（图2a）中，四个步骤完全无关，表明这个过程缺乏收敛性，因此不是一个丰富的创意过程。相比之下，案例2（图2b）中的所有步骤都相互关联，呈现了一个没有多样化的整合过程，暗示了一个想法的过早固化。在案例3（图2c）中，步骤仅与最后一个步骤相关，说明过程在进展但缺乏发展。在最后一个案例（图2d）中，步骤3与其他步骤无关，表明存在一个核心想法和一个多样化想法。这种情况表明过程有主题但并不单调，说明是一个丰富的创意生成过程。
链接图谱的一个主要问题是手动维护工作繁琐，尤其是在在线应用中。用户需要识别、重新表述和分类参与者提出的设计步骤，并立即确定它们与之前的步骤之间的关系。更糟糕的是，随着构思过程的活跃，想法会迅速涌现，使得维护工作非常密集。因此，链接图谱目前通常是离线构建的，讨论内容事后被转录和分析（Pourmohamadi和Gero，2011年）。随着头脑风暴的深入，链接图谱会变得越来越复杂，这对屏幕尺寸有限的情况提出了严峻的可视化挑战。在本文中，我们提出了基于LLM的增强型链接图谱工具< />（图3），以应对这些挑战并帮助追踪构思过程。具体贡献包括：
•从宏观到微观的链接图谱探索。用户可以在更高层次上观察整个构思过程的结构模式，并深入研究每个设计步骤。设计了多种符号来直观展示不同类型的设计步骤及其关系。采用符号形状变形技术以确保不同尺度之间的平滑视觉过渡。
•将LLMs全面整合到构思过程中。我们展示了如何利用LLMs进行设计步骤识别、关系分类、想法启发和视觉刺激生成。
•具有紧凑布局的视觉刺激。提供上下文相关的视觉刺激（图像），将其分解为不同元素，并在有限的屏幕空间内精心排列，同时不牺牲刺激的有效性。
•对整个范式的详细评估，配有精心设计的流程图。这些发现为未来的群体构思辅助提供了方向。
部分摘录
构思辅助
鉴于构思在创造性设计中的重要性，许多研究致力于辅助这一过程。一些研究探讨了如何用上下文相关的视觉刺激来激发灵感。DesignAID（Cai等人，2023年）使用图像生成软件为想法词汇创建图像，支持更广泛的设计空间探索。IdeaExpander（Wang等人，2010年）可以根据小组对话智能选择图片刺激。
设计考虑
第四位作者教授一门年度本科课程，涵盖软件工程和数字媒体技术专业的学生。在课程初期，我们对8个学生团队（每个团队4-6人）进行了1.5小时的现场观察，观察他们在游戏概念开发阶段的小组头脑风暴过程。在观察过程中，我们记录了团队面临的关键挑战，例如难以追踪创意的演变
设计步骤提取
头脑风暴通常在轻松的氛围中进行，参与者随意分享意见。因此，在将节点插入链接图谱之前，我们需要从这些原始描述中识别并提取设计步骤。正如Goldschmidt（2014年）所描述的，设计步骤是“改变现状的步骤、行为或操作”。Van der Lugt（2000年）进一步指出，设计步骤“需要沟通，并表明这个想法被
假设
以往关于创意工具和团队协作工具对创新过程影响的研究表明，有效的工具可以提升团队的创造力和想法产出。特别是在像头脑风暴这样的团队协作环境中，合适的工具对于激发创意至关重要。基于这些观点，我们提出以下假设：H1与Miro相比，iGOAT在头脑风暴中提供了更好的创意支持。用户对其评价
讨论
在本节中，我们讨论了本研究的设计意义。我们还报告了研究的局限性以及未来工作的计划。结论
有效管理构思过程是一项重要而具有挑战性的任务。因此，迫切需要数字工具来追踪、可视化和分析想法的产生和演变。本文提出了一种基于AI的链接图谱系统来满足这一需求。通过引入LLMs，诸如步骤提取和关联等繁琐工作得到了半自动化处理。此外，LLMs还被用来提供灵感，从而避免讨论可能出现的停滞。CRediT作者贡献声明
何晨康：撰写——原始草稿、可视化、验证、方法论。兰浩伦：调查、正式分析、数据管理。程轩：监督、项目管理。林俊聪：撰写——审阅与编辑、资金获取、概念化。罗国亮：撰写——审阅与编辑。夏嘉志：撰写——审阅与编辑。王成：撰写——审阅与编辑。陈伟：撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
致谢
本工作得到了中国国家自然科学基金（项目编号62077039）的支持。
