GenAlign：视觉知识图谱作为属性对齐生成式设计的交互式基底

《ADVANCED ENGINEERING INFORMATICS》：GenAlign: Visual knowledge graphs as interactive substrates for property-aligned generative design

　　

# 摘要

设计师经常使用模糊的形容词（例如"现代"）来描述设计目标；然而，生成式AI系统难以应对这种模糊性，导致语言、意图和结果之间的错位。当预期含义保持隐式且非结构化时，设计生成无法被精确引导，从而导致语义漂移。我们不再仅仅记录用户过往操作，而是提出GenAlign——一个基于图结构、人机协同的设计支持系统，它将认知性的视觉属性外化为视觉知识图谱（VKG）中的"片段-属性绑定"。GenAlign将抽象属性外化为片段-属性绑定，并通过实时VKG更新将其维护为可检视、可复用且个性化的绑定关系。在一项包含24名专业设计师的被试内研究中，GenAlign将抽象属性转化为可复用的属性词汇库，支持个性化设计策略，并减少了迭代过程中的逐步语义漂移。我们讨论了VKG如何作为操作性边界对象，连接解释性设计表征与可执行设计表征，而非消除模糊性。

# 引言

近期设计支持领域的工作正从生成大量替代方案转向建模个体设计师不断演进的意图和偏好，以提供定制化的辅助[1], [2], [3]。从这一视角来看，核心挑战在于系统如何识别、表征和复用主观意图。

抽象语言中的语义模糊性使意图解读变得复杂：尽管模糊性在早期阶段对发散和重构具有积极作用，但它受益于通过共享边界对象（例如情绪板或范例）进行渐进式稳定化，从而使形容词与属性之间的映射关系变得可检视和可修正[4], [5], [6]。设计师经常以"现代"或"经典"等形容词开始，勾勒出大致的风格方向，然后才落实到具体属性[7], [8], [9], [10], [11]。当设计师输入诸如"现代沙发"的提示词时，生成模型必须在多种解读中选择一种，从纤细的金属腿和极简造型到厚实的皮革坐垫和锐利棱角。难点在于，同一个形容词在不同的设计师之间，甚至对同一位设计师在不同情境下（例如沙发与桌子），可以指代不同的具体属性（例如材质、颜色、几何形状）。近期的生成式设计工具以不同方式应对这种模糊性：微提示系统将长提示词分解为标签[12]，基于参考的系统重组选定的图像碎片[13]，修补工具通过遮罩实现直接局部编辑[14]。然而，这些方法依赖于非结构化的历史记录，无法积累个性化含义：提示词对话日志或图像库展示了"什么发生了变化"，但没有说明"为什么变化"或"哪些属性被绑定到了哪些部分"。因此，先前定义的"现代腿"等解读保持隐式且不可复用，设计师在切换对象时（例如从桌子到椅子）需要重新陈述意图。设计师因此不得不反复调整提示词（例如"更现代"、"把腿做成金属的"）来说服模型，这通常导致意外的变化和跨迭代的语义漂移[15], [16], [17]。

我们不再仅仅记录用户过往操作，而是提出GenAlign——一个交互式GenAI系统，它利用视觉知识图谱（VKG）来结构化和对齐认知性的视觉属性与属性值（图1）：GenAlign将图像分解为语义片段，并呈现每个片段的视觉属性，将这些片段-属性绑定维护为持续更新的状态。设计师通过与该状态交互来复用属性——通过拖放将属性跨片段复用，在选定片段上局部编辑属性值，并基于当前关联的视觉属性条件化新图生成，而无需反复重写提示词。VKG可围绕片段或属性进行重新组织，并按视觉属性进行筛选，使设计师能够在探索过程中检视和修正抽象形容词如何被具体绑定到图像部分。

我们将VKG概念化为一个操作性边界对象[18]：一种同时具有解释性（外化模糊意图以供检视）、可操作性（可直接操作以条件化生成）和积累性（跨迭代和对象保留决策）的产物。与传统设计中的边界对象——情绪板、草图、材料样本——不同，后者可以协调理解但无法执行决策[19]，VKG既表征意图又将其操作化为生成约束。这种双重特性使我们称之为"语义锚定"：一旦设计师确立了"现代腿"意味着纤细+金属+棱角，这一解读便作为计算约束持续存在，而非作为短暂的语言消散。

为评估GenAlign，我们进行了一项包含24名专业设计师的被试内研究，旨在回答三个问题：GenAlign是否提升了设计师对生成输出的控制力、它如何影响探索和细化过程、以及设计师在使用结构化表征与语言表征表达意图时的体验。GenAlign在没有VKG支持的支持的基线界面下，通过产生更多语义三元组并减少迭代生成中的语义漂移来表现更优。尽管两种条件下提示词编辑次数没有显著差异，但设计师使用GenAlign时生成了更多的设计成果，以提示词作为初始锚点后进行片段级细化。参与者反馈，将抽象形容词外化为可复用的片段-属性绑定（例如：腿—由…制成→金属（片段—谓语→属性））使他们能够建立并一致地应用个性化设计词汇库，提高了探索效率和感知到的意图对齐度。

总之，本文的主要贡献如下：
- **片段-属性绑定作为可操作设计状态**：一种交互设计，将抽象提示词外化为设计师特定图谱中的可检视、可迁移且可追溯来源的绑定关系。
- **实时VKG构建与更新管线**：将分割、属性提取和基于视觉属性的条件化推理集成到统一的图结构中，并通过用户交互增量更新。
- **基于对比研究（N=24名专业设计师）的语义消歧经验性表征**：证明基于VKG的编辑将交互从语言协商转向属性组合，在可控性、可追溯性和感知意图对齐方面均有提升。

# 相关工作

GenAlign将抽象属性外化为跨设计迭代持续存在的结构化、可复用知识。我们回顾三条研究脉络：（2.1）生成式设计支持及其在意图积累方面的局限，（2.2）知识图谱作为捕捉设计师特定语义的交互基底，以及（2.3）视觉表征作为兼具解释性与可操作性的边界对象。

## 设计需求：通过片段-属性分解消歧意图

上述综述揭示现有系统将设计交互视为一次性查询而非累积性知识；以下需求规定了一种持久化、结构化且可复用的表征必须具备何种能力以弥合这一差距。当前生成式设计系统在属性规范为短暂、不可迁移且全局解释的情况下，难以使输出与用户意图对齐。先前的工作已记录了基于提示词的工作流程如何导致语义

## 系统概述

我们介绍了GenAlign，一个利用VKG不断精细化属性条件化图像生成和片段级编辑、与每位设计师不断演进的意图同步的系统（图2）。GenAlign通过VKG的架构设计落实三个设计需求（第3节）：解决DR1（持久属性）：VKG将属性绑定作为持久状态而非短暂提示词来维护。每个片段-属性三元组（例如：腿—由…制成→金属）都存储有

## 视觉知识图谱构建与生成

本节详细说明了GenAlign用于构建设计师特定VKG并基于累积的片段-属性绑定条件化生成的技术管线。

## 用户研究

为了解GenAlign如何帮助设计师解决模糊的设计任务，我们进行了一项包含24名专业设计师的被试内研究。我们旨在回答以下研究问题：
- RQ1：基于VKG的编辑是否提升了设计师对生成输出的控制力和感知到的意图对齐度？
- RQ2：将片段-属性绑定外化到VKG中如何影响设计师的探索和细化过程？
- RQ3：设计师在使用GenAlign时的体验和策略是什么？

## 结果与发现

我们通过三个研究问题评估基于VKG的片段-属性分解解决语义模糊性的有效性。RQ1考察基于VKG的编辑是否通过使模糊属性显式化来提升设计师对生成输出的控制力和感知意图对齐度。RQ2探究将这些绑定外化如何通过提供稳定的语义锚点来影响设计师的探索和细化过程。RQ3探索设计师在使用

## 讨论：语义消歧作为持续的解读过程

我们的发现表明，消歧最好被理解为分布在多次交互中的持续解读工作[5], [6]，而非在单次提示词中解决的问题。

## 局限与未来工作

**领域范围与可推广性。** 我们的受控用户研究仅在家具和室内设计任务中评估了GenAlign，这些领域的片段-属性结构定义明确。然而，图7表明VKG管线可跨结构多样的领域运行：图形插画被分割为形状基元（圆形、矩形）并赋予颜色和材质属性；时尚物品被分解为功能部件（围巾、帽子、手套）并赋予针织等风格属性

## 结论

GenAlign证明了通过结构化属性绑定进行语义消歧可以根本性地改变生成式设计工作流。通过将抽象属性外化为片段级属性并结构化为操作性知识图谱，系统将交互从语言协商转向属性组合，从被动期望转向主动组装，从事后情绪板转向可执行词汇库。重要的是，研究揭示了一条通向

## CRediT作者贡献声明

Jiin Choi：撰写—原稿、可视化、验证、软件、方法学、调查、形式分析、数据整理、概念化。Minkyung Seo：撰写—原稿、调查、数据整理。Kyung Hoon Hyun：撰写—原稿、监督、资源、项目管理、调查、资金获取、概念化。

## 利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

## 致谢

本工作由贸易、工业与能源部（MOTIE，韩国）资助的技术创新计划（RS-2025-02317326，基于设计师意图的AI驱动设计生成技术开发）支持。

Jiin Choi | Minkyung Seo | Kyung Hoon Hyun