迈向人机协同在UI设计中的应用：利用大语言模型（LLMs）支持迭代式设计过程

《ACM Transactions on Computer-Human Interaction》：Towards Human-AI Synergy in UI Design: Supporting Iterative Generation with LLMs

在自动UI设计生成中，PrototypeFlow系统通过多模态输入和主题设计模块支持迭代设计，设计师可灵活控制生成与编辑流程。

　　

摘要

在自动化用户界面（UI）设计生成过程中，一个关键挑战是缺乏对迭代过程的支持，因为大多数系统仅关注端到端的输出结果。这主要是由于在解读设计意图方面的能力有限，以及缺乏对中间结果的优化过程透明度所致。为了更好地理解这些挑战，我们进行了一项初步研究，确定了使用生成工具支持迭代设计的具体且可操作的需求。基于这些发现，我们提出了PrototypeFlow——一个以用户为中心的自动化UI生成系统，该系统利用多模态输入和模型来实现设计目标。PrototypeFlow以自然语言描述和布局偏好作为输入，生成高保真的UI设计。其核心是一个主题设计模块，该模块通过提示优化来明确隐含的设计意图，并协调各个子模块以完成组件级别的设计生成。设计师可以完全控制输入内容、中间结果以及最终原型，从而通过指导生成过程和直接编辑输出来实现灵活且有针对性的优化。我们的实验和用户研究证实了所提出的PrototypeFlow的有效性和实用性。