LoRA设计：通过设计师参与反馈实现文本到图像模型的交互式微调

《ADVANCED ENGINEERING INFORMATICS》：Design LoRA: Interactive fine-tuning of text-to-image models with designer-in-the-loop feedback

　　摘要
尽管将文本到图像模型整合到设计流程中需要具备情境敏感的个性化控制能力，但目前的相关工具对此支持有限。这种不匹配会导致提示与生成结果之间的循环，干扰设计思路的流畅性并浪费计算资源。此外，大多数低秩适配方法都是基于固定奖励信号离线训练的，无法体现特定情境下的设计偏好。我们提出了DesignLoRA这一设计师参与式方法，它结合了基于视觉语言模型的梯度蒸馏与优先级贝叶斯优化技术。该方法解决了基于视觉问答的微调方法的缺陷——即其对明确表述的偏好的依赖。通过整合基于偏好和问题的视觉语言模型概率信号，DesignLoRA能够实现与特定情境偏好相契合的快速微调。针对18名设计师的对比实验表明，DesignLoRA在更少的迭代次数下就能实现更高的偏好匹配度，且设计师感知到的工作负担更低。与专业设计师的定性评估结果显示，该技术在探索性设计工作中具有优势，它能够捕捉超出明确提示之外的美学偏好，从而弥补现有AI模型的不足。这些发现为构建近乎实时的个性化控制机制以提升AI模型的适应性指明了方向。

引言
近期文本到图像模型的突破使得人们能够通过简单的文本提示生成几乎无限数量的高质量图像[1]。与此同时，基于指令的图像编辑模型（如GPT-Image-1、Gemini Nano Banana Pro、Qwen-Image-Edit等）则提供了强大的工具，允许用户通过自然语言指令对图像的特定元素进行修改。这类模型在图像编辑任务中表现优异，能够根据指令调整图像，从而降低了创建精美视觉内容的门槛。然而，这些模型主要作为明确指令的执行者，缺乏对设计师潜在美学理念的理解。

虽然这类模型的随机特性——即相同提示可能产生不同输出——在早期创意阶段可作为一种有价值的创意工具[2][3]，但当设计师试图实现特定构想时，这一特性反而会成为障碍。由于无法控制模型的内部机制，设计师不得不反复生成图像，直到偶然得到理想结果。但这一过程无法充分将设计师的意图和偏好融入生成流程之中。

这一问题因设计师的偏好往往属于难以明确定义的隐性知识而更加复杂[4][5][6]。设计师能够直观判断出优质图像，但却难以将其标准转化为精确的语言或参数[7]。例如，“让椅子靠背更圆润”这样的要求就涉及曲率、关节形状及整体平衡等多重视觉属性。此外，这些偏好还会随着项目背景、客户需求以及设计阶段的变动而不断变化。因此，固定的提示工程和一次性模型调优无法捕捉到这些动态或隐性的偏好。

在这种背景下，要捕捉设计师的隐性偏好就需要持续的交互机制。Hao等人[8]证明，在工程设计领域，将人类直觉纳入优化循环中，能比纯算法方法获得更优质的解决方案和更快的收敛速度。设计师通常通过比较多个选项来明确自己的偏好，这促使人们越来越关注设计师参与式方法。这类方法允许设计师通过生成、评估和调整的循环逐步实现模型的个性化。

低秩适配技术已成为文本到图像个性化处理中的关键方法[9]。它能够在无需重新训练整个图像模型的情况下实现高效微调。由此衍生出了多种方法，包括在预定义训练数据集上微调LoRA[1][10]，以及利用视觉语言模型结合视觉问答技术的方案[1][11]。不过，基于视觉问答的方法虽然使用视觉语言模型生成的词元逻辑值作为反馈信号，但由于其依赖于语言解释，难以捕捉“圆润的椅子造型”或“带有明显阴影的光照条件”这类抽象的设计师偏好。

为此，人们提出了基于设计师参与式的优先级贝叶斯优化方法[5][12]。该方法允许设计师通过“A优于B”之类的相对比较来表达偏好，从而无需绝对分数或明确规则即可实现偏好学习。它能夠在设计师可能感兴趣的未探索区域提出新的设计方案，进而支持高效且富有创造力的设计流程。不过，现有的优先级贝叶斯优化方法主要在维度约为2–16的低维设计空间中有效[5]。

将优先级贝叶斯优化应用于文本到图像模型这类拥有数千维度的复杂生成式AI模型，则面临完全不同的挑战。正如Koyama和Goto所指出的[5]，要在高维生成式AI模型中优化用户偏好，需要全新的基础方法。尽管近期有一些研究尝试利用大型语言模型的能力来改进优化过程[13][14]，但在高维生成式AI模型中有效优化设计师偏好仍是一个研究空白。

目前现有的系统缺乏在模型层面交互式整合设计师隐性偏好的机制。因此，设计师无法在设计过程中逐步向生成式AI模型传授他们不断变化的审美标准。这一缺陷构成了我们的人机交互问题：如何让交互系统在不依赖机器学习专业知识或预处理数据集的情况下，将设计师的隐性偏好转化为文本到图像模型的持续更新？

基于此，我们提出了DesignLoRA（详见补充视频），它将以设计师参与式方式结合优先级贝叶斯优化与LoRA微调技术，根据设计师的相对偏好对文本到图像模型进行个性化调整（见图1）。与现有的基于视觉问答的方法不同，DesignLoRA采用双反馈信号机制，整合基于偏好的信号与基于问题的视觉语言模型概率信号，即便设计师难以用自然语言表达抽象偏好，系统依然能够正常工作。

此外，DesignLoRA还运用优先级贝叶斯优化的核心原理智能筛选图像候选项，让设计师能够提供最有价值的反馈。这使得LoRA微调能够在最少比较次数的情况下高效进行，同时实时学习并反映设计师的偏好。通过对18名设计师的对比实验，我们证明DesignLoRA比现有方法更快、更准确地捕捉设计师的偏好。此外，与专业设计师的定性研究也显示，该技术在探索性设计工作中具有明显优势。