LayGenID：一种结合LoRA融合技术的布局保留型多条件扩散变换器，用于室内设计生成

《Expert Systems with Applications》：LayGenID: Layout-Preserving Multi-Condition Diffusion Transformer with LoRA Fusion for Interior Design Generation

LayGenID框架通过LoRA模块整合语义分割、深度图、线图和文本条件，以参数高效的方式提升室内设计生成中的结构一致性，实验显示其多条件下的结构误差MJPE最低为34.5，优于UniCombine、EasyControl和控制网等方法。

　　

Duong Q. Nguyen | Kim Q. Tran | H. Nguyen-Xuan

越南胡志明市VinUniversity人工智能研究中心

摘要

自动化的室内设计可视化可以加速创意构思和与客户的沟通。然而，当前的生成模型在同时满足多个结构提示和文本指令时，往往会扭曲墙壁、门和窗户等固定建筑元素。因此，生成的图像可能在视觉上具有吸引力，但在空间上并不可靠。在实际应用中，许多可控生成器通过为不同的输入堆叠单独的控制器来解决这个问题，但这会增加计算负担，并可能在多条件约束下导致指导信息冲突。我们提出了LayGenID，这是一个基于扩散变换器（DiT）的布局感知室内设计生成框架。LayGenID根据语义分割、深度、线条图和文本来调整生成结果，以提高与输入建筑轮廓的一致性。每种模态通过DiT中的低秩适应（LoRA）模块注入到交叉注意力投影中，然后使用单一的加权融合规则来组合这些条件。该设计仅需要3600万个额外的可训练参数。在单条件基准测试中，LayGenID的分割F1分数为0.335，而UniCombine为0.318，EasyControl为0.300，ControlNet+IP-Adapter为0.232。然而，在这些单条件设置中，UniCombine在FID和CLIP方面的表现更好。在多条件控制下，LayGenID产生的结构误差最低，平均绝对位置误差（MJPE）为34.5。这些结果表明，LayGenID提供了一种参数效率高且可控的室内可视化方法，同时相对于其他方法提高了结构一致性。然而，完全保留布局仍然是一个挑战。

引言

室内设计可视化是建筑规划和建筑装修的重要步骤（Thakkar, Vadgama, Ranawat, Sharma, & Mangla (2024); Zhang & Zhang (2025)）。它帮助利益相关者在施工前评估美学、空间布局和功能。室内设计还影响建筑性能和可持续性。美国能源部的一项研究报告称，室内设计选择可以将能源使用量减少多达20%（Fokin (2023)）。材料选择、家具布置和房间朝向可以改变热性能（Chen et al. (2023)）。因此，能够改善自然光和通风的室内设计策略对可持续建筑设计至关重要。

从草图到CAD渲染的传统可视化工作流程速度较慢，并且每次修改都需要专业知识（Chen et al. (2023); Lee, Jeong, Kim, & Cha (2024); Zhang, Xiang, Kuang, Wang, & Li (2024)）。虚拟现实系统可以支持交互式材料选择，但仍然依赖于手动3D建模（Zhang, Liu, Zhao, & Al-Hussein (2019)）。在早期设计阶段，可控的室内图像生成可以加快探索速度并改善设计师与最终用户之间的沟通。为了实际应用，生成的图像应保持固定的建筑布局元素（墙壁、门、窗户），同时允许不同的风格。

最近的室内设计可视化生成方法主要遵循三个方向。首先，无条件生成模型可以创建多样化的图像，但对特定设计目标的控制能力较弱（Chen et al. (2025); Rombach, Blattmann, Lorenz, Esser, & Ommer (2022a)）。其次，文本条件模型使用提示来指导风格，但在复杂房间中往往无法保持建筑结构（Ramesh, Dhariwal, Nichol, Chu, & Chen (2022)）。第三，空间条件方法使用分割或深度等信号来指导生成（Shum, Pang, Hua, Nguyen, & Yeung (2023); Zhang, Rao, & Agrawala (2023a)）。许多可控的扩散方法在文本到图像的框架中添加了结构条件。ControlNet (Zhang et al. (2023a), IP-Adapter (Ye, Zhang, Liu, Han, & Yang (2023), 和 T2I-Adapter (Mou et al. (2023) 支持边缘、深度和分割等常见线索。对于多条件，UniControl (Qin et al. (2023) 和 UniCombine (Wang et al. (2025) 在一个模型中结合了不同的线索。基于布局的扩散方法可以更好地对齐布局（Cheng et al. (2023); Zheng et al. (2023)），扩散技术也被用于室内设计任务（Geng & Yang (2025)）。然而，在多个结构条件下的严格布局保持仍然是一个未解决的问题。当前生成器在输入为空房间时，即使布局应保持不变，也可能改变底层几何形状（见图1）。窗户位置可能会偏移，门开口可能会移动，墙壁边界可能会变形。这使得结果在实际应用中难以实现，即使图像看起来很真实（Chen et al. (2023)）。

一种常见的改进控制的方法是添加显式的结构控制器，例如ControlNet (Zhang et al. (2023a)。这有所帮助，但会引发两个实际问题。首先，控制器增加了额外的网络。在多条件情况下，系统通常需要多个控制器，这会增加计算负担并减慢交互速度。其次，许多流程在单独的分支中处理每个条件。在这种情况下，分割、深度和线条线索可能会相互冲突，而不是相互支持。当需要多个条件时，这会降低建筑保真度。因此，主要挑战是以一致且高效的方式将多个条件融合到一个框架中，同时保持图像质量和多样性。

我们提出了LayGenID，这是一个基于多模态扩散变换器（DiT）的布局感知室内设计生成框架（Peebles & Xie (2023)）。该模型使用分割掩码标记建筑边界，深度图表示几何形状，直线图突出结构边缘，文本提示指定风格。LayGenID不是为每个信号添加单独的控制网络，而是将轻量级的低秩适应器（LoRA）（Hu et al. (2022)）插入到预训练的扩散变换器的交叉注意力层中。这样既保持了参数效率，又保留了框架设计，同时在推理时允许灵活的条件设置。

我们的工作为人工智能辅助室内设计带来了以下具体贡献：

•

一个LayGenID框架，它通过参数高效的多模态扩散变换器整合了多种结构表示方法，在我们的实验设置中减少了可训练参数的数量，同时提高了结构指标。

•

一种交叉注意力条件机制，它将分割掩码、深度图和线条图与文本风格描述融合，以改善而非保证生成过程中建筑元素的保留。

•

一种评估协议，用于比较不同房间类型和室内设计风格的结构指标和生成质量，并辅以外部视觉模型审计。

•

一个带有简单视觉界面的Web应用程序，允许非技术用户通过快速图像生成探索同一房间的多种设计风格。

部分片段

问题提出与设计

LayGenID是一个用于在多条件控制下生成室内图像的多模态扩散变换器框架。该系统接受一个空房间的图像和一组条件信号，并输出一个合成的室内可视化结果，旨在保留输入房间的布局，同时遵循目标设计描述。

假设在生成过程中房间的建筑轮廓被视为固定的。特别是，墙壁、门、窗户和房间边界被用作参考。

实验

本节使用真实世界的室内照片评估LayGenID，并将其与多条件基线进行对比。我们在3.1小节描述了数据集构建和质量保证（QA），并在3.2小节总结了处理流程。然后在3.3小节指定了训练/推理配置和基线协议，在3.4小节报告了定量和定性结果。最后在3.5小节描述了部署的Web应用。

讨论

我们的实验（3.4小节）表明，LayGenID在分割、深度、线条和联合多条件设置中提高了结构一致性，同时保持了较少的可训练参数数量。在多条件情况下，LayGenID取得了最低的平均绝对位置误差（MJPE）34.5，这表明所提出的融合设计有助于在同时应用多个约束时保持更稳定的房间布局。在单条件设置中，也取得了显著改进。

结论与未来工作

本文解决了一个人工智能辅助室内设计生成中的实际问题：在结构和文本条件下生成多样化的室内可视化结果，同时提高建筑布局的保留能力。我们提出了LayGenID，这是一个布局感知的多条件扩散变换器，它将分割掩码、深度图、线条图和文本编码成一个统一的条件序列，并通过轻量级的、特定于模态的LoRA模块将其注入到模型中。

未引用的参考文献

缺少参考文献 图5

CRediT作者贡献声明

Duong Q. Nguyen：概念化、研究、方法论、软件、可视化、验证、形式分析、撰写——原始草稿。 Kim Q. Tran：方法论、验证、撰写——审阅与编辑。 H. Nguyen-Xuan：概念化、方法论、监督、撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。