基于领域自适应扩散的保持身份风格图像合成

《Neural Networks》：Identity-Style Preserving Image Composition with Domain-Adaptive Diffusion

　　摘要在生成式图像合成中，如何在保持语义真实性和视觉连贯性的同时实现跨领域及同领域合成，始终是一个重要挑战。目前的研究存在三个关键局限：1）现有的图像合成研究很少关注领域自适应解决方案，这一具有巨大潜力的方向仍有大量探索空间；2）难以平衡前景与背景的风格一致性以及前景身份的匹配性，从而导致感知上的不一致；3）现有模型对背景的保留能力不足，会产生边界伪影，并可能降低背景的结构完整性。为解决这些问题，本文提出了一种具有身份保留和风格一致性的领域自适应扩散驱动图像合成模型，并给出了针对性解决方案。首先，我们通过区域身份锚定和领域感知风格对齐机制，在潜在空间中对前景身份进行对齐，同时采用领域特定的自适应AdaIN来调整前景与背景的风格一致性，从而解决了缺乏领域自适应方法以及风格与身份平衡的问题。此外，通过两种互补的优化路径进一步优化这种平衡，以提高语义真实性和视觉连贯性。最后，通过改进的掩码融合机制消除边界伪影，更好地保留背景，减少结构损失。大量实验表明，我们的方法在同领域和跨领域场景中均优于现有的最先进方法：与以往最好的方法相比，它在同领域任务中将LPIPSbg指标降低了19.1%，在跨领域任务中降低了20.1%；在同领域任务中将CLIPI指标提升了0.11%，在跨领域任务中提升了0.67%，展现出更出色的结构真实性、语义一致性和视觉真实感。这些进展为领域自适应图像合成建立了新的基准，为实际应用（如电子商务视觉编辑）提供了可行方案，同时也为图像合成之外的生成模型提供了可推广的框架。

引言图像合成是指将参考对象（前景）与背景融合在一起的过程，随着扩散模型的发展，这一技术取得了显著进步，相关研究包括Ramesh等人（2022年）、Wei等人（2021年）、Zhao等人（2025年）以及Zhu等人（2025年）的研究。该技术在娱乐、艺术和商业等多个领域具有重要的实用价值，因为在这些领域中生成逼真的合成图像是核心需求。具体而言，它可以通过将演员融入虚拟场景来支持影视后期制作，让艺术家通过灵活的组合元素创作出创新的数字作品，还能通过将产品融入逼真场景来辅助商业营销，相关研究有Chen等人（2026a年）、Rombach等人（2022年）、Saharia等人（2022a年）以及Zhang等人（2024年）的研究。此外，这项技术还可应用于材料和设备领域，用于生成新的设备设计图，相关研究包括Sarkar等人（2025年）、Si等人（2026a年）以及Wu等人（2025年）的研究。扩散模型的引入进一步提升了图像合成的性能，利用其在捕捉视觉特征和语义信息方面的强大建模能力，实现了更加灵活且高质量的合成效果，使其应用范围得以扩展，以满足复杂的实际需求。

现有的图像合成方法可以根据前景和背景是否属于同一领域或跨领域进行分类，各类方法的代表如下图1所示。同领域合成注重边缘的平滑过渡以及在不进行大幅风格调整的情况下保留前景特征，典型的方法包括Song等人（2023年）提出的Paint by Example方法和Chen与Kae在2019年提出的AnyDoor方法。这些基于训练的方法利用定制数据集对预训练的扩散模型进行微调，以提高前景与背景之间的语义一致性。而跨领域合成则需要在保留前景核心特征的同时，调整其风格以与视觉上截然不同的背景相协调，为此已经提出了TF-ICON方法（Kirillov等人，2023年，一种无需训练的方法）以及AIComposer方法（Li等人，2025年）。TF-ICON通过合并前景和背景的自注意力图来实现合成，无需大量的数据集准备或微调，而AIComposer则通过特定的特征对齐策略来确保视觉连贯性。尽管取得了诸多进展，现有的图像合成方法仍面临三个尚未解决的重大挑战：1）缺乏领域自适应能力。很少有方法能够灵活处理同领域和跨领域任务，因为大多数方法只专注于其中一种场景。例如，AIComposer（见图2）仅支持同领域任务（如“泰迪熊+岩石背景”或“建筑+梵高风格”），在跨领域合成中的表现较差，这体现了它无法适应多场景环境。相比之下，我们的方法能够支持这两种场景，证明了领域自适应的必要性。2）难以平衡风格一致性与身份匹配性。由于现有方法的融合策略存在差异，要同时实现前景与背景的风格一致性以及前景身份的保留仍然具有挑战性：像素空间融合会导致前景风格化效果不佳，而潜在空间融合则会掩盖前景的身份特征。如图2所示，AIComposer在同领域任务中无法平衡这两者（例如会丢失泰迪熊的细节），而在跨领域任务中则为追求风格化而牺牲了前景的结构特征。不过，我们的方法能够在两者之间实现良好的平衡。在同领域任务中，AIComposer无法同时实现风格匹配和前景身份保留（例如泰迪熊的外观细节）；在跨领域任务中，虽然建筑前景被风格化了，但失去了原有的结构特征。而我们的方法则能够在风格融合和身份保留之间实现良好平衡。3）背景保留能力不足。现有方法由于在编码和解码过程中存在信息损失，以及跨注意力机制中语义提示对未编辑区域的干扰，导致背景的完整性和真实性受损，因此无法充分保留背景信息。AIComposer在岩石背景和建筑背景中都会导致纹理丢失和结构变形，而我们的方法则能在两种场景下都完整保留背景的内容和细节，确保背景的真实性。

为解决图像合成中的三大核心挑战，本文提出了基于领域自适应扩散的图像合成与身份风格保留方法（ISPIC-DAD），以应对视觉领域自适应问题以及图像合成任务中身份真实性与风格一致性之间的权衡问题。通过多种创新技术的协同作用，该框架有效解决了三个关键问题：视觉领域自适应、风格一致性与时序真实性之间的平衡，以及背景内容的保留，具体如下：在视觉领域自适应方面，该框架采用了动态风格融合和双分支引导策略。具体而言，它通过削弱不必要的风格化处理来保留同一视觉领域内的前景特征，同时增强风格对齐能力以弥补不同视觉领域之间的差异。此外，它还引入了双分支引导机制，其中语义分支负责确保前景对象与文本提示的一致性，风格分支则负责保证前景与背景之间的风格连贯性，从而提升了方法的视觉领域自适应性能。在风格一致性与时序真实性之间的平衡方面，该框架通过从参考图像中提取前景身份特征并将其固定在对应的潜在变量位置，从而锁定前景身份特征。结合双分支引导机制，语义分支强化了前景与文本之间的一致性，风格分支则保证了前景与背景之间的连贯性，从而稳定地保留前景身份特征，并实现最佳的权衡。针对背景保留不足的问题，该框架采用了边界优化和前景与背景潜在空间融合方法。边界优化通过膨胀操作来优化掩码，减少拼接伪影，而前景与背景潜在空间融合则将合成后的前景与原始背景整合在一起。这种方法能够消除伪影，保留背景细节，提升感知一致性。

我们的主要贡献如下：•我们提出了动态风格融合和双分支引导策略，显著提升了模型在图像合成任务中的视觉领域自适应性能。•我们设计了前景身份特征锚定模块，结合双分支引导机制，实现了风格一致性与时序真实性之间的有效权衡。•我们采用了边界优化和前景与背景潜在空间融合方法，确保了背景细节的保留，消除了拼接伪影，提升了感知一致性。此外，本文的结构安排如下：第2节介绍图像合成的相关研究，第3节阐述潜在扩散模型的基本知识，第4节描述所提出的方法，第5节和第6节分别介绍实验结果和结论。

片段摘录扩散模型Dhariwal和Nichol（2021a年）、Ho等人（2020a年）以及Ho和Salimans（2022年）提出的扩散模型，凭借其出色的性能，已成为图像生成领域的主流技术。基于潜在扩散技术的文本到图像模型，如Chen等人（2026b年）、Rombach等人（2022年）以及Si、Cheng、Wang、Zhang、Zhao、Yang、Zhang在2026b年以及Si、Yang、Ye在2023年提出的模型，在网络设计、高质量数据集以及实际应用方面都取得了快速发展，相关研究包括Shah等人（2024年）、Si等人（2025年）、Wei等人（2023年）的研究。潜在扩散模型。预训练的文本到图像潜在扩散模型（LDM）是我们合成框架的基础。作为机器学习领域中一种代表性的非线性建模技术，扩散模型擅长捕捉复杂的数据分布。其扩散过程遵循标准的公式，相关研究包括Chen、Huang、Lv、Cui、Chen、Wei在2023年以及Chen、Huang、Lv、Cui、Chen、Wei在2024a年的研究，还有Saharia等人（2022b年）的相关研究。

问题定义我们研究的课题是跨领域和同领域的图像合成，其目标是在保持语义真实性和视觉连贯性的同时，将前景对象无缝集成到背景图像中。给定背景图像xbg、带有掩码Mobj的前景图像xfg、文本提示P以及用户感兴趣区域掩码Mu，我们的目标是合成出能够将对象和谐融入背景的合成图像xr，这一过程需要遵循三个核心约束：1）在感兴趣区域内实现身份保留和风格适配：ID(xr⊙Mu)?≈?ID(xE）

实验与基准测试。我们在同领域和跨领域的图像合成综合基准测试上对所提方法进行了评估，比较了其与包括PbE（Yang等人，2023年）、AnyDoor（Chen等人，2024b年）、ObjectStitch（Song等人，2023年）、AIComposer（Li等人，2025年）、TALE（Pham等人，2024年）、PrimeComposer（Wang等人，2024年）、TF-ICON（Kirillov等人，2023年）以及TIGIC（Li等人，2024年）在内的现有最先进方法的表现。实验是在TF-ICON基准测试集上进行的，相关研究为Kirillov等人（2023年）的研究。

结论图像合成仍面临着三个根本性的瓶颈问题：由于领域自适应不足导致跨领域合成时出现不对齐现象，由于风格与真实性之间的权衡导致前景身份退化，以及由于内容保留不足导致背景结构丧失。为解决这些问题，我们提出了一种基于预训练潜在扩散模型的领域自适应合成框架。我们的方法将动态风格融合与双分支引导机制相结合——语义分支负责确保……

CRediT作者贡献声明Qi Si：写作——审阅与编辑、写作——初稿撰写、可视化、验证、监督、软件、方法论、研究调查、形式分析、数据整理、概念构建。Zhao Zhang：监督、资金获取。Yang Zhao：可视化。Zhongqiu Zhao：监督。Haijun Zhang：资金获取。Yun Yang：资金获取。

利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢本研究得到了中国国家自然科学基金（62472137）、中国计算机学会-网易雷火创新研究基金（CCF-Netease 202611）、云南省软件工程重点实验室开放基金（2023SE103）以及广东省教育厅重点科研平台与项目（2022ZDZX1038）的支持。Zhao Zhang是本文的通讯作者。

Qi Si|Zhao Zhang|Yang Zhao|Zhongqiu Zhao|Haijun Zhang|Yun Yang