《Computer Vision and Image Understanding》：Training-free diffusion for controlling illumination conditions in images
编辑推荐：
本文提出一种无需额外训练的扩散模型光照控制方法，将扩散模型视为黑箱渲染器并分解其能量函数，结合物理模型实现生成图像和真实图像的光照调控，支持阴影、柔光等效果，且不依赖预训练数据或方向搜索。
作者：邢晓燕（Xiaoyan Xing）、胡涛（Tao Hu）、扬·亨德里克·梅岑（Jan Hendrik Metzen）、康拉德·格罗（Konrad Groh）、塞泽尔·卡拉奥卢（Sezer Karaoglu）、西奥·盖弗斯（Theo Gevers）
所属机构：UvA-Bosch Delta Lab，阿姆斯特丹，荷兰
摘要
本文提出了一种在扩散模型中操控光照的新方法，旨在解决条件图像生成领域中与光照条件相关的问题。虽然大多数方法采用ControlNet及其变体来实现扩散模型中的光照感知指导，但我们将扩散模型视为一个黑盒图像渲染器，并根据图像形成模型战略性地分解其能量函数。我们的方法在生成过程中有效分离并控制与光照相关的属性，从而生成具有真实光照效果的图像，包括投影阴影、柔和阴影和多次反射。值得注意的是，这种方法无需学习内在分解、在潜在空间中寻找方向或使用新的数据集进行额外训练即可实现这些效果。
引言
生成模型已经证明了它们能够创建与真实图像极为相似的图像。条件扩散模型的出现进一步提升了特定语义内容（Mokady等人，2022年；Hertz等人，2022年；Kim等人，2022年；Kwon等人，2023年；Couairon等人，2022年）、图像布局（Zhang等人，2023年；Hu等人，2023年）等的生成能力。然而，一个显著的局限性是它们无法精确控制生成图像中的光照。另一方面，基于物理的渲染工具（如Blender，Community，2018年）可以实现高保真的光照效果，但耗时且缺乏多样性。在本文中，我们将扩散模型的生成能力与基于物理的模型的指导相结合，提出了一种新的方法，用于控制生成图像和真实图像中的光照条件。
改变光照条件对于各种计算机视觉和计算机图形任务至关重要。通常，这涉及分解和重组场景的内在组成部分（Li等人，2022年；Zhu等人，2022年；Li等人，2021年；Ponglertnapakorn等人，2023年；Futschik等人，2023年；Luo等人，2020年）。最近，生成模型的进步为端到端解决此类任务提供了途径，例如在Style-GAN的潜在空间中寻找相应的方向（Bhattad和Forsyth，2022年；Bhattad等人，2023年）。然而，这些方法通常需要包含各种内在标签（如表面法线、深度、光源或方向搜索）的庞大数据集。相比之下，我们提出了一种更直接的光照条件控制方法，该方法利用物理原理指导扩散模型的工作（见表1）。
在本文中，我们提出将扩散模型的生成过程作为一个独立的渲染流程，通过物理驱动的指导来操控光照条件。这种方法使我们能够绕过分解和重组场景内在组成部分的复杂任务，从而可以无缝应用于不同的数据集和光照场景，而无需额外训练、调整或额外的数据标签。
相关研究
扩散模型因其可控性而在各种任务中表现出色（Zhang等人，2023年），包括图像内容（Meng等人，2021年）、图像布局（Rombach等人，2022年）、音频内容（Liu等人，2023年）和人体动作生成（Tevet等人，2022年）。然而，当前的扩散模型在光照的细粒度控制方面存在不足（如图1所示）。我们的工作利用了对光照的理解来制定灵活的能量函数。
方法
如图2所示，我们的方法执行两项任务：（1）可以控制生成图像的光照条件；（2）可以将新的光照条件应用于真实图像。为此，我们首先重新制定了扩散过程中的能量函数，然后引入了图像合成中的光照指导，最后提出了保持几何形状的真实图像重新光照方法。值得注意的是，这一流程无需进一步训练、额外数据标签或计算机生成图像（CGI）。
作者贡献声明
邢晓燕（Xiaoyan Xing）：撰写——审稿与编辑、初稿撰写、验证、方法论研究、数据分析、概念化；
胡涛（Tao Hu）：撰写——初稿撰写、方法论研究、正式分析、概念化；
扬·亨德里克·梅岑（Jan Hendrik Metzen）：数据分析、概念化；
康拉德·格罗（Konrad Groh）：数据分析、概念化；
塞泽尔·卡拉奥卢（Sezer Karaoglu）：项目监督、项目管理、数据分析；
西奥·盖弗斯（Theo Gevers）：撰写——审稿与编辑、项目监督、资源协调、项目管理。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
