唯物主义者:基于物理的单图像逆向渲染编辑技术

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Materialist: Physically Based Editing Using Single-Image Inverse Rendering

【字体: 大 中 小 】 时间:2026年05月13日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3

编辑推荐:

  摘要 在计算机视觉领域,实现物理上一致的图像编辑仍然是一个重大挑战。现有的图像编辑方法通常依赖于神经网络,但这些网络在处理阴影和折射现象时存在困难。相比之下,基于物理的逆向渲染往往需要多视图优化,这限制了其在单图像场景中的实用性。在本文中,我们提出了Materialist,这是

  摘要

在计算机视觉领域,实现物理上一致的图像编辑仍然是一个重大挑战。现有的图像编辑方法通常依赖于神经网络,但这些网络在处理阴影和折射现象时存在困难。相比之下,基于物理的逆向渲染往往需要多视图优化,这限制了其在单图像场景中的实用性。在本文中,我们提出了Materialist,这是一种基于神经初始化的物理渲染流程,用于单图像逆向渲染。与以往利用物理原理指导神经生成的混合方法不同,我们的方法利用神经网络预测初始材料属性,然后通过渐进式可微渲染对这些属性进行严格优化。我们的方法支持多种应用,包括材料编辑、对象插入和重新光照,并且引入了一种有效的方法来通过光线追踪折射编辑材料透明度,而无需完整的场景几何信息。此外,我们的环境图(envmap)估计算法也表现出色,进一步提高了图像编辑任务的准确性。实验结果表明,该方法在合成数据集和真实世界数据集上都表现出强大的性能,甚至在具有挑战性的领域外图像上也能取得优异结果。

1 引言

图1
给定一张图像(位于中间),我们的逆向渲染方法可以实现基于物理的图像编辑,包括透明度、反照率、粗糙度、金属质感、透明对象的插入和重新光照。该图像来源于IIW数据集(Bell等,2014年)。

高质量的图像编辑需要专业技能。降低图像编辑的复杂性并提高其准确性长期以来一直是计算机视觉和计算机图形学的研究重点(Popat & Picard,1993年;Barnes等,2009年;Meng等,2021年;Pan等,2023年)。我们提出了一种基于物理原理的图像编辑方法,该方法通过神经技术进行初始化,具体示例见图1。随着生成式扩散模型(DM)(Rombach等,2022a)在图像生成领域的成功,研究人员开始探索将其应用于图像编辑(Hertz等,2023年;Mokady等,2023年;Brooks等,2023年)。然而,DM在精确编辑材料属性方面往往存在困难。Sharma等(2024年)的Alchemist尝试通过在大型合成数据集上训练DM来解决这一问题。尽管Alchemist可以使用基于物理的材料图,但其推理依赖于概率扩散过程,在生成过程中并不明确遵循物理定律,例如光线光学或严格的阴影一致性。因此,它经常难以处理复杂的光传输效果,例如为透明对象生成准确的折射失真(如图2所示)。

图2
这是Alchemist项目网站上的一个图像。这是一个折射失败的例子。虽然基于扩散的方法能够生成高频的镜面高光,但它未能尊重场景的物理真实性:注意内部植物的消失和背景的错误折射。

逆向渲染为这些挑战提供了一个有前景的解决方案。单视图逆向渲染(Sengupta等,2019年;Li等,2021年,2022年;Zhu等,2022b年)通过神经网络将图像分解为反照率、粗糙度和金属属性(MaterialNet),从而提高可解释性。然而,依赖神经渲染器来替代基于物理的渲染器仍然存在局限性,例如在处理阴影和折射方面存在困难。多视图逆向渲染(Azinovic等,2019年;Yao等,2022年;Wu等,2023年;Yu等,2023年;Li等,2023年;Bao & Chen,2025年)利用多视图约束和渲染方程来更好地遵循物理原理,从而获得更优越的结果。然而,多视图输入的要求限制了其适用性。将可微渲染应用于单张图像会导致一个病态问题,因为可能存在无限多解决方案。

为了应对这些问题,我们采用了一种更具可解释性的逆向渲染方法,结合了学习和基于物理的渲染的优势。此外,我们还引入了材料透明度编辑功能,这是单图像逆向渲染中之前尚未探索的。

我们的主要贡献包括:
- 神经初始化的物理优化:我们提出了一种新颖的逆向渲染流程,利用神经先验来初始化严格的微分光线追踪优化。与基于检索的方法(Luan等,2023年)或基于物理的神经生成方法(Careaga & Aksoy,2025年)不同,我们的方法进行原位重建,并确保最终输出由基于物理的引擎生成,从而保证物理一致性。
- 更好的环境图(envmap)估计:利用MaterialNet对材料属性的预测,我们在单视图可微蒙特卡洛光线追踪中获得了更好的结果。
- 明确的基于物理的编辑:我们的方法依赖于基于物理的渲染器(Jakob等,2022年),而不是可能产生非物理效果的神经渲染器,从而实现严格基于物理的材料编辑。这确保了精确的全局光照、阴影和真实的物体-环境交互,从而在材料编辑、重新光照和透明对象插入任务中取得了竞争优势。
- 几何感知的透明度编辑:我们提出了一种单视图、基于物理的透明度编辑方法。通过通过对重建的网格进行光线追踪来模拟折射率(IOR)和镜面反射,我们实现了纯2D图像方法(Khan等,2006年)无法捕捉到的真实折射失真,而且无需完整的场景几何信息。这些贡献与现有工作在表1中进行了总结。此外,我们的材料预测模型在合成数据集上的性能与最新的基于DM的模型(Kocsis等,2024年;Zeng等,2024年)相当,运行速度更快。这种效率使得我们可以快速进行直接推理,并为我们的渐进式可微渲染提供了可靠的初始化。此外,为了确保边界处无伪影渲染,我们整合了一种从分层深度表示(Shade等,1998年;Shih等,2020年)调整而来的边界感知网格重建策略。这避免了前景物体和背景之间的白色边界问题,见图3。

2 相关工作

多视图逆向渲染
早期的工作如逆向路径追踪(Azinovic等,2019年)仅限于简单场景。它们在使用渲染方程进行逆向渲染时假设了已知的场景几何信息。随着NeRF(Mildenhall等,2021年)的出现,基于物理的多视图逆向渲染变得更加可行(Yao等,2022年;Yu等,2023年;Li等,2023年;Sun等,2023年;Bao & Chen,2025年)。此外,使用可微蒙特卡洛渲染技术实现了更好的形状和材料估计(Luan等,2021年;Wang等,2021a;Hasselgren等,2022年;Zhang等,2022年;Yu等,2022年;Wu等,2023年),但这些技术仍然依赖于多视图输入。最近的方法使用神经网络作为多视图输入的渲染器(Choi等,2023年),虽然绕过了计算优化,但在材料编辑和对象插入方面的性能仍不如基于方程的方法。与大多数多视图技术不同,我们的方法仅需要单视图图像作为输入。

单视图逆向渲染
与依赖渲染方程的多视图逆向渲染不同,单视图逆向渲染通常使用在大型数据集上训练的神经网络来替代基于物理的渲染(Li等,2018年,2020年,2022年;Sengupta等,2019年;Sang & Chandraker,2020年;Zhu等,2022b年;Luo等,2024年)。通常称为MaterialNet或MatNet的神经网络从单张图像中预测材料属性(反照率、粗糙度、金属质感)和每像素光照,然后用于图像合成。尽管神经渲染器在特定任务(如人体面部重新光照)中表现良好(Pandey等,2021年;Yeh等,2022年),但在需要更精确的物理模拟的任务(如材料编辑和透明对象插入)中表现较差。除非在代表性数据集上训练,否则神经渲染器会失效。

与PSDR-Room(Luan等,2023年)等基于检索的优化方法不同,我们的方法优化每像素材料属性以保持原始对象的特性。

在可微渲染方面,早期研究解决了栅格化不可微的问题(Chen等,2019年,2021年),而最近的工作探索了逆向蒙特卡洛光线追踪(Kato等,2020年;Zhang等,2021年;Deng等,2022年),类似于我们的基于物理的优化。然而,这些方法需要显著的先验,并且仅适用于单个对象,因此不太适合复杂场景。我们的方法也使用MatNet进行单视图材料属性推断,但结合了基于物理的渲染器。

神经渲染
计算机图形学和视觉领域的最新进展(Liang等,2024年,2025年;He等,2025年)使扩散模型的用途超出了简单的图像生成。值得注意的是,Liang等(2024年)探索了将扩散模型作为逆向渲染的渲染器,特别是在基于图像的对象插入领域取得了有希望的结果。通过将逆向渲染问题放在扩散框架内,这些模型可以学习合成与输入图像匹配的真实场景参数。Careaga和Aksoy(2025年)的同时工作采用了一种生成式流程,使用简化的扩散渲染器来指导扩散模型。我们的流程则是相反的:我们使用神经网络为基于物理的渲染器初始化参数。通过在最终输出中强制执行迪士尼BSDF和蒙特卡洛光线追踪,我们支持复杂的材料编辑(粗糙度、金属质感、透明度)和物理上正确的光传输,而这些在Careaga和Aksoy(2025年)的方法中被省略或近似了。

3 图像和材料编辑
材料编辑通常分为两类。第一类是通过逆向渲染推断材料属性,然后对其进行修改以实现编辑(Li等,2018a年;Azinovic等,2019年;Zhu等,2022a年)。这些方法具有很强的可解释性,使用基于物理的渲染器可以得到高度可靠的结果,尽管真实性有时会受到限制。第二类是基于神经网络的。随着生成式扩散模型(DM)(Rombach等,2022a)的成功,出现了许多图像编辑方法(Mokady等,2023年;Wang等,2024年;Brooks等,2023年;Shi等,2024年)。虽然最近的基于扩散的编辑方法(Zeng等,2024年;Lyu等,2025年)在操作内在组件方面显示出了令人印象深刻的结果,但它们通常需要编辑后的2D特征图(如法线和反照率图)作为对象插入的输入。对于普通用户来说,为新对象获取物理上一致的法线图并非易事,通常需要先渲染3D模型。相比之下,我们的工作直接支持标准的3D网格资产进行插入。这不仅简化了用户的工作流程,还确保了物理上准确的交互,例如自遮挡和投射阴影,这些在基于2D层的操作中难以实现。

关于材料编辑,Alchemist(Sharma等,2024年)是一个典型的例子,它在合成数据上进行了训练,允许编辑反照率、粗糙度、金属质感和透明度。这些方法受益于DM的优势,实现了高度真实的结果,但由于它们基于神经网络的本质,可解释性有限。我们的方法属于第一类,同时具有很强的可解释性,并实现了真实的结果。尽管早期的基于图像的方法(Khan等人,2006年)通过基于法线的变形来模拟透明度,但我们采用了一种考虑几何结构的方法,该方法模拟光线穿过物体体积(\(d_1,d_2\))的路径,同时考虑了厚度依赖的折射现象。

**光线估计**
光线估计是一个独立的研究领域(Park & Holynski,2020年;Swedish等人,2021年;Wang等人,2022年;Tang等人,2022年;Yu等人,2023b年;Dastjerdi等人,2023年;Verbin等人,2024年;Enyo & Nishino,2024年)。一些方法隐式地表示光照(Yao等人,2022年;Zhu等人,2022a年;Kocsis等人,2024年),这限制了它们的通用性,而其他方法则需要多视图输入和场景网格数据(Park & Holynski,2020年;Yu等人,2023b年;Verbin等人,2024年)。扩散后验照明(DPI)(Lyu等人,2023年)与我们的方法相关。这种方法结合了差异渲染和深度学习(DM)来生成高质量的环境贴图(envmap),但依赖于多视图神经辐射场(NeRF)方法进行网格重建,并且缺乏材料的双方向反射率分布(BRDF)数据,从而降低了准确性。相比之下,我们的方法使用MatNet的输出来自优化环境贴图。

**表2:符号和缩写总结**

**阴影和光线追踪**
阴影对于真实感渲染至关重要。Li等人(2022年)的早期工作强调了阴影的准确性,他们使用了基于OptiX的光线追踪器(Parker等人,2010年)来为神经网络输入计算阴影。然而,最近的研究中往往忽略了阴影(Zhu等人,2022a年;Yao等人,2022年;Li等人,2023年);基于屏幕空间或基于图像的光线追踪方法缺乏几何遮挡效果,因此无法生成准确的阴影(Yao等人,2022年;Kocsis等人,2024年;Zhu等人,2022a年)。许多神经渲染器在阴影生成方面存在困难(Choi等人,2023年;Zhu等人,2022b年),因为准确的阴影需要基于物理的光线传输模型。值得注意的是,这一限制已被用来识别人工智能生成的图像(Sarkar等人,2024年)。最近在基于DM的神经渲染方面的进展,特别是DiffusionRenderer(Liang等人,2025年)的研究,展示了在没有显式3D几何模型的情况下生成相当真实阴影的能力。然而,我们的方法利用3D几何结构,与DiffusionRenderer相比,始终能够获得更准确的阴影结果。此外,将3D几何结构和光线追踪结合使用,使我们的框架能够在当前基于扩散模型的神经渲染技术中实现基于物理的模拟。

**3. 术语表**
为确保论文的清晰性和一致性,我们在表2中总结了所使用的数学符号和缩写。

**4.1 简化的DisneyBRDF**
在接下来的内容中,\(\textbf{A}\)、\(\textbf{R}\)和\(\textbf{M}\)分别代表反照率、粗糙度和金属度的图像纹理值。为了模拟表面散射,我们使用DisneyBRDF(Burley,2012年,2015年)进行实现。在优化过程中,我们没有模拟光泽、清漆和玻璃,因此方程(11)中的BRDF可以写为
$$\begin{aligned} f_r(\varvec{x}, \vec {\omega }_i, \vec {\omega }_o) = f_s + (1-\textbf{M}(\varvec{x}_s)) f_d \end{aligned}$$
(1)
其中镜面反射(\(f_s\))和漫反射(\(f_d\))项定义为
$$\begin{aligned} f_s&= \frac{F_s(\vec {\omega }_i, \vec {\omega }_o; \eta ) D_s(\vec {h}; \textbf{R}(\varvec{x}_s)) G_s(\vec {\omega }_i, \vec {\omega _o}; \textbf{R}(\varvec{x}_s))}{4\,|\vec {n} \cdot \vec {\omega }_i| |\vec {n} \cdot \vec {\omega }_o|} \end{aligned}$$
(2)
$$\begin{aligned} f_d&= \frac{\textbf{A}(\varvec{x}_s)}{\pi } F_d(\vec {\omega }_i) F_d(\vec {\omega }_o) \,, \end{aligned}$$
(3)
这里F是菲涅尔反射率,它使用半向量\(\vec {h} = (\vec {\omega }_i + \vec {\omega }_o)/\Vert \vec {\omega }_i + \vec {\omega }_o\Vert\),并根据材料属性(包括相对折射率\(\eta \))来模拟从表面反射的光线比例。我们使用修改后的Schlick近似公式(Schlick,1994年;Burley,2012年):
$$\begin{aligned} \!F_s(\vec {\omega }_i, \vec {\omega }_o; \eta )&= C_0(\eta ) + (1 - C_0(\eta ))(1-\vec {h} \cdot \vec {\omega }_o)^5 \, \end{aligned}$$
(4)
$$\begin{aligned} C_0(\eta )&= R_0(\eta )(1-\textbf{M}(\varvec{x}_s))+\textbf{M}(\varvec{x}_s)\textbf{A}(\varvec{x}_s), \end{aligned}$$
(5)
其中\(R_0(\eta )\)是法线入射时的菲涅尔反射率。同样地,对于漫反射项,
$$\begin{aligned} F_d(\vec {\omega })&=1+(F_{D90}-1)(1-\vec {n}\cdot \vec {\omega })^5 \, \end{aligned}$$
(6)
$$\begin{aligned} F_{D90}&=0.5+2\, \textbf{R}(\varvec{x}_s)\, (\vec {h}\cdot \vec {\omega })^2 \,. \end{aligned}$$
(7)
关于其他项,\(D_s\)是微面法线分布函数,而\(G_s\)是微面阴影遮罩函数(Schlick,1994年)。我们使用GGX分布(Walter等人,2007年)来处理这些项,因为它简单,只有一个粗糙度参数\(\textbf{R}(\varvec{x}_s)\),同时能够很好地拟合实验数据。

**图4**
此图像的替代文本可能是使用人工智能生成的。

**我们的逆向渲染流程**
给定一张图像,我们使用MatNet来预测材料属性,然后进行环境贴图(envmap)优化以估计光照。接着我们进行材料属性优化,使用在envmap优化过程中产生最小\(\mathcal {L}_{\text {re}}\)的envmap作为光源。损失函数\(\mathcal {L}_{\text {re}}\)和\(\mathcal {L}_{\text {cons}}\)指导这个过程,使得能够在保持结果接近MatNet预测的同时最小化\(\mathcal {L}_{\text {re}}\)。详情见第4.3节。

**5. 方法**
我们的单视图逆向渲染、材料估计和编辑框架遵循一个顺序流程,如图4所示。该过程首先使用神经网络推断初始场景属性。然后通过可微渲染优化过程逐步细化这些属性,以紧密匹配输入图像。最终优化的场景表示支持多种编辑应用。我们的流程包括以下核心阶段:
1. **初始属性预测**(第4.1节):我们首先使用神经网络MatNet来预测单个输入图像中的初始空间变化材料属性(反照率、粗糙度、金属度)以及场景几何属性(深度和法线)。
2. **网格重建**(第4.2节):使用预测的深度图,我们重建场景的3D三角网格。我们引入了一种新颖的边界处理技术,以确保前景对象和背景之间的清晰分离,这对于后续编辑任务至关重要。
3. **渐进式可微渲染**(第4.3节):由于初始的MatNet预测并不完美,我们引入了一个迭代优化框架。使用基于物理的可微渲染器,逐步优化环境贴图和材料属性,以最小化渲染图像与原始输入之间的重建损失。这种优化的场景表示为高质量应用(如重新照明、对象插入和基于物理的材料编辑)提供了基础,包括一种专门处理透明度的技巧(第4.4节)。

**5.1 材料预测网络**
为了确保几何结构和材料属性之间的语义一致性和空间对齐,我们设计了一个统一的MatNet来联合预测反照率、粗糙度、金属度、法线和深度。与组装多个专用现成模型(例如,一个用于深度,另一个用于分解)不同,统一架构减少了领域间的差距并简化了流程。
由于深度学习(DM)(Rombach等人,2022a年)在图像生成方面的显著成功,最近的研究将其用于材料属性估计任务,并取得了令人印象深刻的结果(Kocsis等人,2024年)。然而,这种方法训练成本高,并且在预测过程中需要计算密集的多步采样。相比之下,我们发现用于深度估计的模型架构(Yang等人,2024年)更符合材料预测的要求。因此,我们采用了密集预测变换器(DPT)架构(Ranftl等人,2021年),它在深度估计方面取得了巨大成功。
与Zhu等人(2022b年)不同,我们使用预训练的DINOv2(Oquab等人,2024年)编码器进行特征提取。与之前的深度估计研究(Birkl等人,2023年;Yang等人,2024年)类似,我们使用两个DPT解码器(Ranftl等人,2021年)分别进行深度和材料属性的回归。鉴于深度估计的进步,我们使用预训练的深度模型的权重(Yang等人,2024年)来加速训练过程。对于DPT深度解码器,我们限制训练范围为RefineNet的最后四层,而DINOv2编码器的权重在整个训练过程中保持不变。用于优化模型的损失函数为
$$\begin{aligned} \mathcal {L}_{\text {MatNet}} = \sum _{i \in \{\textbf{A}, \textbf{R}, \textbf{M}, \textbf{N}, \textbf{D}\}} \mathcal {L}_{i} \,, \end{aligned}$$
(8)
其中反照率损失\(\mathcal {L}_{\textbf{A}}\)结合了LPIPS感知损失和\(L_1\)损失,而粗糙度损失\(\mathcal {L}_{\textbf{R}}\)和金属度损失\(\mathcal {L}_{\textbf{M}}\)是使用预测值和真实值之间的\(L_1\)损失来衡量的。最后,\(\mathcal {L}_{\textbf{D}}\)使用SiLogLoss(Bhat等人,2023年;Eigen等人,2014年)来计算,以引入对数误差并保持其比例恒定,以提高深度预测的鲁棒性。该损失定义为
$$\begin{aligned} \mathcal {L}_{\textbf{D}} = \sqrt{ \begin{aligned}&\mathbb {E}_{i \in \text {mask}} \left( \left( \log (t_i) - \log (p_i) \right) ^2 \right) \\&- \lambda \left( \mathbb {E}_{i \in \text {mask}} \left( \log (t_i) - \log (p_i) \right) \right) ^2 \,, \end{aligned} } \end{aligned}$$
(9)
其中\(t_i\)是有效像素i的真实值,\(p_i\)是预测的深度值,我们使用\(\lambda = 0.5\)作为平衡方差和均值项的超参数。为了防止深度图中的异常值在训练过程中导致模型崩溃,我们将掩码设置在一个[0, 20]的深度范围内。最后,\(\mathcal {L}_{\textbf{N}}\)使用余弦相似度来计算。

神经网络的预测过程可以表示为
$$\begin{aligned} \textbf{A}_p,\textbf{R}_p,\textbf{M}_p,\textbf{N}_p,\textbf{D}_p = \text {MatNet}(I) \,, \end{aligned}$$
(10)
其中\(\textbf{A}_p,\textbf{R}_p,\textbf{M}_p,\textbf{N}_p,\textbf{D}_p\)分别代表MatNet预测的反照率、粗糙度、金属度和深度(在线性空间中),I是输入图像。

**5.2 网格重建**
使用预测的深度图\(\textbf{D}_p\),我们将2D像素投影到一个3D点云中。标准的网格化方法(Zhou等人,2018年;Hu等人,2021年)通常通过简单地丢弃跨越大深度不连续性的三角形来处理遮挡边界。虽然这种方法对于点云可视化有效,但在网格中会在前景和背景之间留下物理间隙(“白色边界”)。在逆向渲染中,这些间隙会导致光线传输的不连续。
为了解决这个问题,我们采用了受Shade等人(1998年)和Shih等人(2020年)启发的边界复制(BD)策略。我们通过检查擦边角不等式来识别边界点:\(\arcsin (\vec {n} \cdot \vec {v}) < \tau \),其中\(\vec {n}\)是三角形的法线,\(\vec {v}\)是视图方向,\(\tau\)是一个角度阈值。满足此条件的顶点被标记为边界点。相反于丢弃相关三角形,BD复制这些边界顶点:一组保持附着在前景几何上,而复制组被投影到最近背景邻居的深度。这有效地用一个背向表面关闭了间隙,消除了边界伪影(见图5)。
阈值\(\tau \)决定了切割的敏感性。通过消融研究(见附录A.2),我们确定\(\tau \approx 6^\circ\)在分离遮挡边界(避免欠分割)和保持高曲率表面(避免过分割)之间提供了最佳平衡。我们还在附录A.2中分析了失败案例:具体来说,比法线估计器的核大小(约7像素)更薄的结构可能无法从背景中分离出来,这代表了我们的几何重建的分辨率限制。

**图5**
此图像的替代文本可能是使用人工智能生成的。

**我们的单视图网格重建方法**
我们的方法用于测试场景。我们的方法消除了边缘的白色边界。然而,由于我们的方法基于深度图,它主要重建了场景的前视图。

**5.3 渐进式可微渲染**
我们的方法假设远距离光照,由环境贴图(envmap)表示,并且不显式地对场景内的光源进行建模。忽略场景中的发射体,渲染方程变为反射辐射度方程:
$$\begin{aligned} L_o(\varvec{x}, \vec {\omega }_o) = \int _{\Omega } f_r(\varvec{x}, \vec {\omega }_i, \vec {\omega }_o) L_i(\varvec{x}, \vec {\omega }_i) (\vec {\omega }_i \cdot \vec {n}) \, d\omega _i \,, \end{aligned}$$
(11)
其中\(L_o(\varvec{x}, \vec {\omega }_o)\)是世界空间位置\(\varvec{x}\)处方向\(\vec {\omega }_o\)的出射辐射度,\(f_r(\varvec{x}, \vec {\omega }_i, \vec {\omega }_o)\)是方向\(\vec {\omega }_o\)的双向反射率分布(BRDF),表示方向\(\vec {\omega }_o\)的反射辐射度与方向\(\vec {\omega }_i\)的入射辐射度的比率,\(L_i(\varvec{x}, \vec {\omega }_i)\)是方向\(\vec {\omega }_i\)处的入射辐射度,\(\vec {n}\)是\(\varvec{x}\)处的表面法线,\(\Omega \)是围绕\(\vec {n}\)的半球,覆盖所有入射方向。我们使用简化的DisneyBRDF来模拟表面散射。我们让\(\textbf{S}(\varvec{x}) = \varvec{x}_s\)表示从世界空间到屏幕空间坐标的变换。关于我们渲染管线中使用的世界空间与屏幕空间之间坐标变换的详细数学公式,请参考附录B。环境图优化:我们没有直接优化环境图\(\textbf{E}\)的像素值,而是使用多层感知机(MLP)来隐式表示环境图。网络的输入决定了学习到的光照的空间一致性。为了尊重环境图的球形拓扑结构,并避免在图像边界(\(u=0\)和\(u=1\))或极点处的不连续性,我们将标准化的2D等角纹理坐标\((u, v) \in [0, 1]^2\)映射到3D单位方向向量\(\textbf{d} \in \mathbb {S}^2\):$$\begin{aligned} \textbf{d} = (\sin \theta \cos \phi , \sin \theta \sin \phi , \cos \theta ) \,, \end{aligned}$$ (12)其中\(\phi = 2\pi u\)是方位角,\(\theta = \pi v\)是倾斜角。然后我们对这个3D向量\(\textbf{d}\)应用正弦位置编码\(\gamma (\cdot )\),以使网络能够捕捉高频光照细节:$$\begin{aligned} \begin{aligned} \gamma (\textbf{d}) = \bigl [&\sin (2^0 \pi \textbf{d}), \cos (2^0 \pi \textbf{d}), \dots , \\&\sin (2^{L-1} \pi \textbf{d}), \cos (2^{L-1} \pi \textbf{d}) \bigr ] \, . \end{aligned} $$(13)使用3D坐标可以确保学习到的辐射场在整个球形域上是连续且平滑的,相比原始的2D笛卡尔坐标,这为远距离光照提供了更好的物理合理性。其中L是频率带的数量。MLP将这些编码的坐标映射到RGB辐射值:$$\begin{aligned} \textbf{E}(u, v) = \texttt {Softplus}(\textrm{MLP}_{\text {env}}(\gamma (\textbf{d}); \Phi _{\text {env}})) \,. \end{aligned} $$(14)我们选择Softplus\((x) = \ln (1+e^x)\)作为有界激活函数(例如,sigmoid或tanh),因为它的无界范围\((0,+\infty )\)严格保证了辐射值的非负性,同时防止在高强度下梯度饱和。这种线性渐近行为对于准确回归高值的HDR成分(如太阳盘)至关重要。在基于蒙特卡洛积分方程(11)的可微几何渲染\(\textbf{D}_p,\textbf{N}_p\)中,我们使用\(\textbf{A}_p,\textbf{R}_p,\textbf{M}_p\)和入射辐射来评估BRDF:$$\begin{aligned} L_i(\varvec{x},\vec {\omega }_i) = V(\varvec{x}, \vec {\omega }_i) L_{\textbf{E}}(\vec {\omega }_i) \,, \end{aligned}$$(15)其中\(L_{\textbf{E}}(\vec {\omega }_i)\)是来自envmap的方向\(\vec {\omega }_i\)的辐射,\(V(\varvec{x}, \vec {\omega }_i)\)是可见性,如果几何体在方向\(\vec {\omega }_i\)中被找到则为零,否则为1。为了捕捉全局光照线索,优化是在整个图像域上进行的,没有任何掩蔽。我们的优化目标是找到\(\textbf{E}^{*}\),以最小化渲染结果与真实值(I)之间的差异:$$\begin{aligned} \textbf{E}^{*} = \text {argmin}_{\textbf{E}}\mathcal {L_{\textbf{E}}}(L_o(\varvec{x},\vec {\omega }_o),I) \end{aligned}$$(16)其中envmap损失\(\mathcal {L_{\textbf{E}}}\)结合了\(L_1\)和\(L_2\)损失。优化后丢弃网络权重\(\Phi _{\text {env}}\),因为我们只需要\(\textbf{E}^{*}\)。材料属性优化:一旦我们有了优化后的环境图\(\textbf{E}^{*}\),我们进一步细化MatNet最初预测的材料属性。为了严格遵循我们神经先验的指导,我们将这个优化表述为对初始预测的残差更新学习。设\(\textbf{m}_{p} = [\textbf{A}_p, \textbf{R}_p, \textbf{M}_p]\)表示MatNet预测的初始材料图。我们使用一个位置嵌入的MLP来预测残差偏移$$\begin{aligned} \Delta \textbf{m} = \textrm{MLP}_{\text {mat}}(\gamma (\textbf{m}_{p}); \Phi _{\text {mat}}) \,, \end{aligned}$$(17)其中\(\gamma (\cdot )\)是位置编码,\(\Phi _{\text {mat}}\)表示可学习的权重。最终优化的材料属性\([\textbf{A}, \textbf{R}, \textbf{M}]\)是通过将这个残差添加到初始预测中计算得出的:$$\begin{aligned} [\textbf{A}, \textbf{R}, \textbf{M}] = \textbf{m}_{p} + \zeta \tanh (\Delta \textbf{m}) \,, \end{aligned}$$(18)其中\(\tanh (\cdot )\)限制了残差的范围以确保稳定性,\(\zeta \)是一个可学习的缩放因子。这种表述确保优化从MatNet提供的物理上合理的估计开始,并对其进行细化以适应渲染约束。渲染过程与envmap相同,只是现在我们使用\(\varvec{E}^{*}\)并保持其固定。我们的优化目标是找到\(\textbf{A}^{*}, \textbf{R}^{*}, \textbf{M}^{*}\),以最小化渲染结果与真实值(I)之间的差异:$$\begin{aligned} \textbf{A}^{*}, \textbf{R}^{*}, \textbf{M}^{*} = \text {argmin}_{\textbf{A,R,M}} \mathcal {L}_{\text {Mat}}(L_o(\varvec{x},\vec {\omega }_o), I) \end{aligned}$$(19)其中\(\mathcal {L}_{\text {Mat}}\)是材料损失:$$\begin{aligned} \mathcal {L}_{\text {Mat}}&= \mathcal {L}_{\text {re}} + \delta \mathcal {L}_{\text {cons}} \,, \end{aligned}$$(20)各个术语分别为:$$\begin{aligned} \mathcal {L}_{\text {re}}&= \mathcal {L}_{L1}(L_o, I) + \mathcal {L}_{L2}(L_o, I) \end{aligned}$$(21)$$\begin{aligned} \mathcal {L}_{\text {cons}}&= \sum _{X \in \{\textbf{A}, \textbf{R}, \textbf{M}\}} \mathcal {L}_{L1}(X_o, X_p) \,, \end{aligned}$$(22)其中\(\mathcal {L}_{L1}\)和\(\mathcal {L}_{L2}\)分别代表\(L_1\)和\(L_2\)损失,\(\mathcal {L}_{\text {re}}\)衡量\(L_o\)与I之间的渲染损失。约束损失\(\mathcal {L}_{\text {cons}}\)比较优化后的和预测的材料属性,引入约束以使优化与MatNet的预测保持一致,同时最小化\(L_o\)与I之间的差异。缩放因子\(\delta \)控制与MatNet预测的偏差:较小的\(\delta \)允许更多的灵活性,而较大的\(\delta \)则使优化更接近MatNet,可能会增加渲染结果与目标之间的差距。5.4 不透明材料编辑:对于\(\textbf{R, M, A}\)的编辑(不包括透明度),我们使用SAM2(Ravi等,2025)模型对输入图像进行分割,为编辑区域创建一个掩码。注意,SAM2仅用于编辑任务,以隔离用户选定的目标对象。它不参与之前的环境图估计或材料优化步骤。然后我们可以修改该区域内的值并重新渲染图像。对于\(\textbf{A}\)的编辑,我们转换为HSV颜色空间以便直观地进行颜色调整。材料透明度编辑:如第4.2节所述,我们使用深度图重建网格,仅捕捉物体的可见前面(见图5)。这限制了透明物体的编辑,因为无法完全模拟折射效果。虽然现有方法通过NeRF(Mildenhall等,2021;Liu等,2024;Long等,2024;Shi等,2023)或Gaussian Splatting(Kerbl等,2023;Guédon & Lepetit,2024;Yu等,2024)生成多视图图像来进行网格重建,但我们提出了一种在单视图约束下近似材料透明度编辑的方法,避免了整个场景的重建。我们使用DisneyBSDF的以下变体来模拟透明物体:$$\begin{aligned} f_\text {glass} = \frac{\sqrt{\textbf{A}_\text {glass}(\varvec{x}_s)}(1-F_s) D_s G_s |\vec {h} \cdot \vec {\omega }_o| |\vec {h} \cdot \vec {\omega }_i|}{|\vec {n} \cdot \vec {\omega }_i | |\vec {n} \cdot \vec {\omega }_o| (\vec {h} \cdot \vec {\omega }_i+\eta \, \vec {h} \cdot \vec {\omega }_o )^2} \,, \end{aligned}$$(23)其中\(\textbf{A}_\text {glass}(\varvec{x}_s) = (1-\textbf{M}(\varvec{x}_s)) \textbf{A}_\text {BG}(\varvec{x}_s) T\),T表示镜面反射,\(\textbf{A}_\text {BG}\)是折射后 Diffuse 背景物体的反照率(与\(\textbf{A}\)不同)。因此,通过知道折射点,我们可以在没有背面网格的情况下模拟透明度效果,支持单视图透明度编辑。重要的是要注意,我们的系统首先使用标准插值网络在遮挡区域内绘制反照率,然后在渲染过程中使用这个绘制好的反照率作为底层几何体的纹理。我们使用SAM2(Ravi等,2025)进行对象掩码提取,并使用插值模型(Rombach等,2022a)生成\(\textbf{A}_\text {BG}\)。对于击中掩码区域的入射光线\(-\vec {\omega }_o\),使用折射定律(Kay & Greenberg,1979)计算传输光线的方向\(\vec {\omega }_t\)。假设物体的背面法线与其正面法线\(\textbf{N}_p(\varvec{x}_s)\)相同,两次折射后的世界位置为$$\begin{aligned} \varvec{x}_2 = \varvec{x} + d_1 \, \vec {\omega }_{t1} + d_2 \, \vec {\omega }_{t2} \,, \end{aligned}$$(24)其中\(\varvec{x}\)是入射的初始位置,\(d_1\)和\(d_2\)是折射距离,\(\vec {\omega }_{t1}\)和\(\vec {\omega }_{t2}\)分别是第一次和第二次折射后的方向。注意\(\vec {\omega }_{t2}\)取决于\(\textbf{N}_p(\textbf{S}(\varvec{x} + d_1\,\vec {\omega }_{t1}))\)。我们在合成数据上训练了一个神经网络来预测各种形状的\(d_1\)和\(d_2\)。因此,\(\textbf{A}_\text {BG}(\varvec{x}_s) = \textbf{A}_\text {BG}(\textbf{S}(\varvec{x}_2))\),其中\(\textbf{S}(\varvec{x}_2)\)是\(\varvec{x}_2\)经过两次折射后的屏幕坐标。关于折射长度,我们做了一个简化假设。我们假设编辑后的物体沿其前后轴对称,因此根据MatNet预测的深度计算折射距离。厚度先验预测:模拟物理上准确的折射需要光线的出射点,这取决于物体的厚度和背面几何形状。由于在单视图中背面是遮挡的,我们将这个问题表述为一个学习问题。我们训练了一个基于U-Net的RefractionNet,类似于深度图预测模块,从输入图像中预测厚度图。我们的网络学习了语义形状先验(例如,识别出杯子的把手比其主体更薄),为光线传播距离提供了更合理的近似。我们的敏感性分析(见补充章节D.2)表明,编辑结果对厚度预测的错误具有相当强的感知鲁棒性,最大可达50%,验证了这种近似的可行性。背景插值:折射揭示了被不透明物体遮挡的背景。我们使用插值管线(Rombach等,2022a;Wu等,2025)来插值背景。最终颜色是使用光线出射后的屏幕空间坐标查询的。表3 对InteriorVerse合成数据集(Zhu等,2022a)上材料预测的定量评估。我们将我们的MatNet与最新最先进的方法进行比较,这些方法在反照率、粗糙度、金属度、深度和法线估计等标准指标上进行了评估。最佳结果以粗体显示,第二好的结果下划线表示。DiffusionRenderer(Liang等,2025)在更多样化的数据集上进行了训练,这可能是该数据集上与GT略有偏差的原因。Ke等(2025)的并发工作在该数据集上展示了在反照率和法线方面的强劲性能。完整尺寸表格图6 这张图的替代文本可能是使用AI生成的。完整尺寸图片合成数据集上材料预测的定性结果。所有法线图都在[0, 1] RGB空间中可视化,线性反照率预测已校正为sRGB。图7 这张图的替代文本可能是使用AI生成的。IIW数据集(Bell等,2014)上反照率预测的定性结果突出了关键差异:Zhu等(2022a)保留了过多的细节,Kocsis等(2024)扭曲了纹理并难以处理面部特征,而Zeng等(2024)过度平滑,丢失了如面部特征这样的关键细节。Liang等(2025)和Ke等(2025)的并发工作展示了更平衡的性能。6 实验:需要注意的是,MatNet在我们的管线中作为一个支持组件;我们并不直接与图像分解工作竞争。相反,更精确的材料预测通过利用我们的管线增强了envmaps的优化。6.1 实现细节:MatNet在InteriorVerse数据集(Zhu等,2022a)上进行了训练,遵循数据集提供的官方训练/验证/测试分割,以确保一致性。训练集包含45,073张图像,而验证集包括5,024张图像。结果是在2,672个样本的测试集上报告的。我们仅应用随机垂直翻转和随机512×512裁剪作为数据增强。该模型使用了DINOv2-ViT-B/14编码器和DPT解码器。它包含1.067亿个参数,推理需要202.0 GFLOPs。模型在A100(80GB)上训练了7天,使用AdamW进行优化,学习率为\(10^{-5}\)。渐进式可微渲染:我们使用Mitsuba 3(Jakob等,2022)实现我们的管线。梯度使用Path Replay Backpropagation(PRB)积分器计算,这为路径追踪图像的微分提供了一个内存高效的解决方案。我们使用每个像素64个样本(SPP)进行优化。值得注意的是,在优化过程中我们没有应用任何去噪器,以防止梯度中引入偏差或伪影。我们假设一个具有35度视场(FOV)、512×512图像分辨率和3个颜色通道的针孔相机模型。渐进式可微渲染的优化可以分为几个阶段:首先优化\(\textbf{R}\)和\(\textbf{M}\),然后是\(\textbf{A}\)。由于反照率对渲染的影响最大,在联合优化期间增加其在\(\mathcal {L}_{\text {cons}}\)中的比例因子可以防止网络过度关注反照率,确保材料属性的平衡优化。所有优化结果均来自使用固定随机种子的一次性运行,以确保结果的可重复性。为了确保在没有手动调整的情况下对“真实世界”图像进行稳健的重建,我们提出了一种两阶段优化策略:

1. 初始化:直接使用原始预测值(可能包含接近0或1的值)可能会导致优化不稳定(例如,梯度消失或爆炸)。因此,我们使用变换\(x' = 0.7x + 0.2\)将MatNet中的初始粗糙度(\(\textbf{R}_p\)和金属度(\(\textbf{M}_p\))预测值重新映射到一个更易于优化的范围。反照率(\(\textbf{A}_p\)直接从MatNet预测值初始化,因为它通常更可靠。方程(20)中的\(\delta\)被设置为0.5。

2. 第一阶段(粗糙度与金属度):由于反照率对渲染损失的影响最大,同时优化所有参数往往会引入“反照率-shortcut”问题,即光照/材质错误被固定到反照率中。为了缓解这个问题,我们在第一阶段冻结反照率,严格优化\(\textbf{R}\)和\(\textbf{M}\)。

3. 第二阶段(联合优化):一旦\(\textbf{R}\)和\(\textbf{M}\)稳定下来,我们就解锁\(\textbf{A}\),并对所有材质属性进行联合优化以微调重建结果。一个补充视频演示了这一多阶段优化过程。

我们使用Adam优化器进行两个阶段的优化。对于材质属性,学习率设置为\(3 \times 10^{-4}\),采用StepLR调度器(步长100,\(\gamma = 0.8\))。对于环境图,学习率为\(10^{-3}\),使用相同的调度器。为了确保效率,我们实现了提前停止机制:如果环境图的损失改善在100步内小于1%,或者材质的改善在200步内小于0.5%,则优化终止。在单个NVIDIA RTX 3090 GPU上,整个优化过程通常在3到7分钟内收敛。

6.2 材质预测准确性
我们在InteriorVerse(Zhu等人,2022a)合成室内数据集的测试集上评估了我们的MatNet的性能。如表3所示,我们的方法在几乎所有指标上都取得了最佳性能。定性比较显示在图6中。值得注意的是,同时期的工作DiffusionRenderer(Liang等人,2025)也表现良好。尽管其在某些指标上的定量分数略低,这可能是由于其在更大范围的数据集上训练,导致与真实值之间存在风格差异,但其图6中的定性结果显示出感知上清晰的金属度和粗糙度地图。

需要强调的是,我们的方法与DiffusionRenderer并不冲突,而是提供了互补的优势。我们认为,我们方法更准确的材质属性预测可以为优化提供出色的初始条件,从而显著加速渐进式可微渲染,可能提高这类先进渲染 pipeline 的整体效率和效果。

6.3 环境图优化
目前,单视图环境图的生成主要依赖于DM(Phongthawee等人,2024),它只能生成视觉上合理的环境图。基于优化的方法通常需要多视图输入(Park & Holynski,2020;Yu等人,2023b;Verbin等人,2024)或使用隐式光照表示(Yao等人,2022;Zhu等人,2022a;Kocsis等人,2024)。对于优化方法,我们选择了DPI(Lyu等人,2023)作为基准,将其适应于单视图输入,并使用我们的方法(第4.2节)重建的网格。

6.4 材质预测准确性
我们在IIW数据集上使用加权人类不一致率(WHDR)评估反照率预测的性能,该指标由Bell等人(2014)提出,用于衡量与人类注释的误差。定性结果在图7中提供。我们还对不同模型进行了严格的推理速度测试。为了避免图像读取/写入引起的磁盘I/O干扰,我们使用随机生成的噪声作为模型的输入。实验在单个H100(80GB)GPU上进行,批量大小为1。模型首先通过运行50次迭代进行热身(此阶段的结果从最终统计中排除)。热身之后,模型执行了500次迭代,并计算了平均和中位推理时间。结果如表4所示。

表4 使用WHDR(\(\delta =0.1\))对IIW数据集(Bell等人,2014)上的反照率预测进行定量评估。我们还包括了与Ke等人(2025)和Liang等人(2025)同期工作的比较。虽然Ke等人(2025)的WHDR最低,但我们的方法提供了更快的推理速度,实现了效率和性能之间的平衡。时间表示在单个H100(80G)上每张图像的平均推理时间(以秒为单位)。重要的是要强调,报告的时间仅反映了MatNet的推理阶段,不包括任何后续的优化过程。

6.5 环境图优化
目前,单视图envmap的生成主要依赖于DM(Phongthawee等人,2024),它只能生成视觉上合理的环境图。基于优化的方法通常需要多视图输入(Park & Holynski,2020;Yu等人,2023b;Verbin等人,2024)或使用隐式光照表示(Yao等人,2022;Zhu等人,2022a;Kocsis等人,2024)。对于优化方法,我们选择了DPI(Lyu等人,2023)作为基准,将其适应于单视图输入,并使用我们的方法重建的网格(第4.2节)。

表5 在构建的数据集上对envmap优化进行定量评估。我们与Phongthawee等人(2024)和Lyu等人(2023)进行了比较。我们的方法在\(512\times 256\)分辨率下使用球坐标进行评估。Envmap指标衡量像素级准确性,而Render指标评估重新光照的质量。SH误差衡量球谐(SH)系数的差异,作为光照方向和颜色准确性的稳健代理。“w/ mat”和“w/o mat”指的是在envmap优化过程中是否提供了MatNet预测的固定材质属性。我们的方法(w/ mat)实现了更低的SH误差,表明了更好的物理合理性。

我们使用包含1000个评估样本的构建数据集来评估性能,这些样本来自10个不同的场景,每个场景从10个不同的光照条件下渲染。我们的envmap在\(512 \times 256\)(宽度\(\times\)高度)分辨率下使用球坐标进行优化。在定量评估中,“w/ mat”表示在环境图优化过程中使用MatNet预测的材质属性(反照率、粗糙度、金属度)作为固定先验。实验在单个RTX 3090上进行。我们的方法采用StepLR调度器,步长为100,衰减因子为(\(\gamma = 0.8\)),学习率设置为(\(10^{-3}\)。还应用了提前停止:如果连续100步的损失改善小于1%,则优化终止,最大优化步骤为500步。评估指标包括优化后的envmap与真实envmap之间的差异,以及使用优化后的envmap与真实envmap重新光照场景之间的差异。两种方法都使用了真实材质属性进行重新光照。

如表5所示,我们的方法在关键指标上优于基线。最显著的是,我们实现了显著较低的SH误差(0.474),相比之下DiffusionLight(3.382)和DPI(3.178)。由于球谐(SH)代表了光照的低频全局结构,这表明我们基于物理的可微渲染管道比基于学习的或隐式方法更准确地恢复了光照方向和颜色温度。尽管DiffusionLight(Phongthawee等人,2024)更快(61秒),但在物理一致性方面存在问题。我们的方法取得了平衡,比类似的优化方法DPI(105秒 vs 453秒)更快,同时提供了更好的质量(重新渲染PSNR 20.05 vs 17.36)。定性结果在图8中。值得注意的是,虽然重新渲染误差很低,但由于单视图优化的固有不确定性,envmap误差仍然相对较高;即使在整体envmap有显著差异的情况下,某些区域的准确光照也可以与真实值非常接近。

6.4 对象插入和重新光照
我们将我们的方法与最近的编辑方法(Lyu等人,2025;Liang等人,2025;Zeng等人,2024)进行了比较。请注意,IntrinsicEdit Lyu等人(2025)和RGX\(\leftrightarrow \)X(Zeng等人,2024)操作于2D内在层,并使用辐照度图而不是环境图。我们进行了以下调整以促进公平比较:
1. 辐照度近似:Zeng等人(2024)和Lyu等人(2025)不原生支持高频率环境图。我们通过根据表面法线方向\(\vec {N}\)对envmap \(\textbf{E}\)进行采样来近似所需的输入辐照度图。具体来说,对于每个像素(u, v),我们将法线向量\(\vec {N}(u,v)\)映射到球坐标\((\theta ,\phi )\)并从\(\textbf{E}\)中采样相应的值。请注意,这是一种简化近似,忽略了自阴影和全局积分。
2. 2D层生成:对于对象插入任务,Zeng等人(2024)和Lyu等人(2025)需要编辑过的反照率和法线图。我们通过在恒定环境光下渲染我们的3D网格资产来生成这些2D层,然后将其粘贴到场景的内在图中。如图9和10所示,虽然Lyu等人(2025)生成了视觉上协调的结果,但我们的方法产生了更加真实的光照效果。具体来说,我们基于物理的射线追踪准确捕捉了插入对象在场景上的投射阴影(反之亦然),并保留了透明对象的高频镜面反射和折射,而这在基于辐照度的2D方法中是不可能的。

此外,为了验证我们方法的视觉准确性,我们使用了真实照片进行比较,而不是合成数据。我们获得了之前工作(Stets等人,2017)中扫描的3D玻璃罐的网格,将真实的罐子放置在桌子上,并从相同的角度拍摄了有和没有罐子的场景的照片。然后我们将网格罐子插入到图像中,并与实际照片进行了比较,如图11所示。

图8所示,这个图像的替代文本可能是使用AI生成的。

图9所示,这个图像的替代文本可能是使用AI生成的。

图10所示,这个图像的替代文本可能是使用AI生成的。

图11所示,这个图像的替代文本可能是使用AI生成的。

图12所示,这个图像的替代文本可能是使用AI生成的。

图8 环境图优化的定性结果。图形的左侧部分展示了各种方法结果的定性比较,我们的方法表现出了竞争力。例如,我们的方法准确再现了第一行中花瓶上的反射,而优化后的envmap正确重建了发亮的中心区域。右侧部分展示了不同坐标系统和envmap分辨率下的消融研究结果。尽管渲染图像之间的差异很微妙,但优化后的envmap显示出显著的变化(参见第6.3节)。

图9 所示,这个图像的替代文本可能是使用AI生成的。

图10 所示,这个图像的替代文本可能是使用AI生成的。

图11 所示,这个图像的替代文本可能是使用AI生成的。

图12 所示,这个图像的替代文本可能是使用AI生成的。

图13 所示,这个图像的替代文本可能是使用AI生成的。

图13 所示,这个图像的替代文本可能是使用AI生成的。图13展示了在不同光照条件下虚拟物体落下的模拟效果,这些效果是通过我们的方法从单张图像的逆向渲染中重建得到的。图11的替代文本可能是使用AI生成的。全尺寸图片。图12的替代文本可能是使用AI生成的。全尺寸图片。我们将我们的物体插入结果与真实世界图像进行了比较。反射区域的误差主要来自于优化后的envmap不够准确,如第5.3节所解释的。图12的替代文本可能是使用AI生成的。全尺寸图片。我们将我们的阴影效果与DiffusionRenderer(Liang等人,2025年)的结果进行了比较。他们的图像来自他们的项目页面。SSRT表示屏幕空间光线追踪。请注意,由于不同方法估计的envmap不同,这种比较突出了几何一致性而非绝对的光照准确性。具体来说,我们的方法保持了房屋阴影和广告牌阴影之间的比例关系(红色箭头所示),而基线方法由于缺乏明确的几何信息而产生了不一致的阴影长度。复杂的照明场景,例如图像右下角的柔和阴影,展示了我们方法的局限性:因为遮挡物在视野之外,并且重建的网格前面没有遮挡物,阴影在优化过程中被 bake(固定)到了反照率中。因此,即使envmap发生变化,这种柔和阴影也会持续存在。6.7 人体面部重新光照我们通过在人体面部上重新光照来评估我们的方法,以展示其潜力。我们使用在室内数据集上训练的MatNet(未针对面部进行微调),预测了\(\textbf{A},\textbf{R},\textbf{M}\),并进行了渐进式优化。虽然结果看起来很有前景(见图14),但我们的方法没有模拟表面下的散射,这对于真实的人脸渲染至关重要。在我们的方法中,表面下的散射在优化过程中被固定在反照率中,并且在光照变化时保持不变,从而限制了准确性。同样,脸上的镜面高光也被固定在反照率中。未来的工作可以通过将表面下的散射集成到渲染流程中来提高真实性。6.8 材料编辑为了评估透明度编辑,我们使用了真实世界的照片进行比较。一个与第5.4节中扫描的网格大小相同的三维打印不透明壶被放在一个固定位置的相机旁边,并拍摄了两张照片作为透明度编辑的基准。由于Alchemist(Sharma等人,2024年)与我们的工作密切相关,但它不是开源的,我们将我们的方法与iPix2Pix(Brooks等人,2023年)和DM inpainting(Rombach等人,2022a)进行了比较。对于iPix2Pix,使用文本提示进行编辑,而DM inpainting同时接收了壶区域的掩码和文本提示。结果见图15。对于反照率、粗糙度和金属度的评估,由于Alchemist(Sharma等人,2024年)的代码不可用,我们使用了作者提供的官方结果进行比较。在他们的术语中,“低”和“高”代表了编辑的方向和幅度。为了保持一致性,我们将这些定性标签映射到我们流程中的定量标量输入:我们使用\(-0.5\)来表示“低”(属性减少),使用\(+0.5\)来表示“高”(属性增强),提供了感知上对齐的比较。虽然MatNet在室内场景的预测上很准确,但只有反照率的预测是可靠的,粗糙度和金属度的预测则不够一致。然而,差分渲染允许我们仅使用反照率对真实照片进行逆向渲染。图13的替代文本可能是使用AI生成的。全尺寸图片。我们的方法实现了物理模拟。利用3D几何形状,我们的方法能够进行诸如使用Blender进行的物理模拟等独特操作。注意掉在长凳上然后落到地面的紫色圆柱体。图14的替代文本可能是使用AI生成的。全尺寸图片。我们的方法在重新光照真实人脸(FFHQ)上进行了测试。当面孔缺乏强烈的高光时,重新光照的结果更准确(见上图)。然而,当存在高光时(见下图),它们在优化过程中被 bake 到反照率中,导致它们在不同光照下仍然保持不变。图15的替代文本可能是使用AI生成的。全尺寸图片。将我们的材料透明度编辑结果与iPix2Pix(Brooks等人,2023年)和DM inpainting(Rombach等人,2022a)进行了比较。DisneyBSDF的传输参数设置为0.9,IOR设置为1.2,物体颜色定义为白色。由于在实际应用中获取GT背景的挑战性,我们在两种情况下展示了结果:(1)提供GT背景时;(2)使用基于修复的背景时。如图所示,即使使用基于修复的背景,我们的方法在折射编辑方面也取得了有竞争力的性能。图像的右下角展示了用于透明度编辑的BG。关于编辑任务的初始化说明:为了专门比较材料编辑能力,我们手动将粗糙度和金属度值初始化为0.5。这样做是为了避免参数饱和(值收敛到0或1),否则将无法展示双向编辑(增加或减少值)。对于所有其他任务,使用默认的自动设置。结果见图16。为了确保公平比较,我们没有对任何方法应用超分辨率(SR)后处理,就将我们的直接渲染结果与Alchemist(Sharma等人,2024年)进行了评估。如表6所示,Alchemist取得了略高的总分数(7.68对比7.36)。这是意料之中的,因为基于扩散的模型在生成高频表面细节(例如复杂的金属颗粒)方面表现出色,这些细节很难通过单张视图通过优化来恢复。然而,差距很小,这表明我们基于物理的方法在视觉真实感上具有竞争力。重要的是,虽然Alchemist产生的纹理很清晰,但它经常缺乏物理一致性。例如,在粗糙度编辑中,我们的方法正确模拟了环境在物体表面的反射(见图16,红色箭头),而扩散模型通常生成的纹理忽略了场景几何和光照方向。同样,在透明度方面,我们的方法依赖于估计的几何形状,因此能够保持一致的光折射畸变,而生成基线可能会产生不一致的背景变形。因此,对于需要物理可编辑性的应用来说,我们的方法提供了一个重要的替代方案,而不仅仅是纯粹的纹理幻想。图16的替代文本可能是使用AI生成的。全尺寸图片。材料的定性评估。请注意,由于Alchemist(Sharma等人,2024年)不是开源的,他们的结果来自官方样本,其中“低”和“高”标签表示编辑的幅度。为了公平比较,我们的方法使用标量值\-0.5和\+0.5来分别表示“低”和“高”情况的等效编辑强度。我们的方法能够编辑各种颜色的反照率,而Alchemist(Sharma等人,2024年)仅限于白色。在粗糙度编辑任务中,我们的方法正确地渲染了周围环境的反射(例如,反射在瓶子上的石头,红色箭头),确保了场景的融合。Alchemist生成了一个高频的光泽纹理,但未能正确反映场景上下文。在我们的方法中,在金属编辑期间保留了Charizard的颜色(第三行),并显示了增加金属度只会使材料变暗。在透明度编辑中,我们的方法捕捉到了光线折射,并在增加透明度时保持了花瓶的外观。请注意,尽管Alchemist由于其生成性质可能会产生更清晰的局部纹理,但它缺乏我们逆向渲染流程所施加的全局物理约束。7.1 透明度编辑的评估为了严格评估我们的透明度编辑模块在非特权环境中的性能,我们构建了一个综合的合成基准测试集。该数据集包括20种不同的物体几何形状,分为两组:1. 对称物体:具有前后对称性的几何形状(例如,球体、简单花瓶),我们的物理假设(前法线\(\approx\)后法线)在这里适用得很好。2. 不对称物体:具有不同厚度和凹面的复杂几何形状(例如,扭曲的形状、雕像),这些情况代表了物理假设被违反的挑战性案例。我们将这些物体作为介电体(IOR=1.1和1.3)在30种不同的环境地图下进行了渲染,共得到了1200个评估场景。对于输入数据,我们通过分配一个具有统一RGB反照率0.5的扩散材料来模拟用于编辑的不透明物体。实验设置为了严格隔离折射区域的性能,所有指标(PSNR、SSIM、LPIPS)都在物体掩码内部计算。我们比较了两种设置,以验证我们的流程在缺乏基准背景时的鲁棒性:GT背景:使用GT背景图像进行折射计算。这代表了我们的渲染模块在给定几何估计下的理论上限。修复背景:使用修复模型(Rombach等人,2022b;Wu等人,2025)生成的背景,移除了原始的不透明物体。结果和分析表7展示了定量结果。我们观察到了两个关键趋势:1. 对背景质量的鲁棒性。比较“修复背景”和“GT背景”设置,对于对称物体,性能下降很小(例如,PSNR 20.308对比20.162)。这证实了我们提出的流程并不严重依赖于特权背景信息。最近修复模型生成的背景足够逼真,能够生成令人信服的折射效果。图182. 几何假设的影响(失败案例分析)。对称物体和非对称物体之间的性能差异明显。对称物体一致地实现了更高的保真度。对于非对称物体,性能下降(PSNR\(\approx\) 18.667),并且值得注意的是,使用GT背景并不比修复背景产生更好的分数。这表明,对于具有不同厚度的复杂几何形状,错误的主要来源不是背景内容,而是单视图几何假设的违反。我们的方法使用基于前法线的双界面模型来近似折射。复杂的非对称形状会引起多次内部反射和全内反射(TIR),这些现象在GT中积累了辐射,产生了明亮的、“变白”的外观(见图17)。我们简化的模型无法捕捉这些复杂的光传输路径,导致预测结果较暗。因此,提供一个完美的GT背景并不能纠正由几何近似引起的错误,使得修复背景的性能相当。我们的方法在仅使用单张图像的情况下,对于一般物体保留了合理的折射畸变,尽管它本质上受到单视图几何模糊性的限制。7.2 对相机内参的敏感性我们的流程假设固定的视野(FOV)为\(35^\circ\),因为从单张图像中估计精确的相机内参是一个病态问题。为了评估这一假设的鲁棒性,我们通过将视野变化\(\pm 20\%\)(范围从\(28^\circ\)到\(42^\circ\))来进行压力测试,同时保持其他超参数不变。在单视图设置中,焦距f和物体深度Z之间存在固有的不确定性。投影定义为\(u \propto f \cdot \frac{X}{Z}\)。假设的f的误差会导致优化收敛到一个缩放后的深度Z版本,以保持与输入图像像素的对齐(屏幕空间监督)。因此,尽管绝对几何形状可能被扭曲(沿光轴扁平化或拉长),但重新投影与输入图像保持一致。因为我们的主要目标是从固定视角进行图像编辑,而不是度量3D重建,所以FOV和深度之间的这种耦合失真在渲染过程中被抵消了,从而保持了视觉保真度。我们生成了10个随机场景,每个场景包含一个水平地面平面,上面随机放置了物体,使用具有统一灰度反照率(RGB: 0.5)的扩散BSDF。我们使用\(35^{\circ }\)的视野在这些场景上进行了渲染,并使用了60种不同的环境地图作为GT。随后,使用不同的视野设置(\(28^{\circ }\)、\(35^{\circ }\)和\(42^{\circ }\)进行了网格重建。使用原始的环境地图重新渲染了重建的网格,并将结果图像与\(\text {FOV}=35^{\circ }\)的GT进行了比较,以计算定量指标。如表8所示,定量结果在不同设置下保持高度一致。具体来说,PSNR的波动很小(极端情况之间的差异小于0.8 dB),并且在初始化的FOV偏离真实值时,结构指标(SSIM和LPIPS)没有显著下降。这表明我们的重建流程对于FOV设置具有鲁棒性,并不严格需要精确的相机内参知识。定性结果示例见图19。表6 材料编辑用户研究。我们将Alchemist(Sharma等人,2024年)与我们的直接优化输出进行了比较。分数表示用户偏好(分数越高越好)。尽管缺乏高频纹理的生成先验,我们的方法仍能够达到与基于扩散的基准方法相当的感知质量。表7展示了在不同背景源和几何复杂性下的定量消融实验结果。 metrics仅计算在折射区域上。GT和Inpaint背景之间的性能差距表明了我们方法的鲁棒性。图17显示,该图像的替代文本可能是使用AI生成的。表17中还包含了透明度编辑消融研究的定性结果。前三行(对称物体):我们的方法产生的透明度效果与GT非常接近,证明我们的简化折射模型适用于具有前后几何对称性的物体。后三行(不对称物体):结果与GT存在差异,这是因为我们的方法采用了一个简化的光学模型,仅假设了两次折射事件(进入和离开)。因此,该方法无法解释复杂几何形状内的多次内反射和复杂的光线传输,这些通常会导致辐射的累积,从而在GT中观察到更亮、“增白”的外观。背景源的影响(第四行):通过比较“Inpainted BG”和“GT BG”的结果,我们发现对于复杂几何形状,误差主要是由几何简化引起的,而非背景质量。我们还比较了不同视场角(FOV)对真实世界图像重新着色的影响。图20展示了在不同FOV下的重新着色结果。当图像中阴影不存在或不明显时,使用不同FOV拍摄的图像之间的差异几乎无法察觉。这是因为我们的边界处理网格重建确保了纹理映射无论全局深度如何变化都保持像素对齐。另一方面,改变FOV会改变投射阴影的视角。较宽的FOV会产生更分散的阴影,而较窄的FOV则会产生更平行的阴影。然而,由于这些“扭曲”的阴影在物理上与由错误FOV引起的“扭曲”几何形状一致,因此结果对人类眼睛来说仍然是可感知的,尽管人类眼睛缺乏绝对场景规模的参考。这项分析证实,对于从固定视角进行图像编辑的任务,我们的方法对相机的内部参数的合理偏差具有鲁棒性。7.3 环境映射优化我们研究了坐标系统参数化和环境映射分辨率对优化性能的影响。在没有特定说明的情况下,实验设置保持与第5.3节中概述的配置一致。结果总结在表9中。坐标系统我们比较了使用标准2D笛卡尔(UV)坐标与提出的球形3D单位向量进行位置编码的性能。在相同的高分辨率(\(512 \times 256\)下,球形参数化始终产生较低的SH误差(0.472对比0.503)和较高的重渲染PSNR(20.05对比19.87)。这表明将输入映射到连续的球形域能够为学习全向光照提供更好的归纳偏差,有效消除了图像边界处的不连续性和极点处的奇异性。定性结果展示在图8中。分辨率我们评估了不同环境映射分辨率的性能。在低分辨率(\(32 \times 16\)下,优化严格限制在低频信号上。因此,通过拟合光照的平滑均值,它实现了非常低的环境映射MSE(0.144)和高环境映射SSIM(0.628)。然而,这种平滑性是以丢失真实反射所需的细节为代价的。通过将分辨率提高到\(512 \times 256\),虽然由于高频细节的增加,像素级的环境映射MSE有所增加,但重渲染PSNR提高到了20.05。我们在两种条件下测试了环境映射优化的结果:提供MatNet预测与设置\(\textbf{A}=\textbf{R}=0.5, \textbf{M}=0.1\)。如表5所示,提供MatNet预测显著提高了环境映射估计的准确性。7.4 缩放因子\(\delta \) 图18显示,该图像的替代文本可能是使用AI生成的。表8展示了在不同FOV设置下合成数据集重建质量的定量比较,与完整几何形状的GT相比。结果表明我们的方法对各种FOV具有鲁棒性。图19显示了合成数据集对FOV的敏感性分析。使用不同FOV重建的网格在不同光照条件下几乎无法区分外观。第二行图像中的红色虚线是为了便于比较不同FOV下阴影的微妙差异。图20展示了真实世界图像对FOV的敏感性分析。第一列左下角显示了使用的环境映射,同一环境映射应用于每一行的所有图像。我们将假设的FOV变化范围设置为\(\pm 20\%\)(\(28^\circ \),\(35^\circ \),\(42^\circ \)。第一行和第二行展示了FOV从\(35^\circ \)增加到\(42^\circ\)的情况,而第三行和第四行展示了FOV从\(35^\circ \)减少到\(28^\circ\)的情况。第一行和第三行展示了在重新着色结果中阴影不明显的案例,导致所有图像之间的差异很小。第二行和第四行展示了环境映射生成不同阴影的情况,揭示了阴影特征的差异。具体来说,较窄的FOV(类似于长焦镜头)产生更平行的阴影,而较宽的FOV则表现出更大的透视差异。此外,FOV的差异也可以在天空的云层分布中观察到,较窄的FOV捕获的云层较少。表9对环境映射设置进行了消融研究。我们比较了Cartesian(UV)坐标与球形坐标在低(\(32 \times 16\))和高(\(512 \times 256\)分辨率下的表现。尽管低分辨率模型在环境映射本身的数值拟合上表现更好(由于平滑处理),但高分辨率球形模型实现了最佳的重着色质量。我们使用IIW数据集(Bell等人,2014年)中的20张随机图像进行了\(\delta\)值的消融研究,并将重新渲染的图像与输入图像进行了比较。我们测试了两种策略:同时优化\(\textbf{ARM}\)和顺序优化(\(\mathbf {RM[NONSPACE] \& A}\)),其中首先优化\(\textbf{RM}\),然后优化\(\textbf{A}\)。为了节省时间,如果\(\mathcal {L}_{\text {re}}\)在连续20步内减少了不到5%,我们就停止了优化。结果显示在表10中。7.5 权重初始化我们进行了全面的消融研究,以调查各种权重初始化策略对优化神经网络(MLP)的影响,同时保持来自MatNet预测的一致材料参数初始化。我们测试了五种不同的随机种子来初始化不同神经网络的权重。如图21所示,优化过程的损失表明神经网络配置的变化对优化结果的影响有限。这是预期之中的,因为神经网络仅用于加速优化过程。7.6 几何质量我们的方法依赖于几何形状,使其在渲染阴影效果方面优于同时期的工作DiffusionRenderer(Liang等人,2025年)。然而,这种依赖性引入了一个相关限制。我们进行了消融研究来分析几何质量的影响。为了清楚地说明这一效应,我们使用了更具有挑战性的几何配置来进行逆向渲染,如图22所示。图22(b)显示了估计的几何形状。使用GT材料属性进行渲染时,结果与GT有显著偏差。相比之下,图22(c)展示了使用估计的几何形状优化材料属性后的结果,与GT更为接近。由于估计的几何形状缺乏细部细节,必须优化材料属性来补偿这些几何不准确性。例如,图22(c)中的裙摆高光是通过减少材料的粗糙度而不是通过准确的几何表示来实现的。然而,这种补偿是有代价的。当随后重新着色优化场景时,会出现明显的瑕疵,如图22(f)中的重新着色示例所示。图22突出了我们方法中的一个基本权衡:材料优化过程补偿了初始几何预测的不准确性。虽然这种补偿成功最小化了在原始照明下的重建误差,但得到的材料映射可能在物理上不准确,并且在重新着色时会导致瑕疵。因此,我们的重新着色和编辑质量与MatNet提供的几何精度密切相关。改进单视图几何估计将直接增强我们材料优化的鲁棒性。7.7 照明表示的SH系数我们尝试使用SH系数代替环境映射,发现优化SH系数需要更长的时间才能达到相同的损失。我们使用三阶SH系数来表示光源。在给定真实材料属性的情况下,我们在不同的照明条件下进行光源优化。比较了每种方法达到相同\(\mathcal {L}_{\text {re}}\)所需的时间。结果显示在表11中。表10展示了方程式(20)中\(\delta\)的消融效果。比较了重新渲染误差。优化步骤限制在200次以内。图21显示,该图像的替代文本可能是使用AI生成的。不同权重初始化的消融效果。不同颜色的线条代表不同的初始值。图22展示了不同神经网络初始化对优化过程的影响有限。图22展示了几何质量的定性消融。(a)真实参考。(b)使用估计的几何形状和GT材料属性进行渲染,显示出显著偏差。(c)材料优化后的最终结果,在原始照明下与GT非常接近。然而,通过材料属性(例如,降低高光的粗糙度)来补偿几何不准确性会导致在新照明条件下出现可见的瑕疵。(f)7.8 优化步骤和重新渲染误差我们分析了优化步骤与重新渲染误差之间的关系。我们从InteriorVerse数据集(Zhu等人,2022a)中随机选择了10张图像来测试不同优化步骤下的重新渲染误差。在RTX 3090上进行优化,每秒运行2步。根据MatNet的准确性,通常在10分钟的优化后可以获得满意的结果。结果显示在表12中。7.9 优化网络类型我们尝试使用基于CNN的UNet进行材料属性优化。UNet架构包括2个下采样块和2个上采样块,每个块包含两个2D卷积层(核大小=3,填充=1)。此外,我们还比较了不使用神经网络的直接优化材料属性的方法。如图23所示,直接优化是最慢的,其次是基于CNN的UNet,而位置嵌入的MLP实现了最快的收敛速度。此外,由于卷积神经网络的特性,在优化过程中可能会出现明显的瑕疵。如图24所示,优化后的图像显示出规则的黑点模式。值得注意的是,当MatNet预测不可靠时(例如,对于粗糙度和金属质感),在不依赖神经网络的情况下直接优化材料属性可以在足够的优化时间(例如超过3000步优化)后实现较低的\(\mathcal {L}_{\text {re}}\)。表13显示了在没有粗糙度和金属质感预测的情况下,两种方法可以实现的最小MSE渲染损失。表11显示了不同方法将\(\mathcal {L}_{\text {re}}\)优化到0.03所需的时间。直接优化环境映射比优化SH系数更快。表12展示了优化步骤的消融效果。指标基于重新渲染误差。图23显示,该图像的替代文本可能是使用AI生成的。与基于CNN的UNet相比,位置嵌入的MLP实现了更快的收敛速度。图24显示了UNet的瑕疵。红色框突出显示了该区域的放大视图,详细信息位于第二行。表13比较了使用MLP和直接优化材料属性时获得的最低\(\mathcal {L}_\text {re}\)。全尺寸表格8限制在本节中,我们从更广泛的用户角度讨论了我们提出方法的潜在局限性。需要注意的是,一些观点,例如需要对每张图像进行优化,在可微渲染领域通常并不被视为局限性。然而,从用户的角度来看,这可能使我们的方法不如基于DM的方法(Sharma等人,2024年;Brooks等人,2023年)方便。1. 与所有可微渲染方法一样,我们的方法需要针对每张图像进行优化以获得光照和优化的材料属性,这可能会非常耗时。根据MatNet的预测精度,优化时间需要5到30分钟。对于非领域内的图像(即非室内场景)或更高质量的要求,优化时间可能会增加。这限制了我们的方法实现稳定扩散基础技术所支持的快速批量图像编辑的能力(Brooks等人,2023年)。在更广泛的数据集上训练MatNet以获得更准确的预测可以帮助缓解这一限制。2. 我们的方法使用envmap来表示光照,这使得对场景中物理光源的准确建模变得复杂。如果原始图像中存在光源,优化可能会将其固定在反照率中,导致重新光照时出现不准确。3. envmap的优化质量高度依赖于材料预测的准确性。由于MatNet是在合成数据集上训练的,在处理非领域内的真实世界图像时,任何材料预测的偏差(例如,将镜面高光误分类为纹理)都可能导致envmap优化来补偿这些错误,从而导致估计不准确。因此,真实世界场景中的性能受到MatNet泛化能力的限制。4. 可微渲染的引入使我们的方法即使在领域外的图像上也能表现出色。然而,如果MatNet的预测较差,差分渲染优化需要对每张图像进行仔细调整,例如为要编辑的对象添加遮罩或尝试不同的优化策略。5. 对于材料透明度的编辑,复杂的对象几何形状可能导致折射失真,因为我们的方法只假设了两次折射。单视图网格重建(Shi等人,2023年;Liu等人,2024年;Long等人,2024年)可能为复杂形状提供更准确的折射。此外,由于我们在模拟折射时光线并不真正穿过对象,因此透明对象投射的阴影可能不准确,并且没有焦散效应。(请注意,这个问题在具有完整几何形状的对象插入任务中不存在。)6. 我们当前的框架旨在编辑不透明对象的材质,包括使其透明。然而,它并没有明确处理输入图像中已经包含透明对象的场景。在这些情况下,复杂的光照传输效应(如折射和焦散)可能会被MatNet“烘焙”到初始的反照率预测中。从单一视图分解这些效应是一个重大的、不适定的挑战。这代表着一个有前景但困难的研究方向,可能需要为透明和镜面光传输专门设计新的先验或网络架构。7. 由于网格重建的限制,在强烈重新光照时,物体边缘可能会出现伪影,因为网格在这些边缘是不连续的。这可以通过超分辨率来缓解。8. 我们方法的一个关键限制,与所有单图像可微渲染方法一样,是解耦物体颜色的固有模糊性,这可能来源于光照或材料属性。尽管我们的优化过程在这些约束下运行,但我们通过使用先验和技术(第E节)来减轻这种模糊性。然而,完全解决这一挑战超出了我们工作的范围。尽管有这个限制,我们的方法仍然取得了出色的图像编辑效果。在理想情况下,如果MatNet能够直接推断出真实的材料,优化将是不必要的。尽管如此,我们的方法在这些固有约束下实现了性能和可行性之间的实际平衡。图25这张图像的替代文本可能是使用AI生成的。全尺寸图像超分辨率可以在保持整体结构(如光照和阴影)的同时提高图像质量。然而,基于DM的超分辨率可能会改变一些细节,如图中右图中的雕像的过度修改所示。在圈出的区域,扩散模型引入了原始图像中不存在的过多细节。在这里,我们看到裙摆边缘出现了不存在的纹理。9. 由于我们的图像是渲染的,并且网格重建的限制可能导致物体边缘出现伪影,使用SR(Wang等人,2021b;Rombach等人,2022a;Jasper AI团队,2024;Wu等人,2024)可能有助于减少这些伪影。然而,SR模型经常过度修改图像,如图25所示。通过提供额外的输入来改进SR模型可能会缓解这个问题。10. 在某些情况下,我们的方法可能会导致双重阴影。即使预测的反照率中不包含阴影,在某些条件下(如图12所示,场景中没有遮挡物),阴影仍然可能在优化过程中被烘焙到反照率中。这可能导致重新光照时出现“双重阴影”。9 结论我们提出了一种新颖的逆向渲染方法,该方法结合了神经网络预测和可微渲染来从单张图像中优化材料属性和光照条件。我们的方法实现了更准确的环境图估计、场景级重新光照、对象插入以及包括透明度编辑在内的材料编辑,而无需完整的几何信息。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号