基于阴影感知高斯泼溅的无监督几何与光度一致性三维重建方法

《ISPRS Open Journal of Photogrammetry and Remote Sensing》：SGS: Shadow-Aware Gaussian Splatting

　　

从多视角图像中进行完整且精确的三维重建一直是三维计算机视觉与摄影测量领域的长期挑战。与传统多视角立体视觉（Multi-View Stereo, MVS）不同，基于辐射的方法能更好地捕捉场景真实感并提供更精细的重建。高斯泼溅（Gaussian Splatting, GS）方法将场景几何表示为一系列高斯椭球体，但在非结构化环境中因异质性遮挡导致的动态阴影变化，会违反光度一致性假设，导致几何伪影。为此，研究人员提出阴影感知高斯泼溅（Shadow-Aware Gaussian Splatting, SGS）。该方法的核心是从场景几何中解耦阴影。每个高斯基元被赋予一个可学习的阴影因子Fi，用于调制基础球谐函数（Spherical Harmonics, SH）系数，从而在完全光照（Basic）和阴影（Shadow）下分别表征场景。这一设计实现了新颖的双通道渲染管线：优化过程中，渲染器为每个视角生成Basic和Shadow两种竞争性表征。研究人员通过双模态选择损失解决歧义，该损失基于相对于真值的最低残差误差动态生成逐像素掩码，用于梯度反向传播。当训练数据中的像素处于阴影中时，损失会将梯度流定向至Shadow分支，从而有效将阴影从场景几何中剥离。通过防止阴影被错误地烘焙进场景颜色中，SGS消除了体积伪影和几何模糊，实现了卓越的几何重建与渲染保真度。研究人员的调查基于合成数据上的遮挡投射阴影，特别关注植被遮挡，因为其不规则几何会引入噪声并阻碍深度估计。实验表明，SGS在几何精度和光度保真度指标上均显著优于现有方法。

一、研究背景与问题

从多视角图像进行完整且精确的三维重建是三维计算机视觉与摄影测量的长期挑战。传统多视角立体视觉（Multi-View Stereo, MVS）依赖耗时跨视角三角化并假设朗伯表面，而基于辐射的方法如神经辐射场（Neural Radiance Fields, NeRFs）虽能更好捕捉场景真实感，但存在学习成本高、渲染速度慢的问题。高斯泼溅（Gaussian Splatting, GS）方法通过显式高斯椭球体实现高效实时渲染，但其在非结构化环境中面临严重挑战：当相机与光源共位移动时，场景内物体相对位置变化会产生复杂投射阴影，导致同一空间坐标在不同图像中呈现不同像素颜色，直接违反光度一致性假设。此外，球谐函数（Spherical Harmonics, SH）仅考虑恒定光照下视角方向的变化，无法处理光照变化引起的颜色不确定性，增加更多SH阶数又会导致参数数量多项式增长，限制实际应用。现有平面化GS方法虽提升了几何精度，但假定无遮挡视线；现有阴影感知方法多面向户外软阴影和重光照任务，缺乏对遮挡物投射阴影影响三维重建的系统评估。因此，亟需一种能从场景几何中显式分离阴影、无需先验或标签的GS方法。

二、研究内容与结论

研究人员提出阴影感知高斯泼溅（Shadow-Aware Gaussian Splatting, SGS），核心是从场景几何中解耦阴影。通过在每个高斯基元上增加可学习阴影因子F_i来调制SH系数，实现完全光照（Basic）和阴影（Shadow）两种状态下的场景表征。结合双通道渲染与双模态选择损失，动态选择最小残差误差对应的渲染结果进行梯度回传，有效防止阴影被错误烘焙进场景颜色，消除体积伪影和几何模糊。在包含植被遮挡的合成数据集上，SGS在几何精度和光度保真度指标上全面超越现有方法，显著减少了漂浮物伪影并提升了重建完整性。

三、关键技术方法

1. 1.
   阴影感知场景表征：每个高斯基元在原有参数基础上增加一个可学习标量F_i，用于缩放基础SH系数，从而在不增加额外监督的情况下分离基本颜色与光照依赖的阴影。
2. 2.
   双通道渲染策略：针对每个视角，利用相同的几何基元但不同的颜色特征（Basic SH与Shadow F_i调制SH），并行渲染两幅竞争性图像，实现表观与光照的有效解耦。
3. 3.
   双模态选择损失：计算每像素Basic渲染结果和Shadow渲染结果与真值之间的残差，选取残差较小的渲染结果作为梯度回传目标，动态生成像素级掩码，引导优化过程将阴影正确归入Shadow分支。

四、研究结果

4.1 几何重建质量提升

通过对比SGS与基线方法（包括FeatureGS等平面化GS方法）在合成数据集上的表现，SGS显著减少了由阴影引起的体积伪影和漂浮物，几何重建的完整性和精度均得到提升。定量指标上，SGS在所有评估指标上均取得最优结果。

4.2 光度保真度增强

SGS在渲染质量上同样表现优异，得益于阴影被正确分离，场景的基础颜色不受光照变化干扰，生成的图像在PSNR、SSIM等指标上均优于对比方法，同时保持了高效的渲染速度。

4.3 阴影影响分析

研究人员专门分析了植被遮挡投射阴影对几何重建的影响。通过在相同位置分别采集漫射光（无阴影）和直射光（有阴影）条件下的图像，发现阴影会导致标准GS方法产生严重的几何扭曲，而SGS通过显式建模阴影因子有效缓解了这一问题，证明了阴影解耦对于鲁棒三维重建的必要性。

五、讨论与结论

讨论部分：SGS虽然在合成数据上取得了优异效果，但真实场景中的阴影可能更加复杂，涉及半影区、多次反射和间接光照。此外，当前方法假设阴影仅由光照方向变化引起，未考虑随时间变化的动态阴影。未来工作可探索将SGS扩展到真实世界场景，并结合物理光照模型进一步提升阴影分离的物理合理性。

结论部分：研究人员提出了阴影感知高斯泼溅（SGS），这是一种新颖的无监督方法，通过可学习阴影因子显式分离场景固有辐射与外源光照。双通道渲染与双模态选择损失的组合有效将阴影从场景几何中解耦，避免了阴影被错误烘焙进颜色表征。实验证明，SGS在几何精度和光度保真度上均显著优于现有方法，尤其在高频遮挡投射阴影的场景下表现出色。该工作为光照变化环境下的鲁棒三维重建提供了新的技术路径。