LowLight-NeRF：一种用于在复杂低光环境下实现高保真神经渲染的新框架

《Neurocomputing》：LowLight-NeRF: A novel framework for high-fidelity neural rendering in challenging low-light

低光环境下3D重建的神经辐射场框架提出基于物理光照模拟和自适应低光区域增强的方法，通过 Ambient Light Simulation (ALS) 补偿全局光照缺失，Low-light Area Enhancement (LAE) 局部增强细节，并设计对比感知损失提升重建质量，显著优于现有SOTA方法。

　　

王晓辉|尹振宇|张飞卿

中国科学院沈阳计算技术研究所，中国辽宁省沈阳市110168

摘要

低光照环境是现实世界视觉应用面临的主要挑战之一。然而，现有的神经辐射场（NeRF）技术在这样的条件下难以实现鲁棒且高保真的3D重建，因为几何信息不准确且细节缺失。为了解决这些问题，我们提出了LowLight-NeRF，这是一个新的框架，它通过结合基于物理的照明建模和自适应神经渲染来提高重建的保真度。首先，LowLight-NeRF提出了环境光模拟（ALS），从物理光学的角度对场景中的自然光进行全局分布建模，解决了低光照图像中照明信息缺失的根本问题。其次，LowLight-NeRF提出了低光照区域增强（LAE）方法，该方法能够自适应地选择低光照区域并局部增强其亮度，从而更准确地恢复低光照场景中的局部细节信息。最后，LowLight-NeRF设计了自定义对比度感知损失（CA_Loss），在特征学习层面增强了模型对低光照区域细节的感知能力，从而显著改善了低光照场景的3D重建效果。我们对多个数据集进行了定性和定量分析，实验结果表明，我们的方法在PSNR、SSIM和LPIPS指标上显著优于现有的最先进方法（SOTA）。LowLight-NeRF为低光照条件下的3D重建提供了一个系统的解决方案，显示出在自动驾驶和机器人应用中的巨大潜力。源代码可在以下链接获取：https://github.com/luckhui0505/LowLight-NeRF

引言

三维（3D）重建技术在自动驾驶、机器人导航和虚拟现实等领域有着广泛的应用。然而，这些系统的实际部署受到一个常见现实世界挑战的制约：光照条件不佳。室内、夜间或遮挡环境中的普遍条件会导致性能严重下降，从而在实验室研究和实际应用之间存在显著差距。如图1所示，一个典型的例子是机器人在室外夜间环境中进行物体和场景识别。传统的基于多视图几何的方法由于在低光照条件下特征提取困难而失败，而基于学习的方法虽然有所改进，但尚未从根本上解决3D重建中鲁棒光照建模的科学挑战。

近年来，神经辐射场（NeRF）[1]作为一种快速发展的深度学习技术，在3D重建领域崭露头角，因其出色的建模能力和生成高质量、逼真图像的能力而受到重视。尽管NeRF在理想条件下可以生成令人印象深刻的重建结果，但在低光照或复杂光照条件下，其准确性和质量往往会显著下降[2]、[3]。因此，提高NeRF在低光照条件下的鲁棒性[4]已成为当前研究的关键挑战。低光照场景通常表现为图像细节缺失和噪声增加[5]、[6]，这导致现有的NeRF方法在捕捉这些关键细节时表现不佳，从而导致重建结果不完整或失真[7]。为了解决这个问题，我们提出了一种结合环境光模拟和低光照增强的NeRF方法，旨在通过自适应调整低光照区域的亮度和光照条件来提高NeRF在低光照场景中的重建性能。

越来越多的研究致力于通过处理异常输入图像来提高NeRF的重建性能。MP-NeRF[8]通过结合模糊成像原理和先验知识，提高了NeRF在模糊输入下的重建性能，从而增强了其在复杂场景中的鲁棒性。NeRFReN[9]将场景分为前景和背景，分别构建NeRF模型，同时优化反射、折射和遮挡处理，以实现镜像和透明物体的真实建模。RawNeRF[10]直接处理未经处理的原始图像数据，通过有效的噪声抑制和细节恢复来提高3D重建的质量。Sparse-NeRF[11]使用稀疏表示技术来减少计算负载和内存消耗，显著提高了NeRF在大规模场景中的处理效率，同时保持重建质量。

在计算机视觉和3D重建领域，低光照环境通常会对图像质量产生不利影响，导致图像细节丢失或噪声增加[12]、[13]，进而影响NeRF的重建精度。在这种情况下，NeRF模型难以有效恢复低光照区域的细节，导致重建效果不佳。为了解决这个问题，Aleth-NeRF[14]通过引入“遮罩场”的概念改进了传统的NeRF框架，该概念模拟光的传输，以恢复低光照和过度曝光场景中的物体密度和颜色细节。此外，NeRF-W[15]在低维潜在空间中对图像外观的变化进行建模，并将其与数据相关的不确定性场结合，有效应对复杂环境中的光照变化和临时遮挡，从而在具有挑战性的光照条件下提高场景重建的准确性和鲁棒性。尽管这些研究在处理低光照图像方面取得了一些进展，但现有方法在很大程度上依赖于特定的光照条件或假设[16]，使得难以在广泛的低光照环境中普遍提高重建精度。此外，如何在保持计算效率的同时进一步提高低光照场景中的细节恢复能力仍然是一个亟待解决的问题。

在本文中，我们提出了一个新的神经辐射场框架LowLight-NeRF（具有环境光模拟和低光照增强的神经辐射场）。该框架从两个方面解决了低光照条件下3D重建质量下降的问题：基于物理的照明建模和感知驱动的增强。我们构建了一个可解释的、可扩展的、物理上真实的低光照神经辐射场系统。LowLight-NeRF由三个核心模块组成：环境光模拟（ALS）、低光照区域增强（LAE）和对比度感知损失（CA_Loss）。与之前的基于亮度补偿的增强方法（例如Aleth-NeRF）不同，LowLight-NeRF从渲染方程出发，对全局和局部光照分布进行物理建模和自适应优化。理论上，它在低光照条件下实现了能量守恒和光照一致的重建。

首先，ALS基于物理光模型，补偿低光照条件下场景中漫反射和反射光的损失，这也受到阴影和黑暗区域导致的全局光照校正的限制，使得全局亮度分布不均匀（图2c）。与仅使用可学习遮罩场进行经验性亮度衰减调整的Aleth-NeRF不同，ALS是从渲染方程推导出来的，它对半球入射辐射进行了零阶近似建模，从而实现了能量受限的环境光补偿。此外，LAE由感知自适应框架驱动，能够区分黑暗区域中丢失的细节，并对这些区域进行亮度增强（图2d），从而实现对增强强度和宽度的自适应控制。这种方法有效提高了黑暗区域的图像质量，同时避免了高光照区域的过度亮化，从而获得了更好的环境重建图像。最后，我们引入了CA_Loss来进一步增强模型对低光照区域细节的敏感性。我们使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS）[17]作为评估指标。结果表明，所提出的方法优于当前的最先进方法（SOTA）。

我们的贡献总结如下：

•

我们提出了LowLight-NeRF，这是一个新的框架，可以从低光照图像重建高质量的3D场景，为在黑暗环境中运行的自主系统提供可靠的感知。

•

提出了环境光模拟（ALS）。ALS模拟自然环境中均匀散射到物体表面的光线，恢复了图像中缺失的照明信息，并增强了阴影区域的亮度和细节。

•

提出了低光照区域增强（LAE）。LAE识别并优化低光照区域的亮度，以增强暗区域细节，避免失真，并显著提高低光照环境下的图像质量和3D重建精度。

•

我们的方法显著提高了PSNR、SSIM和LPIPS指标。特别是PSNR的提高最为明显，平均提高了约3.93%。广泛的实验表明，LowLight-NeRF在细节恢复和3D重建方面取得了令人满意的结果。

部分摘录

低光照图像

在低光照环境中，由于光照不足，图像捕获通常会受到图像质量下降的影响[18]、[19]。在低光照条件下拍摄的图像通常会出现噪声增加、对比度降低和细节丢失等问题[20]、[21]、[22]。为了提高低光照图像的可见性和细节，确保它们在复杂环境中仍能提供有效信息，传统的图像增强方法通常依赖于RetiNex理论等技术，

背景

NeRF通常依赖于清晰、曝光良好的多视图图像来学习空间中颜色和体积密度的分布。然而，在低光照图像中，缺乏有效的特征通常会导致训练过程约束不足，从而导致结构重建失败或外观退化。Aleth-NeRF是一种无监督的低光照3D重建方法，它将可学习的遮挡场与体积渲染机制相结合，实现了高质量

实现细节

训练。我们的框架基于开源的PyTorch工具包Aleth-NeRF[14]。我们选择了Adam优化器[55]，并根据余弦退火策略每2500次迭代调整学习率。训练批量大小设置为4096。我们框架中的关键参数是通过经验分析选择的，以平衡增强效果和自然视觉输出。环境光强度（$$）是通过网格搜索选择的，以提供微妙但至关重要的全局

局限性

在动态变化的环境中，LowLight-NeRF的性能可能会受到某些限制。由于环境光模拟（ALS）基于假设的均匀照明模型，它可能无法准确捕捉快速变化的光照条件下的实时光照强度和方向变化，从而导致某些图像区域出现不自然的亮度或阴影表现。此外，动态场景中的物体运动可能会干扰

CRediT作者贡献声明

王晓辉：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，软件，方法论，调查，形式分析，概念化。尹振宇：撰写 – 审稿与编辑，监督，资源管理，项目管理，方法论，资金获取，概念化。张飞卿：撰写 – 审稿与编辑，验证，监督，形式分析，数据整理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了辽宁省科技重大项目（编号2024JH1/11700043）的支持。

王晓辉目前在中国科学院北京分校攻读计算机应用技术博士学位。自2024年10月以来，她一直是新加坡南洋理工大学机械与航空航天工程学院机器人研究中心的联合博士生，由中国奖学金委员会（CSC）资助。她的研究兴趣包括人工智能、深度学习、3D重建和计算机视觉。