《Applied Sciences》：View-Consistent 3D Inpainting in Unbounded Scenes via Anti-Aliased Neural Radiance Fields
编辑推荐：
最近基于神经辐射场(NeRF)的修复技术的进展使得跨多视图图像的掩码区域补全成为可能。然而，仍然存在两个主要挑战：在复杂多目标干扰下高效生成精确掩码，以及在大规模无界360°环境中保持视图一致性而没有浮动伪影。为了解决这些挑战，研究人员提出了一种包含两个主要组
最近基于神经辐射场(NeRF)的修复技术的进展使得跨多视图图像的掩码区域补全成为可能。然而，仍然存在两个主要挑战：在复杂多目标干扰下高效生成精确掩码，以及在大规模无界360°环境中保持视图一致性而没有浮动伪影。为了解决这些挑战，研究人员提出了一种包含两个主要组件的三维修复框架。首先，一个深度感知的掩码生成管道从稀疏标注中生成高质量、视图一致的掩码。其次，球面参数化与一个包含平滑层间约束和原始场景约束的联合目标相结合，以抑制无界场景中的浮动伪影和内容漂移。研究人员还引入了IM2360，一个用于评估三维修复方法的多目标360°数据集。实验表明，该方法在PSNR、LPIPS和FID上优于现有的基于NeRF的修复方法。在单个NVIDIA GeForce RTX 4090上，该方法每个场景平均需要25.21分钟的训练时间，而SPIn-NeRF为98.14分钟，OR-NeRF为38.71分钟，InFusion为11.29分钟。这些结果表明，所提出的方法在复杂沉浸式场景的高保真修复中，在重建质量和计算成本之间提供了有利的平衡。
# 论文解读：基于抗混叠神经辐射场的无界场景视图一致三维修复
## 研究背景与问题
在增强现实（AR）和虚拟现实（VR）等沉浸式应用中，从真实世界捕获中构建干净的三维环境至关重要。三维场景修复的目标是移除指定物体或遮挡，并从上下文信息中重建缺失区域的几何与外观。这一任务建立在二维图像修复基础上，后者利用生成先验（包括扩散模型）从单一视点合成缺失内容。然而，将独立的二维修复模型直接应用于多视图图像集，常因缺乏显式三维空间感知且易受多物体干扰而产生跨视图不一致性。为弥合二维编辑与三维一致性之间的鸿沟，近期框架使用三维表示（包括Mildenhall等人引入的神经辐射场（NeRF））作为正则化结构，将独立修复的二维观测整合为统一的三维表示。然而，在连续辐射场中进行局部编辑仍具挑战。现有三维修复管道存在三个主要局限：对多物体干扰敏感，导致不精确掩码和几何误差；在大规模无界360°环境中难以维持结构和尺度一致性；优化过程中场景级约束不足，导致背景纹理细节丢失和全局内容漂移。
## 研究内容与结论
为克服上述局限，研究人员提出了一种视图一致的三维修复框架，旨在抑制伪影的同时保留复杂环境中的精细背景纹理。主要贡献包括：开发了深度感知掩码生成管道，利用度量深度先验从稀疏标注生成视图一致掩码，减少多物体间干扰；针对无界360°环境，采用从mip-NeRF 360改编的球面参数化将大规模场景收缩到有界坐标域；引入由平滑层间约束和原始场景约束组成的联合目标，抑制浮动伪影并保持修复区域纹理保真度。实验结果表明，该方法在PSNR、LPIPS和FID等指标上优于现有基于NeRF的修复方法，同时生成更一致的修复新视图。在单个NVIDIA GeForce RTX 4090上，该方法每个场景平均训练25.21分钟，相比SPIn-NeRF的98.14分钟和OR-NeRF的38.71分钟更短，尽管比InFusion的11.29分钟长，但在重建质量和计算成本之间提供了有利平衡。该论文发表在《Applied Sciences》。
## 关键技术方法
研究人员采用以下主要技术方法：首先，深度感知掩码生成管道基于Prior深度任意（PriorDA）提供度量深度先验，训练紧凑检测器从有限边界框标注中生成目标位置，再通过显著性物体检测生成视图一致掩码。其次，球面参数化源自mip-NeRF 360，将无界坐标映射到半径为2的球内，结合抗混叠锥形采样实现连续辐射场表示。联合目标包括平滑层间损失（L
smooth）和原始场景损失（L
orig），前者通过mip-NeRF 360的层间正则化抑制浮动伪影，后者约束未掩码背景区域以减少内容漂移。二维修复先验使用拉玛（LaMa）中的快速傅里叶卷积（FFC）网络，提供全局感受野。NeRF主干采用Zip-NeRF/AA-NeRF 360架构，用正弦位置编码，通过Adam优化器训练100000次迭代，学习率初始为10
-5，批大小4096条射线。数据集方面，研究人员构建了IM2360数据集，包含7个真实室外场景，每个场景80-120张图像，用COLMAP（版本3.8）从运动恢复结构估计相机位姿，每张图像含2-5个标注区域。
## 研究结果
### 3.1 实验设置
所有实验在单个NVIDIA GeForce RTX 4090 GPU（24 GB内存）上进行。使用ROI（感兴趣区域）掩码生成隔离多目标图像中的指定物体。随机种子固定控制采样模式。NeRF主干遵循Zip-NeRF/AA-NeRF 360架构。训练三维重建阶段每个场景需23.10-31.56分钟（均值25.21分钟）。掩码生成使用PriorDA提供度量深度指导，二维修复先验使用LaMa。所有基线使用相同掩码和二维修复输入。默认参数λ
dist=0.01，λ
smooth=0.01。图像分辨率1920×1080，每场景80-100张训练图像，20张测试图像。
### 3.2 定性结果
球面参数化使网络能表示大型无界场景，并合成全360°捕获中一致的修复新视图。与SPIn-NeRF和InFusion相比，所提方法在IM2360场景中移除目标物体同时保持跨视图一致性，无明显几何漂移或浮动伪影。
### 3.3 定量结果
全局重建质量评估使用PSNR、SSIM、LPIPS。所提方法在IM2360上平均PSNR 30.48 dB、SSIM 0.8879、LPIPS 0.05079，优于SPIn-NeRF（PSNR 24.16 dB、LPIPS 0.4839）和InFusion（PSNR 28.34 dB、LPIPS 0.2053），OR-NeRF性能最差。通过引导分析，PSNR 95%置信区间±2.11 dB，LPIPS ±0.004，表明改进非单场景所致。
FID评估感知真实感：所提方法全局FID 48.77，局部FID 21.13，均优于SPIn-NeRF（全局245.5、局部23.92）和InFusion（全局62.272、局部93.476），OR-NeRF仅报告全局FID 462.03。
跨数据集泛化：在SPIn-NeRF公开数据集上，所提方法掩码区域LPIPS 0.4096，优于SPIn-NeRF的0.4650和OR-NeRF的0.6273，略低于InFusion的0.4210（但InFusion差异不显著）。
计算成本：所提方法每个场景平均训练25.21分钟，比SPIn-NeRF（98.14分钟）减少74.3%，比OR-NeRF（38.71分钟）减少34.9%。InFusion最快（11.29分钟），但重建质量较低。
消融研究：移除深度感知监督、球面参数化或抗混叠采样后，PSNR约28.44-28.49 dB，SSIM约0.7523-0.7531，LPIPS约0.3290-0.3297。仅保留L
dist时性能崩溃（PSNR 8.51 dB，SSIM 0.3598，LPIPS 0.9272），证明L
smooth和L
orig对收敛至关重要。
灵敏度分析：对λ
dist和λ
smooth进行单参数变动，默认值（0.01,0.01）下性能最佳。λ
dist或λ
smooth设为0.1/0.01时结果接近消融实验；设为0.056时性能下降，PSNR降至27.94/27.10 dB，表明对λ
smooth较大值更敏感，但远优于仅L
dist的情况。
## 讨论与结论
讨论部分指出，如同其他神经辐射场方法，AA-NeRF 360可能过拟合低纹理场景，需额外几何先验。但该方法在修复新视图中保留了精细空间结构，可能支持文化遗产非接触式数字修复。如图8展示的陶器修复示例，框架重建受损文物并合成完整三维表示，显示视图一致修复在数字保护中的潜力，但仍需领域特定验证。
局限性方面，大多数定量实验在IM2360数据集上进行，该数据集针对大规模无界360°物体移除场景设计。虽在SPIn-NeRF基准上评估了掩码区域LPIPS，但需更多公开基准验证。且因官方代码未公开，无法与InNeRF360直接定量比较，且InNeRF360主要针对室内有界360°场景，与IM2360的室外无界环境不同。
研究结论：所提出的三维修复框架通过深度感知掩码生成、球面参数化和联合目标（平滑层间约束与原始场景约束），有效解决了无界场景中多物体干扰和视图一致性问题。在IM2360数据集上，方法在PSNR、LPIPS、FID等指标上优于现有基于NeRF的方法，并在计算成本和重建质量间取得有利平衡。为评估三维修复，研究人员还贡献了包含七个真实室外场景的IM2360数据集。该方法在文化遗产数字修复等应用中展现出潜力，但未来需在更多基准上验证泛化能力。
