利用3D高斯泼溅从事件流中恢复场景几何与材质

《Sensors》：Recovering Scene Geometry and Material from Event Streams with 3D Gaussian Splatting

　　

恢复场景几何与材质能够产生具有物理意义的表示，从而支持计算机视觉与图形学中的众多任务。基于神经表示的方法（如神经辐射场（NeRF）和3D高斯泼溅（3DGS））性能优异，但假设输入为干净、曝光良好的多视图图像，在低光照、快速运动或强烈光照变化下，其精度会显著下降。研究人员转而仅利用事件流（神经形态事件相机的异步输出，记录超过对比度阈值的逐像素对数亮度变化）作为输入，在基于3D高斯泼溅的框架内恢复场景几何与材质。由于事件测量的是差分亮度，全局亮度尺度无法确定，研究人员引入了一种亮度锚定先验（brightness-anchoring prior），在重建辐射场的同时约束全局亮度尺度；随后将辐射分解为几何与材质（表面法线、深度、基色和粗糙度），并利用运动补偿的事件边缘引导边界感知正则化。在公开数据集上，该方法在“先重建图像、再执行逆渲染”的基线方法中取得了最佳平均性能。在七个评估场景上，该方法在新视图渲染中达到22.11 dB PSNR、0.902 SSIM和0.105 LPIPS，基色估计的PSNR为22.31 dB，表面法线平均角度误差为。定量评估使用七个合成场景上的模拟事件流；此外，研究人员还提供了在物理事件相机采集数据上的定性演示，并将真实记录上的完整定量验证列为未来工作的主要方向。

# 事件流驱动下的场景几何与材质恢复：基于3D高斯泼溅的分解框架解读

## 一、研究背景与问题

恢复场景几何与材质是计算机视觉与图形学的核心问题之一。基于神经辐射场（NeRF）和3D高斯泼溅（3DGS）的方法虽然在高品质重建中表现出色，但它们通常依赖干净、曝光良好的多视图RGB图像。然而在实际场景中，如手持低光照拍摄、夜间成像、快速运动或强光照变化条件下，传统图像会出现低可见度、传感器噪声、运动模糊、饱和以及高动态范围效应等问题，导致重建和分解性能严重下降。这类困难在文化遗产数字化中尤为常见：洞穴雕塑和壁画往往只能在弱环境光下保存，强人工照明可能造成光敏颜料褪色；历史服饰脆弱易变形，难以在多视图采集过程中保持稳定姿态。事件相机因其高时间分辨率（微秒级）和高动态范围（约140 dB），能够在光照和运动无法完全受控的条件下提供一种有效的感知模态。然而，现有的事件辅助方法大多仍依赖RGB图像作为外观建模的核心，对图像质量敏感，且需要混合或分光棱镜相机系统进行严格的空间与时间标定，部署复杂。

研究人员提出一个关键问题：能否仅从事件流中恢复场景几何与材质，而不使用任何RGB图像？该问题具有天然的病态性：事件流稀疏且异步，且不包含绝对亮度或颜色信息。一种直接思路是先利用事件到视频（event-to-video）方法重建图像，再运行基于图像的逆渲染流程，但重建图像并未针对多视图一致性和梯度进行优化，重建伪影会传播到分解结果中。事件数据本身具有两个有利特性：事件测量辐射的微分变化，可通过辐射场与几何和材质建立联系；事件携带边缘信息，有助于定位材质和几何边界。基于此，研究人员在3DGS框架内提出了一种直接从事件流分解场景几何与材质的方法。

## 二、研究内容与结论

研究人员构建了一个基于3D高斯泼溅的事件域场景分解框架，其核心由三部分组成：事件域反射模型、两种事件派生先验，以及两阶段优化策略。事件域反射模型在朗伯假设下建立了事件观测与场景几何/材质之间的关系，并显式建模了多物体场景中的遮挡（visibility）和间接光照（indirect illumination），解决了单一物体模型忽视物体间光传输导致的阴影-基色纠缠和颜色溢出等问题。两种事件派生先验包括：亮度锚定先验（brightness-anchoring prior），约束重建辐射场的全局亮度尺度，弥补事件仅记录差分亮度而缺乏绝对亮度参考的问题；结构线索（structural cues）则利用运动补偿的事件边缘图引导边界感知的总变差（total variation, TV）正则化，在事件密集的真实边界处放松平滑约束，在平滑区域加强平滑，从而保持锐利边缘的同时抑制高频伪影。两阶段优化策略分为：阶段一从事件流重建场景几何和视相关辐射场，阶段二固定几何，在辐射场引导下分解材质参数（基色、粗糙度、金属度）和环境光照。

该方法在公开数据集上进行了定量评估，使用NeRF Synthetic数据集中的七个场景（chair、drums、ficus、hotdog、lego、materials、mic），事件流由EventID和Robust e-NeRF提供的模拟事件生成，每个场景含400个训练视图和200个测试视图。与先重建图像再执行逆渲染的基线方法（E2VID + GS-IR、E2VID + GShader、E2VID + GI-GS、Event-3DGS + GS-IR、E2VID + EventID）相比，该方法在平均性能上取得最优结果：表面法线平均角度误差（MAE）最低，基色PSNR达到22.31 dB，新视图渲染PSNR达到22.11 dB，SSIM为0.902，LPIPS为0.105。消融实验表明，亮度锚定先验使基色PSNR提升，并降低法线MAE；事件引导的结构线索对几何锐化贡献显著，移除后法线MAE增大。对事件对比度阈值C的敏感性实验显示，在测试范围内，分解质量基本保持稳定，方法无需精确已知传感器的真实对比度阈值。对阶段一法线一致性损失的评估表明，该损失作为几何正则化项可提升表面法线精度而对渲染外观影响甚微。损失权重敏感性实验表明，在测试范围内分解结果对亮度锚定权重和事件引导TV权重不敏感。亮度锚定目标值g的敏感性实验表明，默认值（归一化强度范围的中点）取得最佳几何和渲染质量。独立几何评估显示，七个场景的平均绝对深度误差为场景单位，平均绝对相对误差为，确认了恢复表面的准确性。随机种子稳定性实验表明，从三个独立种子重跑完整流水线，渲染PSNR变化仅约–dB，结果并非来自有利的随机种子。两阶段设计优于单阶段联合优化，符合从事件中联合优化紧密耦合的几何与材质的病态性。跨阶段辐射损失的消融表明，移除该损失会使渲染PSNR下降约dB，确认了阶段一辐射场作为无图像条件下唯一致密绝对辐射参考的必要性。姿态误差鲁棒性实验显示，注入高斯姿态噪声后，恢复质量随噪声增大平滑而单调地下降，典型事件跟踪器精度水平的扰动仅导致渲染PSNR损失–dB，表明方法对姿态误差具有容忍度。

## 三、主要关键技术方法

研究人员主要采用了以下关键技术方法：基于3D高斯泼溅的场景表示，每个高斯原语在阶段一存储球谐系数以表示视相关辐射，在阶段二存储材质参数（基色、粗糙度、金属度）、烘焙可见性球谐和可学习间接光照球谐；事件域反射模型，将Cook–Torrance双向反射分布函数（BRDF）与可见性函数和间接光照项相结合，并采用RGGB拜耳彩色滤波阵列的颜色事件模型；亮度锚定先验，通过对渲染训练观测的标量平均亮度施加固定目标约束来解决全局亮度尺度不确定性问题；运动补偿事件累积，采用对比度最大化（contrast maximization）将时间切片内的事件扭曲到公共参考时间并累积为锐利边缘图；事件引导的总变差正则化，利用边缘图作为空间自适应权重，在边界处降低TV惩罚以保持不连续，在平滑区域增加惩罚以抑制伪影；两阶段优化策略，阶段一通过事件域损失、亮度锚定损失和法线一致性损失重建几何与辐射场，阶段二通过事件域损失、跨阶段辐射蒸馏损失和事件引导TV损失分解材质与光照。训练在PyTorch 2.0中实现，采用Adam优化器，高斯从随机点云初始化，使用3DGS标准的基于梯度的克隆/分裂致密化和透明度重置调度，在单个NVIDIA A5000上数小时内收敛至约–个高斯，峰值GPU内存低于24 GB。定量评估使用七个合成场景的模拟事件流，另包含一个DAVIS传感器真实事件相机采集序列的定性演示。

## 四、结果讨论与结论

研究结果表明，直接在事件域中进行场景分解优于“先重建图像、再逆渲染”的流水线。中间图像重建步骤是基线性能差距的主要来源：E2VID重建图像模糊且着色不一致，被烘焙进估计的几何和材质中；Event-3DGS重建虽更锐利，但逐帧重建无法保持跨视图的颜色和梯度一致性。直接在事件域中分解能够保留锐利边界和稳定的颜色空间。亮度锚定先验有效解决了事件差分信号导致的全局亮度尺度模糊问题，使基色恢复与真实值一致。事件引导的结构线索在几何优化中发挥了关键作用。方法对事件对比度阈值、损失权重和姿态噪声均表现出鲁棒性。

研究结论可以总结为以下几点：第一，研究人员开发了一种3D高斯泼溅框架，能够在不使用RGB图像作为外观输入的情况下，从模拟事件流估计场景几何和基色，该框架假设相机位姿和内参已知。第二，研究人员构建了包含可见性和间接光照的事件域反射模型，将事件分解从孤立物体扩展到场景级表示。第三，全局亮度锚定和事件引导结构正则化提供了互补约束，消融实验显示任一组件被移除时基色和几何指标均产生可测量的变化。第四，在七个评估的合成场景上，所提方法在所有比较的事件输入流水线（先重建图像再逆渲染）中取得最佳平均性能。当前发现仅限于模拟事件流，在物理事件相机记录上的验证仍是必要工作；此外，当前事件测量对细粒度粗糙度变化约束不足，金属度在介电材料假设下被固定，因此研究人员不声称在几何和基色之外实现了通用的空间变化物理材质参数恢复。未来研究方向包括结合事件与稀疏或间歇性图像监督的混合公式，以恢复低于事件对比度阈值的精细外观细节，同时保留事件在挑战性采集条件下的鲁棒性。