道路中心稀疏视角采集下路面新视角合成的度规一致性框架

《Computers & Graphics》：Metric-consistent road-surface novel view synthesis under road-centric sparse-view acquisition

　　

针对道路中心采集下神经渲染的几何退化问题，研究人员提出一种三阶段度规一致性框架以实现兼具真实感与度规一致性的路面可渲染表征。第一阶段通过结合学习化SuperPoint–SuperGlue匹配与同步立体及时间图像边构建鲁棒度规对应图，在15条RSRD序列上实现全序列运动恢复结构（SfM）覆盖；立体边以固定基线度规约束注入束调优（BA），时间边维持轨迹连续性。第二阶段通过在线尺度估计、对数域残差校准与边缘保持传播，将RAFT-Stereo视差与稀疏激光雷达（LiDAR）融合为激光雷达标定的稠密度规深度先验，在留出激光雷达样本上取得0.0088的AbsRel。第三阶段以锚点距离置信度将结构深度监督绑定至直接激光雷达支持，在Instant-NGP训练中以置信加权结构射线约束（clearance损失与near-surface损失）防止光度量优化收敛至视觉合理但几何不一致的路面；渲染在邻近视角留出帧协议下达到30.25 dB PSNR、0.7883 SSIM，留出激光雷达像素渲染深度MAE由RGB-only训练的1.81 m降至0.48 m。该研究将位姿估计、立体–激光雷达标定与神经渲染监督在框架级度规表述下连成闭环，为道路场景仿真、巡检与数字孪生提供可度量的新视角合成路径。

研究背景方面，道路中心采集区别于物体中心或宽基线室外采集：车载相机沿道路方向近线性前进，前向相机以掠射角观测弱纹理、重复图案、非朗伯反射的路面，导致视差极小、单目时序SfM度规尺度不可观、立体深度带空间变化尺度误差、纯光度优化可拟合外观却恢复不出可靠路面几何。已有学习匹配、深度监督神经渲染、立体–激光雷达融合各自提供组件，但未在框架层闭合“度规一致性链”，因此研究人员开展本研究以打通位姿—深度先验—渲染监督三环节。论文发表于《Computers》。

关键技术方法上，研究人员采用RSRD数据集的15条连续驾驶序列与前向立体图像及配准稀疏LiDAR，分三阶段推进：Phase I以SuperPoint–SuperGlue替代SIFT构建含同步立体边与时间边的混合图像图，立体对作为标定双目刚体注入COLMAP BA以固定全局尺度；Phase II以RAFT-Stereo产出稠密视差，用稀疏LiDAR锚点中位数估计每帧有效焦距–基线积fB?，在日志域计算残差并最近邻传播，引导滤波平滑后得标定Z深度先验z^*；Phase III以Instant-NGP为骨干，将z^*转为归一化射线距离t^*，依像素到LiDAR锚点平面距离构造置信γ(u)，对体积渲染权重施加clearance损失L_empty与near-surface损失L_near，总损失L=L_rgb+λ_eL_empty+λ_nL_near。

研究结果部分，几何退化分析指出前向平面运动中单目仅约束t/d比值，τ与d同比例缩放不改平面单应H_ij，故需立体基线固定尺度零空间、日志域融合校正SfM残留偏移、结构射线约束防止密度沿射线扩散三重顺序处理。Phase I位姿前端评估显示，SIFT+NN在15条RSRD中7条无法全序列重建，RSRD-13平均误差3.886 m，而SP+SG+Hybrid全序列可用，RSRD-13降至0.187 m，证明学习匹配加立体时间图解决掠射低纹理退化。Phase II深度标定评估在10%锚点/90%留出协议下，Ours平均MAE 0.0661、AbsRel 0.0088，优于SGBM、PatchMatch、RAW RAFT-Stereo、libSGM-lidar、SDG-Depth与跨域退化的PENet；锚点距离分层显示AbsRel从0–2 px的0.0084升至>10 px的0.0119，印证校准支持非均匀，催生Phase III置信设计。Phase III新视角渲染评估在六场景邻近视角留出协议下，置信感知渲染平均PSNR 30.25 dB、SSIM 0.7883，留出LiDAR像素渲染深度MAE由RGB-only的1.81 m降至0.48 m；消融表明clearance损失抑前表面雾密度、near-surface损失定面，均匀稠密深度监督会过约束已完成区域。

讨论与结论翻译部分，研究人员总结：道路中心前向平面运动引入的度规歧义与几何退化需由位姿、深度先验、渲染监督三阶段联合处理；Phase I立体时间图以固定基线锚定全局尺度，Phase II日志域立体–LiDAR融合以在线尺度估计产出传感器支持的稠密度规先验而不依赖离线重标定，Phase III锚点距离置信加权结构射线约束把完成深度监督绑定至直接LiDAR支持，在保留稠密结构信号的同时抑制弱支持区影响；全套框架在RSRD上闭合度规一致性链，渲染深度MAE 0.48 m、Prior AbsRel 0.0088，证明框架级度规表述可使Implicit辐射场在稀疏视角道路中心采集下同时获得真实感与物理尺度保真，对道路仿真、巡检数字孪生具直接支撑意义。