FuseDepth:融合基础视觉先验语义与几何信息的零样本度量深度估计框架

《Machine Learning with Applications》:FuseDepth: Zero-shot metric depth with semantic–geometric fusion of foundation visual priors

【字体: 大 中 小 】 时间:2026年09月20日 来源:Machine Learning with Applications 6.1

编辑推荐:

  近期的单目深度估计器展现出强大的零样本泛化能力,但其中许多在严格度量评估下仍不可靠:相对深度基础模型通常需要测试时的尺度/平移对齐,而度量预测器在域偏移下可能出现尺度漂移和深度不连续模糊。研究人员提出FuseDepth,一种先验引导的零样本度量单目深度估计框架

  
近期的单目深度估计器展现出强大的零样本泛化能力,但其中许多在严格度量评估下仍不可靠:相对深度基础模型通常需要测试时的尺度/平移对齐,而度量预测器在域偏移下可能出现尺度漂移和深度不连续模糊。研究人员提出FuseDepth,一种先验引导的零样本度量单目深度估计框架,将边界和几何线索注入冻结的基础深度主干中。FuseDepth采用轻量级LoRA模块和边界正则化的局部度量尺度场适配Depth Anything v2,以获得粗略的度量预测。随后,利用源自抠图的表面交互图细化该预测,其中节点表示检测到的表面假设,边编码重叠、边界邻接和轮廓邻近性,以定义软遮挡跳变集。细化过程由学习到的先验可靠性门控制,该门在度量尺度、轮廓证据和单目表面法线先验之间进行仲裁,而非简单拼接外部特征。研究人员在未见过的SYNS、DDAD和DIODE基准上,采用严格的目标域零样本协议(无目标标定),与相对和度量基线对比评估FuseDepth。在多个数据集上,FuseDepth改善了AbsRel和SILog,并降低了每图像对数尺度偏差。边界专项评估现覆盖SYNS、DDAD以及DIODE两个分割,FuseDepth持续改善RGB边缘对齐和深度边缘F1,而DepthPro在某些分割上保持微小的DBE或精度优势。目标仿射神谕敏感性分析显示,当允许目标真值标定时DAv2和Marigold有所改善,但在每个评估目标上,无需目标标定的FuseDepth仍保持更低的AbsRel和SILog以及更高的δ1。在DDAD上,该增益在三个独立训练的种子和全部三个地理子集上均得到复现。机制隔离、自然先验质量、错误先验、图敏感性和部署资源分析进一步刻画了结构化先验融合何时有益及其计算成本。
**FuseDepth:零样本度量深度估计的结构化先验融合框架解读**

**一、研究背景、现存问题与研究目的**

单目深度估计(Monocular Depth Estimation, MDE)领域正从数据集特定的监督学习范式转向零样本度量深度估计,即在不进行目标域微调或测试时标定的情况下,对未见领域预测具有度量意义的稠密深度图。以Depth Anything v2(DAv2)和Marigold为代表的基础模型大幅提升了跨域视觉细节与结构泛化能力,然而这类模型多数作为相对深度预测器训练或部署,在严格度量评估下绝对尺度不可靠。相反,ZoeDepth和Metric3Dv2等度量感知方法改善了绝对尺度,但域偏移下仍可能产生柔化的不连续和局部不一致几何。近期强调锐利几何预测的DepthPro、ZeroDepth和UniDepth进一步表明,准确度量尺度与高保真不连续难以同时实现。核心问题不仅在于提升平均深度误差,更在于获得在未见域上既严格度量又几何锐利的预测。

该问题具有挑战性的根源在于深度主干必须仅从RGB外观推断度量尺度、物体边界和局部表面几何。现有强视觉先验虽可获取但各有局限:SAM等分割模型掩码对深度不连续而言过于粗糙;图像抠图模型虽能恢复锐利边界,但主要针对显著前景提取而非全场景多物体覆盖;单目表面法线预测器提供局部朝向线索,但很少作为显式几何先验集成到严格度量零样本深度流程中。这促使研究人员提出先验组合视角:利用外部模型暴露高分辨率边界和表面线索,并将其融合进度量深度预测器。

**二、研究内容、核心结论与意义**

研究人员提出FuseDepth,一种面向零样本严格度量单目深度估计的先验引导框架。该方法包含两阶段:第一阶段冻结DAv2主干,以轻量LoRA模块和边界正则化局部度量尺度场适配,得到粗略度量预测;第二阶段构建源自检测器引导的BiRefNet抠图的表面交互图,结合Omnidata法线先验,通过学习的可靠性门控机制细化深度。FuseDepth采用严格部署假设:不使用目标域微调、中值对齐、每图像最小二乘尺度/平移拟合或数据集特定标定。相对深度基线仅通过一次性在训练混合集上拟合的单一全局仿射映射转换,然后固定用于所有测试数据集。

在SYNS、DDAD、DIODE基准上的严格协议评估表明,FuseDepth持续改善AbsRel和SILog,并降低每图像对数尺度偏差(ScaleErr)。边界专项评估覆盖三个基准,FuseDepth在RGB边缘对齐和深度边缘F1上一致提升。目标仿射神谕分析显示,即使允许相对深度基线使用目标真值标定的特权,FuseDepth在无目标标定下仍保持更低误差。DDAD上的增益在三个独立训练种子和全部地理子集上复现。该研究的核心意义在于展示了结构化先验组合机制——以图形式估计潜在不连续跳变集,并通过学习的先验可靠性门进行局部仲裁——而非简单的外部特征拼接,有效针对严格度量迁移中的尺度-细节耦合失效模式。

**三、关键技术与方法概述**

研究人员采用两阶段训练框架。训练数据混合NYUv2、ScanNet和KITTI约50k张图像,评估在SYNS、DDAD、DIODE上进行,目标域数据完全排除于训练、标定和选择。第一阶段以冻结DAv2为骨干,插入秩为4的LoRA适配器,由轻量卷积头预测边界正则化的局部尺度s(u,v)和偏移b(u,v)场,将原始预测映射为粗略度量深度。第二阶段构建表面交互图:YOLOv8检测器生成物体框,BiRefNet产生alpha抠图作为表面节点,图边编码重叠、边界邻接和轮廓邻近性,形成软遮挡跳变场C(p);Omnidata提供表面法线先验。细化网络以稠密softmax门控融合轮廓、法线和粗略深度三个残差提议,并采用投影法线一致性、跳变对齐和抗渗漏等损失约束。

**四、实验结果与研究发现**

**严格度量零样本评估。** 在SYNS、DDAD、DIODE(室内与室外)上,FuseDepth均取得最低AbsRel、SILog和ScaleErr,表明其改善不仅是相对结构提升,而是绝对度量尺度偏差的真实降低。配对bootstrap置信区间显示SYNS和DIODE上的AbsRel增益在95%置信水平显著。

**边界专项评估。** FuseDepth在SYNS上同时报告RGB边缘F1和深度边缘F1,后者直接比较预测深度不连续与真值深度边缘,FuseDepth以较高召回率获得最佳深度边缘F1。扩展至DDAD和DIODE后,FuseDepth保持最佳RGB边缘F1、深度边缘召回率和F1,DepthPro则保留DBE和精度优势,呈现一致精度-召回权衡。

**消融与机制隔离。** 逐阶段分解显示:LoRA适配将AbsRel从原始DAv2的>0.85降至0.155;加入无外部先验的残差细化器降至0.138;完整结构化先验细化器进一步降至0.105。Stage 2隔离研究比较了多种细化变体,证明表面交互图优于纯alpha梯度,法线先验提供互补信息,学习的可靠性门优于无门拼接、固定等权和图像级门。

**图结构验证与先验鲁棒性。** 直接图验证表明,表面交互图将alpha梯度的AUROC从0.820提升至0.885,显著改善跳变场与真值深度边缘的对齐。随机化图边使性能退化至0.120 AbsRel,印证图结构本身的作用。结构化错误先验测试显示,学习的门在alpha掩码偏移、使用错误图像掩码、幻觉框和错误法线等条件下,相比无门拼接和固定等权门表现出更强的鲁棒性,通过抑制受损分支将误差增幅控制在较小范围。

**图参数敏感性与多运行稳定性。** 图构造参数扰动(阈值、带宽、贡献权重)仅引起适度变化,默认设置在邻近参数中保持最优。三个训练种子上的多运行方差分析表明,全模型0.105±0.001 AbsRel与Stage 1基线0.155±0.002之间的差异远大于种子间变化,验证核心结论的稳定性。

**跨域迁移与效率。** NYUv2→DIODE和KITTI→SYNS的跨数据集迁移实验中,FuseDepth在匹配协议下优于DAv2和Marigold。部署测量显示FuseDepth运行于15.4 FPS,峰值VRAM 7.4 GB,模型权重4.3 GB,相比DepthPro的18.5 FPS较慢,属于显式的精度-效率权衡。

**五、讨论与结论**

实验发现支持六条主要结论:FuseDepth在无目标标定下改善全部评估基准的严格度量精度;ScaleErr低于所有严格基线,但目标真值标定可进一步降低尺度偏差;边界增益泛化至DDAD和DIODE;增益来自各组件累积而非单一机制;DDAD增益小而稳定,但逐图像置信区间仍处于临界状态;自然先验诊断显示低质量图先验出现频率为6.2%–12.0%,完整模型在这些子集上仍优于Stage 1,属于优雅退化。

研究结论为:FuseDepth通过组合外部先验与强基础深度模型,可同时改善域偏移下的度量稳定性和几何保真度。跨SYNS、DDAD、DIODE,FuseDepth相对所有严格基线改善严格度量精度和ScaleErr。目标仿射敏感性分析表明特权目标标定大幅改善相对基线,但FuseDepth在无标定下仍保持每项目标上更优的AbsRel、SILog和δ1。机制隔离实验证明增益来自边界正则化度量锚定、图条件不连续处理、法线引导几何校正和学习残差仲裁的组合效应,而非任何单一组件。主要限制在于对外部先验质量和成本的依赖,低质量先验在部分目标图像上存在,且多模型流程增加推理开销,未来工作将探索蒸馏、先验缓存、自适应调用和显式不确定性建模。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号