《Mathematics》:JEPADepth: Self-Supervised Monocular Depth Estimation via Joint-Embedding Predictive Architectures
编辑推荐:
中文摘要翻译:研究人员提出JEPADepth,一种自监督单目深度估计框架,该框架在光度视图合成的基础上,按照图像联合嵌入预测架构(I-JEPA)原则,利用预训练的DINOv3视觉Transformer(ViT)表示空间中的辅助掩码预测损失进行增强。一个预测器在
中文摘要翻译:研究人员提出JEPADepth,一种自监督单目深度估计框架,该框架在光度视图合成的基础上,按照图像联合嵌入预测架构(I-JEPA)原则,利用预训练的DINOv3视觉Transformer(ViT)表示空间中的辅助掩码预测损失进行增强。一个预测器在结构化掩码条件下从可见上下文区域嵌入推断目标区域嵌入;在推理时,预测器和目标编码器均被丢弃,因此部署的24 M参数模型与仅使用光度损失的基线模型相比不增加任何额外成本。在KITTI Eigen划分上,将JEPA目标添加到相同的DINOv3光度基线中,将绝对相对误差从0.105降低到0.101,并将δ1从0.891提高到0.898,这一增益约为在五个随机种子上测得的逐次运行标准差的四倍。在改进的真实深度标签上,该方法达到0.075的绝对相对误差,与最佳Transformer竞争模型相当,同时推理参数减少11%。在无需微调的零样本迁移下,该方法在Make3D上取得了最佳绝对相对误差,并在Cityscapes上并列最佳,同时在七项指标中五项领先。训练开销约为16%;推理成本保持不变。
论文解读文章:
自监督单目深度估计是三维场景理解中的核心任务,在机器人、自动驾驶和增强现实等领域具有广泛应用。有监督方法虽然精度较高,但依赖昂贵的稠密真实深度标注,且这些标注往往受限于特定传感器和环境。为此,研究者长期致力于从无标注视频中通过相邻帧间的几何一致性约束来学习深度,构成了自监督单目深度估计的主流范式。该范式的核心是视图合成,即联合训练深度网络和位姿网络,利用预测的深度与相机运动将源帧变形重建目标帧,以光度重建误差作为主要学习信号,并辅以平滑性约束和掩码启发式策略来处理遮挡与动态物体。然而,光度监督本质上较为敏感,其依赖亮度恒定和充足纹理等假设,在反光表面、光照变化和非刚性运动等情况下容易受到干扰;同时,由于损失在像素空间计算,优化过程可能鼓励模型记忆外观统计信息,而非学习更高层次的场景结构,这限制了模型的鲁棒性和跨数据集迁移能力。
近年来,自监督表示学习已能够产生强大的视觉编码器,在无需人工标注的情况下捕获语义与结构规律。以DINOv3为代表的视觉Transformer通过大规模预训练学习到与物体边界、布局和部件结构对齐的块级特征。然而,深度估计本质上要求推理空间几何与遮挡关系,仅依赖像素重建不足以引导模型全面理解空间结构。为此,研究人员提出JEPADepth,将图像联合嵌入预测架构(I-JEPA)目标作为互补训练信号引入标准光度自监督深度估计流程中。其核心思路是:在DINOv3编码器产生的块级特征空间上计算一个掩码预测损失,而不是在像素空间进行重建。具体而言,给定图像块网格上的结构化上下文掩码和目标掩码,预测器从可见上下文区域嵌入推断目标区域嵌入;目标编码器通过指数移动平均(EMA)更新,并以停止梯度方式提供预测目标。该JEPA目标与标准光度损失以及边缘感知平滑损失共同端到端地训练深度网络,从而同时受多视图几何和预测性特征学习约束。
研究人员基于Monodepth2框架构建JEPADepth,保留相同的光度与位姿流程,但将原本的卷积神经网络(CNN)编码器替换为预训练的DINOv3 ViT-S/16编码器,并添加表示空间中的辅助目标。深度解码器采用轻量级特征金字塔网络(FPN)风格卷积解码器,约2 M参数。整个推理模型约24 M参数,其中JEPA预测器(约21 M参数)与目标编码器仅在训练时使用,推理时被丢弃,部署成本与仅使用光度的DINOv3基线完全相同。训练采用在线单阶段方式,所有损失由同一优化器联合优化;共享编码器接收来自光度分支和JEPA分支的梯度并在编码器处相加。训练过JEPA目标设置遵循原始I-JEPA的掩码配置:每幅图像使用一个覆盖85–100%图像块的上下文掩码和四个各覆盖15–20%图像块的非重叠目标掩码,目标掩码宽高比取自区间[0.75, 1.5]。在KITTI上训练20轮约需8.6小时,比仅光度的基线多约16%,但推理时间无增加。
实验部分,研究人员在KITTI Eigen划分、Cityscapes和Make3D基准上评估了JEPADepth。评价采用七项标准深度估计指标,包括绝对相对误差(AbsRel)、均方根误差(RMSE)、平方相对差(SqRel)、RMSE对数(RMSElog)以及三个阈值精度δ1、δ2、δ3。KITTI训练集包含39,810个单目三元组,验证集含4,424幅图像,并在原始LiDAR(697幅)和改进真实标签(652幅)上测试;Cityscapes和Make3D用于零样本迁移评估,模型在KITTI上训练后不进行任何微调直接测试。
研究结果方面,首先在KITTI标准Eigen划分上,JEPADepth取得AbsRel 0.101,δ1为0.898,在单目方法中排名第二,超越所有CNN方法,并与采用更大混合Transformer架构的MonoViT竞争;在改进真实标签基准上,JEPADepth在AbsRel上与MonoViT持平(均为0.075),但推理参数减少11%。其次,在Cityscapes零样本迁移中,JEPADepth与MonoViT并列最佳AbsRel(0.194),并在RMSE、RMSElog、δ1、δ2和δ3五项指标上优于所有对比方法。第三,在Make3D零样本评估中,JEPADepth取得最佳AbsRel(0.318)和RMSElog,显著优于所有基线,包括DINOv3无JEPA基线(AbsRel 0.332),表明改进并非仅来自编码器。第四,与近期方法比较,JEPADepth在KITTI上优于AdaDepth并与DaCCN相当,且在Make3D零样本上全面优于DaCCN。
消融研究共包含六个实验。第一,保留DINOv3编码器并仅训练解码器时AbsRel仅为0.128,端到端光度微调可提升至0.105,再添加JEPA目标达到0.101,说明端到端适应必要且JEPA在微调基础上进一步改善。第二,随机初始化时无论是否使用JEPA,性能均大幅下降,但JEPA仍带来小幅一致提升(AbsRel从0.165降至0.162),说明JEPA收益被预训练特征放大而非依赖预训练。第三,JEPA损失权重λJEPA在0.8至1.6范围内均表现稳定,以1.0最佳;过小权重会削弱正则化效果。第四,上下文覆盖比例在默认0.85–1.0区间与两个较低区间之间各指标差异均在运行间标准差内,说明KITTI上对该超参数不敏感,继承ImageNet配置无衡量代价。第五,将JEPA损失从表示空间替换为像素空间重建后AbsRel从0.101恶化至0.103,确认表示空间预测优于像素空间重建。第六,将轻量FPN解码器替换为DPT(密集预测Transformer)风格解码器后,无论是否使用JEPA,FPN均优于DPT,而JEPA在两个解码器下均一致改善所有指标,表明收益来自编码器、与解码器无关。
在讨论与结论部分,研究人员指出,像素空间中的光度自监督信号仅提供局部外观约束,而表示空间中的JEPA目标在特征层面要求编码器在掩码下保持自可预测性,充当自蒸馏正则化,将微调过程锚定在预训练特征流形上,从而避免编码器在无纹理、镜面和动态区域中的漂移。实验证明该目标增强了域内精度,更显著提升了跨数据集泛化能力。研究人员同时总结了五个局限性:细长结构目标(如栏杆、细杆)难以恢复——这些结构仅覆盖极少像素和极少ViT块,光度信号和块级表示都不足以提供空间细节;轻量FPN解码器可能制约丰富表示,而盲目替换为高容量DPT解码器在自监督条件下反而导致退化;JEPA收益强烈依赖于预训练初始化,随机初始化下改善幅度大幅缩小;性能对λJEPA在低于1.0时敏感;动态物体仅通过自动掩码丢弃而非显式建模。未来方向包括结合显式运动建模、将掩码预测扩展到时间维度(如V-JEPA)、在点云或多视图特征空间中应用联合嵌入预测(如Point-JEPA),以及将迁移评估扩展到室内场景。研究结论翻译如下:本文提出了JEPADepth,一种在表示空间中向标准光度监督添加I-JEPA掩码预测目标的自监督单目深度估计框架。在与相同DINOv3光度管线的受控对比中,该目标将KITTI Eigen绝对相对误差从0.105降至0.101,平方相对差从0.850降至0.806,RMSE从4.670降至4.617,并将δ1从0.891提升至0.898,同时改善了全部七项指标。该增益约为运行间标准差的四倍,并非单次运行的偶然结果。零样本评估表明,JEPA正则化在以约16%训练开销为代价的情况下,持续提升深度精度和跨数据集泛化能力,是现有自监督深度管道的实用补充。