GDC-depth：用于具备遮挡感知功能的AR显示器的实时高精度头部深度估计技术

《Displays》：GDC-depth: real-time high-fidelity head depth estimation for occlusion-aware AR displays

　　

• •
  GDC-Depth在频域中将拓扑结构与细节分离。
• •
  TCPG利用3DMM先验来稳定低频头部几何结构。
• •
  EFDM通过SWT和基于方差的门控技术恢复边界细节。
• •
  基于置信度的训练方法可衔接合成数据与真实头部深度数据。
• •
  GDC-Depth的局部均方根误差为1.32毫米，仅依赖网络时的推理时间约为34–35毫秒。

引言

近场增强现实（AR）显示器需要精确的头部深度估计，以便将虚拟内容与正确的遮挡效果结合在一起。在这种应用场景中，头发、耳朵轮廓以及配饰等高频区域的误差尤其有害，因为它们会直接影响具有遮挡感知能力的渲染效果[1]、[2]、[3]、[4]、[5]。当这些区域的估计出现偏差时，用户通常会看到背景透出、头部轮廓处出现锯齿状截断，以及遮挡掩码在不同帧间出现闪烁现象，所有这些都会显著降低沉浸感与遮挡效果的真实性[6]、[7]、[8]。在近场场景中（通常距离在1米以内），微小的几何偏差会被放大，从而导致上述问题更加明显。

现有的单目深度估计方法主要遵循两种思路，但都不太适合解决这个问题。包括Depth Anything V2[9]、Metric3D v2[10]、UniDepth[11]、Depth Pro[12]等近期出现的规模化方法在内的判别回归模型，虽然具备较强的跨场景泛化能力，但往往会产生过度平滑的预测结果，从而抑制了实现稳定遮挡效果所需的边界细节[13]、[14]、[15]、[16]、[17]。最近的学术研究还通过语义特征离散化[18]、自监督的动态场景鲁棒性提升[19]以及轻量级实时架构[20]、[21]来改进单目深度估计性能。不过，这些设计主要是为一般的室内外场景或资源受限的部署环境而设计的，并非针对具有细软头发边界、耳朵轮廓以及配饰导致的几何不连续性的近场头部几何结构。像Marigold[22]、基于扩散的深度估计方法[23]、DepthFM[24]和DepthMaster[25]这类生成式与基于扩散的方法虽能生成更清晰的局部结构，但往往存在推理速度慢、几何结构漂移，或对全局拓扑一致性控制不足的问题。因此，目前的算法在近场AR应用中仍难以同时实现结构稳定性、高频细节保留与运行效率之间的平衡。更重要的是，现有方法通常会对所有频率成分进行联合优化，这会导致低频几何结构与高频边界细节之间的梯度干扰。

为了解决这一局限，我们将近场头部深度估计问题转化为一个拓扑与频率分离的优化问题。我们的核心观点是：可以利用平稳小波变换将头部深度分解为低频结构成分与高频残差成分。这一设计灵感来源于近期的一些关注边界与频率特性的深度估计研究，这些研究表明高频增强处理[26]以及拉普拉斯图像金字塔引导技术[27]能够改善深度不连续性问题并提升局部结构的恢复效果。基于这种分解方式，我们分别为低频拓扑估计与高频残差精细化处理设计了相互独立但又协同优化的路径。低频拓扑分支用于保持头部的整体几何结构，而高频精细化分支则负责选择性恢复精细的边界细节，同时抑制由阴影、高光和纹理变化引起的视觉伪影。此外，我们还引入了一种基于置信度的训练策略，旨在更好地弥合合成数据与真实世界采集数据之间的监督差距，尤其是在边界特征不明确的区域。与传统的全频率段统一优化的频率感知增强方法不同，所提出的框架为低频拓扑推断与高频细节重建分别设置了独立的优化目标与梯度处理路径。

本文的主要贡献如下。首先，我们提出了一种拓扑一致先验生成器（TCPG），该机制采用基于3DMM的流形投影作为几何先验而非最终预测模型，从而提升了拓扑一致的低频几何推断性能。其次，我们开发了一种显式频率解耦模块（EFDM），该模块结合了基于SWT的残差建模、基于方差的门控技术以及软阈值处理，能够在增强高频边界细节的同时抑制异常的高频响应。第三，我们提出了一种基于置信度的协同训练策略，能够在像素层面自适应地平衡合成结构监督与真实世界外观监督。第四，我们在HeadDepth数据集上进行了系统性评估，并在BIWI数据集上实现了零样本跨数据集迁移测试，结果表明GDC-Depth在保持实时推理效率的同时，还具备出色的几何精度与边界保真度。

本文的其余部分结构如下：第2节回顾相关研究；第3节介绍所提出的方法；第4节阐述实验结果与分析；第5节总结全文，并讨论存在的局限与未来的研究方向。

章节摘要

通用型与以头部为中心的单目深度估计

传统上，单目深度估计被视为一个密集的逐像素预测问题[28]。随着Transformer架构以及大规模预训练技术的发展，MiDaS[29]、DPT[30]、Depth Anything[31]、Depth Anything V2[9]、Metric3D v2[10]、[32]、UniDepth[11]、Depth Pro[12]等近期出现的基础模型，以及针对实际场景的大规模单目深度估计方法[33]，都显著提升了模型的跨场景泛化能力与大规模尺度下的估计精度。此外还有其他相关研究

方法

本研究借鉴多分辨率分析技术[47]，将近场头部深度建模为低频几何结构与高频纹理残差的叠加形式。其中低频成分负责捕捉面部骨骼、整体姿态以及颅骨形态等基本拓扑特征，而高频成分则用于呈现头发、耳朵轮廓以及复杂的曲率变化等精细细节。GDC-Depth框架的具体结构如图所示

实验设置

本章的主要目的是验证GDC-Depth是否能够在统一的评估体系下，同时提升低频拓扑结构质量、高频边界保真度以及实际推理效率。根据审稿人的建议，评估内容围绕四个方面展开：该方法是否具备跨数据集的泛化能力；频率解耦设计是否有助于提升对边界特征敏感的指标；与当前最先进方法的对比是否公平；以及

结论

在本文中，我们提出了GDC-Depth，这是一种融合生成式与判别式技术的近场头部深度估计框架。该方法的核心在于频域解耦技术，它将低频几何结构与高频细节残差分开处理。为此，我们整合了三个关键组件：用于保障拓扑稳定性的TCPG、用于实现自适应多尺度特征融合的SASF，以及用于进行频域精细处理的EFDM。这种综合设计

CRediT作者贡献说明

杨雄辉：概念构思、方法设计、初稿撰写、论文修改与润色。王华东：数据整理、任务监督、结果验证、论文修改与润色。陈一涵：数据整理、方法设计、结果验证。何龙泽：数据整理、结果验证。张科华：结果验证、论文修改与润色。马立红：资金筹集、项目管理、论文修改与润色。

关于写作过程中生成式AI与AI辅助技术的声明

在准备本文的过程中，作者们使用了Gemini工具来优化语言表达并提升文本的可读性。在使用该工具后，作者们对内容进行了必要的审查与修改，并对最终发表文章的内容负全部责任。

利益冲突声明

作者声明自己不存在任何可能影响本文研究结果的已知财务利益关系或个人关联关系。

致谢

本研究得到了中国国家自然科学基金（项目编号：61205012、61377010）以及浙江省自然科学基金（项目编号：LY17F050002）的支持。

Xionghui Yang|Huadong Wang|Yihan Chen|Longze He|Kehua Zhang|Lihong Ma