用于透明物体重建的、抑制镜面反射的三维高斯粒子渲染技术

《Engineering Applications of Artificial Intelligence》：Specular-suppressed three-dimensional Gaussian splatting for transparent object reconstruction

　　摘要
在工业检测、机器人感知和自动化制造系统等工程应用中，准确地对透明物体进行三维重建仍然是一个关键挑战，因为存在包括折射、反射和镜面高光在内的复杂光传输效应。这些效应违反了光度一致性假设，大幅限制了现有神经渲染和三维高斯喷撒方法的性能。本文提出了一种基于人工智能的三维高斯喷撒框架，用于透明物体重建，并具有显式的镜面抑制功能。从人工智能的角度来看，其主要贡献在于：（1）首先设计了一个考虑镜面反射的分解模块，以在估计逐像素镜面可信度的同时分离漫反射和镜面反射信号；（2）引入了一种镜面高斯细化策略，通过基于置信度的优化选择性地更新与几何相关的的高斯参数；（3）构建了一个考虑几何结构的正则化模块，以结合表面约束。从工程应用的角度来看，所提出的方法能够在复杂的照明条件下实现更准确和稳定的透明物体重建，为下游的检测和感知任务提供可能更可靠的几何表示。在合成和真实世界数据集上的大量实验表明，与比较方法相比，所提出的方法在整体平均性能方面表现最佳，特别是在几何重建精度方面，同时在渲染质量上也具有竞争力。这些结果表明，所提出的框架为在镜面干扰下的透明物体重建提供了有效的解决方案，并在实际工程应用中展现出强大的潜力。

引言
随着人工智能和数据驱动制造范式的快速发展，智能制造系统越来越依赖于准确的三维（3D）感知和物理资产的数字3D表示，以支持数字孪生建模、机器人辅助检测、自适应生产控制和自动化质量保证（Yang等人，2024）。使用3D重建方法可靠地感知和建模复杂物理对象的能力（Chen等人，2026；Qiu等人，2024）已成为连接智能算法和现实世界制造过程的基本要求（Olivas等人，2026）。因此，构建高质量3D模型的能力是支撑数字制造、智能检测和工业应用中智能决策系统的核心技术之一（Zhou等人，2026）。在这种情况下，透明物体重建具有重要的实际价值，并在工业应用中的需求日益增加（Burde等人，2025）。在制造业中，高质量的三维重建可以用来准确评估关键组件（如光学透镜和玻璃容器）的几何形状、厚度分布和结构完整性，为光学性能分析、机械强度模拟和制造一致性评估提供可靠的输入（Chen等人，2025；Chen等人，2025）。在智能感知领域，准确的三维重建为机器人系统提供了透明物体的精确几何边界和空间姿态信息，从而实现稳定的抓取、精确放置和安全交互（Ye等人，2025）。因此，为透明物体量身定制的高质量三维重建方法已成为复杂工业场景中精密制造、智能检测和自动化决策的关键技术驱动力（Weibel等人，2023）。

然而，与不透明的朗伯表面不同，透明物体表现出复杂的光传输现象，包括折射、反射、透射和视点依赖的镜面高光（Mathai等人，2022）。这些效应违反了大多数多视图重建和神经渲染框架所基于的亮度恒定性和光度一致性假设。因此，由原始RGB监督驱动的优化常常会将镜面高光或折射背景模式误解为几何结构，导致浮动伪影、表面扭曲或碎片化重建（Tian等人，2026）。虽然基于神经辐射场（NeRF）的方法尝试使用有符号距离函数（SDFs）来建模几何结构，但它们仍然对非朗伯表面变化敏感，并且在强透明度和照明变化下经常失败。基于显式高斯的方法提高了渲染效率和几何鲁棒性，但仍难以将几何一致的信号与视点依赖的镜面干扰区分开来。最近，少数研究开始解决这些挑战（Verbin等人，2025）。NeRF-THO（Tian等人，2025）引入了一个TSDF监督的分离-重建网络，以改善透明区域的渲染质量并抑制由高光引起的伪影。然而，它并不直接输出显式的三维表面表示。GlassGaussian（Cao等人，2025）通过将反射率建模纳入球谐外观拟合来扩展三维高斯喷撒公式。然而，其缺乏显式的几何监督可能导致边界模糊和几何保真度降低。

尽管取得了这些进展，但在图像空间外观分析和基本几何优化之间仍然存在一个关键差距。现有的基于分解的方法主要在图像域中分离漫反射和镜面反射外观，但得到的信息很少被明确地转移到单独的3D基本元素上，以确定它们的几何更新是否可靠。相反，基于几何的正则化三维高斯喷撒方法通常均匀地施加几何约束，而不考虑相应的观测是否受到视点依赖的反射或透射的影响。此外，同时优化高斯外观和几何结构可能会使错误的结构部分被视点依赖的球谐系数所补偿，使得难以区分外观拟合和真实的几何校正。因此，关键挑战不仅仅是结合分解和几何正则化，而是建立一个明确的机制，将图像空间的镜面不确定性转换为高斯级别的可信度引导的几何控制。为了解决这些挑战，本研究提出了TSTR，这是一个专门为透明物体重建设计的具有镜面抑制功能的三维高斯喷撒框架，如图1所示。TSTR不仅仅简单地将外观分解和几何正则化结合起来，而是建立了一条从图像空间镜面分析到基本元素级别高斯几何优化的明确信息路径。其中心的技术贡献是一种镜面置信度转移和基于可信度的优化机制，它将分解得到的观测可信度转换为对高斯几何的直接控制。具体来说，TSTR包括三个协同工作的模块：首先，TSTR引入了一个考虑镜面反射的分解模块（SDM），该模块从输入图像中估计漫反射和镜面反射的表示，并预测镜面干扰的置信度；其次，TSTR提出了一种镜面高斯细化（SGR）机制，通过基于置信度的更新选择性地细化与几何相关的高斯参数，同时明确冻结视点依赖的外观系数以防止镜面污染；第三，TSTR设计了一个考虑几何结构的正则化模块（GRM），将基于SDF的隐式表面约束纳入显式高斯表示中，强制执行重建表面的空间紧凑性和结构连续性。通过从图像像素到高斯基本元素的显式转移分解得到的置信度，TSTR建立了视点依赖的外观分析和几何优化之间的闭环交互。在合成和真实世界透明物体数据集上的大量实验表明，TSTR在渲染质量和几何重建精度方面都优于代表性的隐式和显式基线方法。这些结果验证了在多个层次上抑制镜面干扰对于实现稳健和高质量的透明物体重建至关重要。

尽管在相关领域已经分别探索了漫反射/镜面分解、置信度估计和基于SDF的正则化，但TSTR的不同之处在于它明确地将分解得到的可信度从图像像素转移到高斯基本元素和表面正则化上。总之，TSTR的贡献有四个方面：
1. 本文提出了TSTR，这是一个具有镜面抑制功能的三维高斯喷撒框架，它将视点依赖的外观分析与基本元素级别的几何优化明确联系起来。
2. 本文引入了一种从图像到高斯的置信度转移机制，使用渲染得到的透射率和alpha合成权重将像素级别的几何可信度聚合成高斯级别的置信度。该机制在受镜面污染的图像观测和单独的高斯基本元素之间建立了明确的对应关系。
3. 本文开发了一种高斯细化和几何正则化策略。投影的置信度直接控制高斯位置、尺度、旋转和不透明度的更新，而在细化过程中冻结外观系数以防止视点依赖的外观影响错误的几何结构。
4. 本文构建了一个包含合成和真实世界场景的透明物体数据集，并与代表性的隐式和显式重建方法进行了广泛的渲染和几何评估。

本文的其余部分组织如下：第二部分回顾了透明物体重建、神经隐式表面建模和基于三维高斯喷撒的场景表示的相关工作。第三部分介绍了TSTR的整体框架并详细说明了提出的模块。第四部分描述了实验设置，包括数据集、实现细节、评估指标和消融研究，随后与最先进的方法进行了定量和定性比较。最后，第五部分总结了本文并讨论了潜在的未来研究方向。

研究概述
**三维高斯喷撒用于重建**
三维高斯喷撒（3DGS）的核心思想源自传统的体积喷撒技术。它通过在空间中分布大量高斯基本元素来近似三维场景，每个元素都由位置、方向、尺度和颜色参数化。与基于体素的表示相比，高斯基本元素提供了更好的连续性、参数稀疏性和强可微性（Wan等人，2025）。与隐式神经表示不同，3DGS不依赖于计算成本高昂的MLP。

**方法**
本节主要描述了所提出的TSTR方法。首先回顾了三维高斯喷撒（3DGS）的基本原理，然后详细介绍了构成TSTR框架的三个重要模块。最后，介绍了端到端优化策略。TSTR流程的概览如图2所示。

**数据集**
在对广泛用于三维重建和新视图合成的数据集（如DTU（Jensen等人，2014）和BlendedMVS（Yao等人，2020）进行了全面调查后，本研究观察到大多数现有的公共数据集主要是为漫反射或弱镜面物体设计的。它们的成像过程通常在近似的朗伯反射假设下进行建模，这显著限制了它们表示复杂光学现象的能力。

**结论**
本文提出了TSTR，这是一个具有镜面抑制功能的三维高斯喷撒框架，用于实现稳健和准确的透明物体重建。通过明确处理镜面干扰和折射引起的模糊性，TSTR弥合了高效显式高斯表示和几何意识约束之间的差距。所提出的框架集成了一个考虑镜面反射的分解模块、基于置信度的高斯细化和基于SDF的几何正则化，形成了一个统一的解决方案。

**作者贡献声明**
Chenyu Tian：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、研究、资金获取、形式分析、数据管理、概念化。
Wentao Hu：资金获取、形式分析、数据管理。
Long Wen：验证、监督、软件、资源。
Huafeng Ding：可视化、验证、监督、概念化。

**资助**
本工作得到了中国国家重点研发计划（编号2023YFB3307900）、深圳市科技创新计划（编号JCYJ20230807113708016）和广东省基础与应用基础研究基金（编号2024A1515011025）的支持。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

**作者信息**
Chenyu Tian | Wentao Hu | Long Wen | Huafeng Ding
中国地质大学机械工程学院和电子信息学院，中国武汉市珞莫路388号，430074