《Engineering Applications of Artificial Intelligence》:Geometry-aware Gaussian splatting of transparent object reconstruction
编辑推荐:
透明物体三维重建需解决折射反射导致的几何模糊问题。本文提出几何感知的G-GSTR框架,创新性地融合Transformer掩码提取模块、SDF引导的Gaussian优化机制和立体对齐新视图合成策略,构建首个透明物体基准数据集。实验证明该方法在合成和真实场景中均优于基线方法。
陈宇天|胡文涛|张志伟|文龙|丁华峰
中国地质大学机械工程与电子信息学院,珞莫路388号,武汉,430074,中国
摘要
透明物体的精确三维重建是工业数字化的关键要求,因为可靠的虚拟三维模型对于信息物理系统开发、生产监控和智能机器人技术至关重要。然而,重建透明物体仍然是一个基本挑战,因为它们的复杂折射和透射行为违反了传统三维重建流程(包括高斯喷射算法)的假设。为了解决这个问题,我们引入了一个专门为透明物体重建设计的几何感知高斯喷射框架。所提出的方法包含三个关键创新:(1)基于Transformer的掩码提取模块,生成具有透明性感知的边界特征以指导几何定位;(2)基于有符号距离函数的高斯细化机制,通过几何感知监督来强制表面一致性并纠正深度歧义;(3)立体对齐的新视图合成策略,生成虚拟立体对并融合多视图深度以实现稳健的跨视图几何一致性。从工程应用的角度来看,我们构建了一个包含四个合成场景和两个真实世界透明物体场景的基准数据集,以便系统地评估重建性能。实验结果表明,与代表性的基线方法相比,所提出的框架在合成和真实世界场景中都实现了更高的重建精度,生成了高质量的三维模型,这些模型在可视化和相关工业应用中具有潜力。
引言
从工程信息学的角度来看,3D重建不仅仅是一项感知任务,而是一个将物理资产与其数字对应物联系起来的核心信息建模过程(Yang等人,2024年)。高质量的重建可以生成结构化数据,从而实现语义丰富、预测分析和数据驱动的决策制定在信息物理生产系统中(Qiu等人,2024年)。这一能力支持了广泛的工业应用,包括数字孪生建模、机器人辅助检测、自适应生产控制和自动化质量保证(J. Chen等人,2023年)。随着现代制造系统向更高自主性、大规模定制和实时适应性发展,工业机器人和智能代理越来越依赖于AI驱动的优化算法来增强运动规划、操作和控制。最近的研究通过使用Pelican优化算法(POA)进行移动机器人轨迹规划(Khaleel等人,2024年)、基于粒子群优化的方法来提高冗余操纵器的逆运动学精度(Khaleel和Humaidi,2024年),以及对WidowX 6自由度机器人臂等关节平台的数据驱动运动学建模(Obied等人,2025年)来展示了这一趋势。在这些系统中,准确感知各种通常具有光学挑战性的材料(如透明容器、玻璃界面和聚合物组件)对于可靠的交互和任务执行至关重要(Hou等人,2020年)。这些异构物体的数字化对于确保智能工厂中的仿真精度、装配规划和缺陷检测至关重要(R. Chen等人,2023年)。特别是,透明物体的高保真重建直接支持工业任务,如光学元件的现场检测、半透明组件的精密组装以及透明包装中的缺陷检测。因此,透明物体感知已成为推动下一代工业环境中视觉智能发展的关键因素。
然而,透明物体的重建对于制造和机器人感知来说仍然具有很高的挑战性(Mei等人,2020年)。透明材料缺乏可靠的光度线索(如纹理和一致的颜色),并且它们的外观会随着照明和视角的变化而显著变化。此外,透明表面表现出复杂的光学现象(即反射和折射),这些现象违反了大多数传统立体和深度估计算法所基于的朗伯假设(Xie等人,2020年)。因此,标准的深度感应技术(包括RGB-D相机和LiDAR)在应用于玻璃或亚克力等透明介质时,往往会产生不可靠或不完整的测量结果(Tong等人,2025年)。这种信息差距直接影响了工程信息学应用,削弱了数字孪生的可靠性,并损害了下游分析(如几何推理、异常检测和预测性维护)。
近年来,基于神经辐射场(NeRF)的重建技术(Mildenhall等人,2021年)引入了一种强大的新范式,特别是通过3D高斯喷射(3DGS)(Kerbl等人,2023年)来理解3D场景。3DGS在速度和保真度方面都优于先进的NeRF变体。它将训练和推理时间从几小时缩短到了几分钟,为需要高质量场景重建、快速视图合成和实时交互的工业应用提供了有力的解决方案(Zhao等人,2025年)。然而,在3DGS框架内,透明表面的研究仍然不足。大多数现有流程都隐含地假设场景由具有朗伯反射或表面一致辐射特性的不透明表面组成。为了解决这些挑战,最近提出了一些专门用于透明物体重建的方法。GlassGaussian(Cao等人,2025年)通过修改原始图像融合方程并引入单通道球谐表示来近似每个高斯原语的视图依赖性反射率,扩展了3D高斯喷射(3DGS)公式。尽管这种方法提高了透明区域的渲染质量,但GlassGaussian主要依赖于辐射驱动,并没有结合显式的几何监督。它通过全局折射感知优化来模拟透明度,但缺乏区分折射、反射和透射效应的机制。因此,重建的表面经常表现出几何歧义和边界保真度下降。尽管做出了这些努力,标准的3DGS流程仍然缺乏结合显式几何约束或语义先验的机制。仅依赖光度一致性无法解决由折射引起的畸变,导致几何形状不准确和表面边界模糊。根据研究,很少有方法成功地将基于高斯的表示的计算效率和渲染质量与针对透明物体重建挑战的几何感知监督结合起来。
为了解决透明物体重建的挑战,我们提出了G-GSTR,即具有几何感知的高斯喷射算法。G-GSTR将基于Transformer的掩码预测和基于SDF的几何监督集成到3DGS框架中,以增强几何感知能力,如图1所示。具体来说,CNN-Transformer掩码模块预测透明物体边界,提供空间先验以隔离物体区域并防止背景反射伪影。这些掩码特征被输入到具有几何感知的高斯模块中,其中SDF约束引导高斯与物体表面紧密对齐,减少浮动伪影和深度歧义。SDF约束提供了强烈的几何偏差,以减轻纯高斯混合引起的“浮动”和深度歧义。此外,G-GSTR利用立体对齐的新视图合成进一步改善了深度估计和重建质量。最后,构建了一个包含透明物体的基准数据集,以评估G-GSTR与现有基线(包括原始3DGS和基于NeRF的方法)的性能。实验表明,G-GSTR在测试的合成场景和真实世界场景中实现了比代表性基线更高的重建精度:
- 1)
掩码引导的空间先验提取:一个基于CNN-Transformer的掩码网络被设计用来提取具有透明性感知的边界特征,为局部几何优化提供空间先验。
- 2)
基于SDF的几何感知监督:一个基于边界的高斯模块整合了有符号距离估计,通过Eikonal损失来规范高斯的空间放置并强制表面一致性。
- 3)
立体对齐的新视图合成:一个可微分的渲染流程与深度估计网络相结合,该网络包括遮挡掩蔽和误差建模,从而能够从合成的立体视图中进行稳健的重建。
- 4)
数据集构建和评估:开发了一个高质量的透明物体数据集,并通过广泛的实验验证了G-GSTR在合成和真实世界场景中的有效性。
本研究的其余部分组织如下。第二节回顾了以往的工作。第三节描述了G-GSTR方法。第四节进行了比较实验分析和消融实验。第五节总结并讨论了局限性。
章节片段
用于重建的3D高斯喷射
3D高斯喷射(3DGS)是一种用于场景重建和视图合成的新方法,它使用加权的各向异性3D高斯斑点而不是网格或体素。Kerbl等人(2023年)用数千个拟合的高斯椭球填充场景,每个椭球都带有颜色和不透明度,并优化它们的位置、协方差和颜色以匹配输入图像。由此产生的模型实现了极其快速的、考虑可见性的渲染:将高斯喷射到图像中可以实时
方法
G-GSTR摄取一组从静态室内场景捕获的多视图RGB图像或视频帧,并生成任何存在的透明物体的高保真3D重建。为了检测复杂场景中透明物体的存在,本研究引入了基于Transformer的掩码提取模块、基于SDF的高斯细化模块和基于NVS的立体重建。我们整个流程的概述如图2所示。
数据集
在分析了DTU(Jensen等人,2014年)、BlendedMVS(Yao等人,2020年)和ScanNet(Dai等人,2017年)数据集之后,我们注意到公开可用的透明物体重建数据集的多样性仍然有限。大多数现有基准数据集包含的对象类别、材料和照明配置范围有限,这不可避免地限制了实验评估的规模和复杂性。这一限制突显了需要专门的数据集来
G-GSTR的结论
本文提出了G-GSTR,这是一种针对合成和真实世界场景中透明物体重建的具有几何感知的3D高斯喷射框架。所提出的方法整合了三个关键组件:(1)基于Transformer的掩码提取模块,该模块识别具有透明性感知的物体边界并提供语义先验以指导重建;(2)基于SDF的高斯细化模块,通过有符号距离估计来增强空间一致性和结构规则性
CRediT作者贡献声明
陈宇天:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,形式分析,数据管理,概念化。胡文涛:项目管理,方法论,调查,资金获取,形式分析,数据管理,概念化。张志伟:形式分析,数据管理,概念化。文龙:资源,项目管理,
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。