利用不规则中继表面的CUDA加速非视距成像技术
《Optics and Lasers in Engineering》:CUDA-accelerated Non-line-of-sight imaging with irregular relay surfaces
【字体:
大
中
小
】
时间:2026年01月12日
来源:Optics and Lasers in Engineering 3.7
编辑推荐:
非视线成像技术采用不规则反射面和任意非均匀扫描模式,结合频率域带通滤波与GPU加速实现高效高质重建,突破了传统平面网格限制,显著提升实验灵活性。
孙毅|洪宇|邱子恒|李伟|李文文|孙启林|徐飞虎
中国科学技术大学物理科学学院,合肥国家微尺度物理科学研究中心,中国合肥 230026
摘要
非视距(NLOS)成像技术具有重建隐藏物体的潜力,可应用于灾难救援、自动驾驶等多个领域。然而,现有方法主要依赖于平面中规则网格的测量数据,这严重限制了其实用性。为克服这一限制,我们提出了一种基于反投影的NLOS技术,该技术可以直接处理不规则的 relay 几何形状和任意、非均匀的扫描模式,无需进行平面化或重采样。这项技术的实用性得益于两个关键组件:一是频域带通滤波器,用于抑制噪声和多径效应以提高重建质量;二是基于 CUDA 的高度并行化 GPU 实现,其运行速度至少比 CPU 基线快两个数量级。在具有不规则扫描的非平面 relay 壁面上的实验中,该技术成功恢复了复杂的隐藏物体形状。与现有的基于网格的方法相比,我们的方法在性能上不相上下,同时显著提升了实验的灵活性。通过放宽对 relay 几何形状和采样的要求,我们的方法将扩大 NLOS 成像的实际应用范围。
引言
非视距(NLOS)成像旨在恢复直接视线之外的物体[1],[2],[3],使其在自动驾驶、灾难救援、医学成像等多个领域具有广泛应用。由于基于飞行时间(ToF)的方法[4],[5],[6],[7],[8],[9],[10],[11],[12],[13],[14],[15],[16],[17],[18],[19],[20],[21],[22],[23]能够生成稳定且高质量的 3D 重建图像,因此在 NLOS 成像研究中备受青睐。在典型的基于 ToF 的 NLOS 成像中,脉冲激光照射 relay 表面,然后使用时间分辨探测器(如单光子雪崩二极管 SPAD[24],[25],[26],[27])记录沿三次反射路径(relay 表面 - 隐藏物体 - relay 表面)散射的光子。随后通过计算算法从这些时间信号中重建隐藏物体。
尽管近年来 NLOS 成像技术取得了显著进展,但大多数现有方法仍依赖于平面 relay 表面上规则网格点的测量数据来生成快速且高质量的成像结果。这一严格要求严重限制了它们的实际应用。对于使用单点探测器和扫描镜的系统,需要复杂的、耗时的校准程序来扫描 relay 壁上的规则网格点[7],[28],[29],[30],这包括校准 relay 壁的位置和方向以及精确调整扫描镜的角度。对于使用 2D 数组探测器的系统,探测器必须垂直朝向 relay 壁以检测规则网格[31],[32],[33],这限制了场景的设置。为克服这一限制,已经提出了几种非均匀下采样方法[34],[35],[36]。更重要的是,在现实世界中很少有大型、完整的平面表面。实际场景通常包含复杂的结构,如纹理或浮雕墙壁、倒塌建筑的碎片、飘动的窗帘[37]以及空心的窗框[38]。因此,能够在不规则 relay 表面上进行快速且高质量的 NLOS 成像至关重要。
一些研究探索了使用不规则扫描模式或非平面 relay 壁的 NLOS 成像。值得注意的是,fk 迁移[11]本身可以高效处理平面 relay 表面上规则网格的 NLOS 数据,但作者提供了一种近似方法,将任意扫描模式转换为规则网格和平面网格,作为预处理步骤。然而,这种近似不可避免地引入了误差,导致成像质量下降,这一点在最近的文献[38],[39],[40]中有所体现。CC-SOCR[38]是一种迭代算法,可以从任意扫描模式生成高质量的 NLOS 重建图像,但其实际应用受到高计算成本的限制,通常在个人电脑上需要数十分钟才能运行。虚拟扫描[39]是一种基于无监督学习的框架,可以处理不规则欠采样的瞬态信号,计算时间适中。然而,其性能受到固定网络输入结构的限制,在低采样密度条件下重建质量较差。3D-RSD[40]可以为非平面 relay 壁提供高效的重建,但依赖于特定的数据采集策略:其实现要求在扫描过程中检测点或激光点必须保持固定。这一限制使其难以适应完全任意的扫描模式。因此,同时具备快速性、高质量和几何通用性的方法对于任意 relay 表面和扫描协议来说仍然是一个未解决的挑战。
为应对这一挑战,我们采用了反投影(BP)方法,该方法因其固有的几何灵活性而受到重视,但历史上受到计算成本高和噪声敏感性的阻碍。我们通过两部分策略克服了这些障碍。首先,定制的带通滤波器有效抑制了不规则表面的噪声;其次,基于 CUDA 的 GPU 实现将整个流程加速到接近实时的速度。我们的实验成功地从具有不规则扫描模式的非平面墙壁上重建了隐藏物体,验证了这种集成方法的有效性。与现有的最先进方法(包括 CC-SOCR[38]、虚拟扫描[39]和 3D-RSD[40])的全面比较表明,我们的方法在任意扫描配置下具有更强的通用性,显著减少了计算时间,并保持了竞争性的成像质量。我们相信我们的工作将使 NLOS 成像技术更接近实际应用。我们的代码和数据可在 github[41]上公开获取。
章节片段
NLOS 成像的物理模型
我们首先描述 NLOS 成像的物理模型。图 1 展示了一个典型的 NLOS 成像场景,包括不规则的 relay 表面及其对应的重建结果。通过用脉冲激光照射 relay 壁并使用时间分辨探测器捕捉来自隐藏物体的回波来生成单个 ToF 测量值。每个测量值对应一个唯一的源-探测器对。为了实现高保真重建,需要通过空间方式获取多个 ToF 数据集。
实验结果
为了验证我们的方法在非平面 relay 壁和不规则扫描模式下的性能,我们构建了一个紧凑的非视距(NLOS)成像系统,如图 2 所示。照明源是一个 532 nm 的脉冲激光器(CNI FL-532-Pico),以 11 MHz 的重复频率发射 50 ps 的脉冲。一个 95:5 的分束器将输出分成两部分:主要部分(95%)通过双轴振镜(Thorlabs GVS012/M)导向场景;剩余部分(5%)触发光电二极管(Thorlabs)。
结论与未来工作
在这项工作中,我们提出了一种能够处理不规则 relay 表面的快速 NLOS 成像方法。我们构建了一个紧凑的 NLOS 成像系统,并通过实验验证了该方法在使用不规则扫描模式和非平面 relay 壁时能够实现高保真重建。与 CC-SOCR、虚拟扫描和 3D-RSD 等最先进方法相比,我们的方法速度更快,同时保持了竞争性或更优秀的图像质量,并具有更强的几何通用性。
作者贡献声明
孙毅:概念构思、方法论、软件开发、数据管理、形式分析、实验研究、可视化、初稿撰写、验证、监督、资源协调、项目管理。洪宇:概念构思、方法论、软件开发、数据管理、形式分析、实验研究、可视化、初稿撰写、验证、监督、资源协调、项目管理。邱子恒:概念构思、方法论、软件开发、数据管理、形式分析、实验研究
致谢
本工作得到了量子科学技术创新计划(2021ZD0300300)、国家自然科学基金(项目编号 62031024)、安徽量子信息技术行动计划、上海市科技重大项目(2019SHZDZX01)、上海市科技发展基金(22JC1402900)、上海明星计划(24YF2751300, 24YF2751400)、上海学术/技术研究带头人计划(21XD1403800)以及中国科学院的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号