在雪天条件下，通过基于补丁的特征重新加权来推广无监督的激光雷达运动估计方法

《Pattern Recognition》：Generalizing unsupervised LiDAR motion estimation via patch-aware feature reweighting under snowy conditions

　　

• •
  针对清晰和雪景环境，开发了无监督的LiDAR测距算法。
• •
  实时设计支持实际的自动驾驶应用。
• •
  PSM（Patch Spatial Measure）估计感兴趣区域的可靠性，以降低稀疏和不可靠区域的影响。
• •
  PPWP（Patch Point Weight Predictor）细化逐点权重，以抑制残余噪声。
• •
  KITTI、Ford和WADS数据集验证了该算法的跨场景泛化能力。

引言

LiDAR传感器在3D计算机视觉和机器人技术中不可或缺，它们提供以点云形式存在的精确3D空间数据，这些数据对于运动估计[1]、场景理解[2]和几何重建等关键任务至关重要。在不同条件下捕捉详细环境信息的能力是确保智能系统安全性和可靠性的前提[3]。然而，LiDAR数据容易受到噪声的影响，尤其是在恶劣天气条件下。雪景环境会引入显著的噪声伪影，降低3D点云的质量，并严重影响运动估计的准确性。因此，开发出能够进行领域泛化的鲁棒模型对于保证系统在复杂现实世界环境中的可靠性至关重要。

传统的统计去噪方法[4]通常假设噪声模式过于简单，从而导致重要环境细节的丢失和精度下降。虽然动态适应机制[5],[6]通过自适应阈值提高了特征保留能力，但由于需要广泛搜索邻居点，它们仍然存在计算效率低的问题。这些限制阻碍了它们与现代深度运动估计（LiDAR测距）网络的集成。最近的深度学习方法[7],[8]在恶劣天气条件下的去噪方面显示出潜力。然而，这些模型严重依赖大规模、高质量的数据集，这不仅限制了它们在陌生环境中的泛化能力，还带来了较大的计算开销。将此类去噪模型集成到测距系统中会显著降低计算效率。为了克服这些挑战，我们提出了一种无监督的LiDAR运动估计模型，旨在提高从清晰到雪景条件的泛化能力。该模型结合了异常值过滤模块和分层结构，使得在不同驾驶场景中实现准确定位而无需真实标签。

我们的模型基于三个关键观察结果：（1）点云在LiDAR传感器附近较为密集，随着距离的增加而变得越来越稀疏，使得对应关系的匹配变得更加困难；（2）雪花点的强度值通常低于有效场景点；（3）雪花倾向于在靠近传感器的位置形成密集簇，而远处的雪花则显得更为分散（见图1）。基于这些见解，我们引入了两个可靠性加权模块：Patch Spatial Measure（PSM）和Patch Point Weight Predictor（PPWP）。PSM将点云划分为局部区域，并计算空间自相关分数来表征区域级的空间连贯性，较高的分数表示更密集的区域。这有助于模型降低远处稀疏区域和分散雪花的影响（如图1(B)和(C)所示），从而减少它们对姿态估计的影响。PPWP是一个两阶段模块，用于通过评估逐点置信度来进行细粒度的可靠性优化，与仅在粗略区域级别评估分散性的PSM不同。第一阶段是强度阈值屏蔽，快速过滤掉高密度区域的低强度点（对应于近场雪花）。第二阶段采用多模态逐点权重预测器（MPWP），通过交叉注意力融合机制整合点特征、全局特征、强度和距离。这种设计通过基于多模态信息为单个点自适应分配置信度分数，提高了权重预测的可靠性。因此，我们的模型减少了雪引起的不可靠点的影响，同时保留了结构线索，从而提高了从清晰到雪景条件的泛化能力。

我们的主要贡献如下：

• •
  我们提出了一个无需依赖标记训练数据的无监督LiDAR测距框架，适用于清晰和雪景条件。
• •
  我们开发了Patch Spatial Measure（PSM）来计算区域级可靠性，降低了稀疏和孤立不可靠点对姿态估计的影响。
• •
  我们引入了Patch Point Weight Predictor（PPWP），它利用多模态特征融合以及强度掩码来有效去除密集雪簇，并估计每个区域内的逐点可靠性。
• •
  在KITTI、Ford和WADS数据集上的实验表明，与现有方法相比，我们的方法在保持实时性能的同时，实现了良好的姿态估计精度。

部分摘录

深度LiDAR测距

基于深度学习的LiDAR测距（LO）已经从监督方法发展到更先进的无监督方法。早期的监督方法，如基于CNN的LO[9]、LO-Net[10]、DeepPCO[11]和TransLO[12]，侧重于通过将3D点云投影到2D图像上来预测姿态，从而增加了计算需求。值得注意的是，Velas等人[9]将LO任务定义为分类问题，而LO-Net[10]通过改进网络功能进一步提升了这一能力

方法

我们提出的方法框架如图2所示，包括三个主要组成部分：特征提取、异常值去除滤波器和姿态估计器。

实验

我们的模型仅在晴朗天气的KITTI测距数据集上进行训练，并在三个不同的数据集上严格评估其泛化能力：晴朗天气下的KITTI测距数据集、包含许多动态物体的Ford Campus Vision and Lidar数据集，以及捕捉雪景复杂性的Winter Adverse Driving Data Set（WADS）。这种全面的测试策略使我们能够评估模型的鲁棒性和多功能性

强度阈值掩码的统计分析和可视化

为了进一步描述雪噪声模式，我们分析了WADS数据集中随机抽取的100帧图像（见图5）。统计结果显示，活跃的雪点主要集中在近场范围内，当最大强度为255时，98.71%的活跃雪点强度值低于2.5。这一观察结果支持使用轻量级的强度先验。然而，由于部分有效场景点也可能具有较低强度，因此不使用强度阈值作为

测距方法的运行时间比较

我们将我们的方法与几种基线方法进行了运行时间比较，包括ICP-po2po、ICP-po2pl、VGICP、PWCLO-Net和HPPLO-Net。在相同硬件条件下测量的结果詳见表8。这些结果代表了100对点云对的平均姿态估计时间，不包括数据预处理。传统方法（ICP-po2po、ICP-po2pl和VGICP）通常由于迭代优化过程而耗时较长。值得注意的是，我们的方法实现了

限制与讨论

尽管所提出的框架提高了无监督LiDAR运动估计从清晰到雪景条件的泛化能力，但它仍存在一些局限性。首先，在严重遮挡情况下，大量稳定场景结构可能被遮挡，导致跨帧对应关系不足。在这种情况下，加权点到场姿态估计可能变得不稳定，姿态精度可能会下降。其次，虽然评估的雪景数据集包含不同的

结论

“在这项工作中，我们提出了一种无监督的LiDAR运动估计方法，它能够在保持实时性能的同时，从清晰场景泛化到雪景场景。该算法无需真实姿态或手动标注的雪标记，集成了面向任务的、紧密耦合的模块，以实现高效的雪噪声抑制和可靠的跨帧对应关系构建。通过减少雪引起的不可靠点的影响并保持稳定的几何结构

CRediT作者贡献声明

周贝贝：写作 – 修订与编辑，撰写原始草案，可视化，验证，监督，软件开发，资源管理，方法论研究，资金获取，形式分析，数据管理，概念化。张志远：写作 – 修订与编辑，撰写原始草案，方法论研究，形式分析。宋振波：写作 – 修订与编辑，撰写原始草案，方法论研究，调查。郭建辉：写作 – 修订与编辑，验证，

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本项工作得到了澳门特别行政区科学技术发展基金（文件编号：AGJ-2021-0046、AFJ-2022-0123、AFJ-2023-0067、SKL-IOTSC(UM)-2021-2023）和澳门大学的

相关新闻

生物通微信公众号

生物通新浪微博

微信

新浪微博

我要投稿

• 搜索
• 国际
• 国内
• 人物
• 产业
• 热点
• 科普

热搜：无监督测距|激光雷达|雪景环境|点云去噪|跨场景泛化|实时性能

热点排行