《Future Internet》:RICO-3D: A Benchmark and Baseline Method for Semantic Segmentation of Urban Roadways
编辑推荐:
本文介绍了RICO-3D(Roadway Infrastructure in Context),一个用于法国城市道路语义分割的大规模移动激光扫描(Mobile Laser Scanning, MLS)数据集,以及为这一任务设计的几何感知注意力U-Net(GA-
本文介绍了RICO-3D(Roadway Infrastructure in Context),一个用于法国城市道路语义分割的大规模移动激光扫描(Mobile Laser Scanning, MLS)数据集,以及为这一任务设计的几何感知注意力U-Net(GA-Attention)。RICO-3D由Leica Pegasus TRK300移动测绘系统在法国马赛、雷恩和奥普尔-佩里约斯采集,提供每个点的几何、RGB、强度、GPS时间、扫描角度等级以及6个类别的语义标签:植被、道路、杆柱、建筑物、电缆和车辆。该数据集包含780,981,961个标记点,捕捉了实际MLS挑战,包括严重的类别不平衡、稀疏薄结构、遮挡以及不同的季节和天气条件。GA-Attention在基于点的编码器-解码器框架内结合了丰富几何描述符、注意力局部聚合、显著性引导下采样、注意力门控跳跃融合和基于课程的训练。在RICO-3D上,该方法达到了83.36%的整体准确率和道路(91.35%)、杆柱(49.91%)和电缆(56.08%)的最佳交并比(Intersection over Union, IoU),推理时间为8.17秒。在Toronto-3D上,它达到了82.18%的整体准确率和56.50%的平均IoU(mean IoU, mIoU)。这些结果表明了RICO-3D对于基础设施导向的MLS分割的相关性,以及GA-Attention对于薄且代表性不足的道路基础设施类别的有效性。为支持可重复研究,RICO-3D数据集、源代码、训练模型和评估脚本将在Orange的法律和数据治理验证流程完成后公开。
**论文解读:RICO-3D与GA-Attention——面向城市道路基础设施的语义分割基准与基线方法**
**研究背景与问题**
随着城市环境的数字化进程加速,大规模3D场景理解系统需求日益迫切。移动激光扫描(Mobile Laser Scanning, MLS)技术凭借其沿道路走廊连续采集密集、地理参考点云的能力,成为街景测绘的关键手段,广泛应用于城市制图、地理信息系统更新、自动驾驶及基础设施巡检。在这些应用中,语义分割是识别道路表面、建筑物、植被、车辆及基础设施元素的基础步骤。然而,现有公开基准如Semantic3D、SemanticKITTI、Paris-Lille-3D等在传感几何、采集背景和类别体系上存在差异,尤其缺乏针对电信和公用事业基础设施分析的专用类别(如架空电缆和杆柱)。此外,现有分割方法在应对MLS场景中严重的类别不平衡、稀疏薄结构、遮挡及多变采集条件时仍面临挑战。为此,研究人员引入RICO-3D数据集,并设计GA-Attention模型,以填补基础设施导向MLS分割的空白。
**研究内容与结论**
研究人员构建了包含780,981,961个标记点的RICO-3D数据集,覆盖法国三个城市(马赛、雷恩、奥普尔-佩里约斯)的不同季节与天气条件,提供6类语义标签(植被、道路、杆柱、建筑物、电缆、车辆)。同时提出GA-Attention,一种几何感知注意力U-Net,专为MLS点云语义分割设计。在RICO-3D上,该方法达到83.36%的整体准确率,并在道路(91.35%)、杆柱(49.91%)和电缆(56.08%)上取得最佳交并比(IoU),推理时间仅8.17秒。在Toronto-3D上,其整体准确率为82.18%,平均IoU(mIoU)为56.50%。这些结果证明了RICO-3D在基础设施导向MLS分割中的相关性,以及GA-Attention对薄且代表性不足道路基础设施类别的有效性。该论文发表于《Future Internet》。
**主要关键技术方法**
1. **数据采集与标注**:使用Leica Pegasus TRK300移动测绘系统在法国马赛、雷恩和奥普尔-佩里约斯采集点云,包含RGB、强度、GPS时间、扫描角度等级等属性。采用多阶段标注策略:初始自动化标注(Leica Cyclone3DR)、手动标注(CloudCompare)及基于U-Next的主动学习与视觉验证,确保标注质量。轨道级分割(17条轨道,8条训练,其余验证/测试)保证地理隔离。
2. **GA-Attention模型架构**:基于点的U-Net编码器-解码器框架,核心组件包括: (a) 丰富几何输入表示:将归一化径向距离、方位角、相对高度与RGB、强度拼接为7维特征向量; (b) 几何感知注意力局部聚合(AttentiveRandLA块):在K近邻图上计算注意力权重,自适应融合邻域特征; (c) 显著性引导分层下采样:通过可学习的点得分进行局部竞争选择,保留信息量大的点; (d) 注意力门控跳跃连接:在解码器中使用注意力掩码选择性融合编码器特征; (e) 基于课程的训练策略:从局部块(5m)逐步扩展至全局上下文(20m),并逐步激活焦点损失和Lovász-Softmax损失。
**研究结果**
**5.1 GA-Attention训练细节与超参数配置**
通过AdamW优化器、余弦退火学习率调度、三阶段课程训练(从5m到20m块大小)及加权交叉熵、焦点损失与Lovász-Softmax的联合损失函数,模型在验证集上早停选择最优检查点。
**5.2 实验设置**
所有方法在相同硬件(NVIDIA RTX A6000, Ubuntu 22.04.5 LTS, PyTorch 2.10.0, CUDA 12.8)上从头训练,使用RICO-3D训练分割,测试分割保持独立。
**5.3 RICO-3D上的定量比较**
GA-Attention以83.36%的整体准确率领先所有对比方法。在基础设施mIoU(杆柱与电缆平均IoU)上达53.00%,高于RandLA-Net(Open3D-ML)的47.93%。具体地,杆柱IoU(49.91%)、电缆IoU(56.08%)和道路IoU(91.35%)均为最佳,表明模型对薄结构有效。但植被、建筑物和车辆IoU不及3D-UMamba或U-Next变体,说明全局mIoU(60.66%)略低于RandLA-Net(61.56%),但推理时间(8.17s)更具优势。
**5.4 定性误差分析**
通过可视化展示,GA-Attention能够正确恢复主要道路表面、车辆和架空电缆结构,但在密集植被遮挡、多类边界及部分杆柱处仍存在误差,尤其是电缆与植被重叠区域。
**5.5 Toronto-3D上的评估**
在Toronto-3D上从头训练,模型达到82.18%整体准确率和56.50% mIoU,其中道路标记和建筑物表现良好,薄结构(Utility line和Pole)保持稳健,验证了模型跨数据集泛化能力。
**5.6 讨论**
GA-Attention在基础设施类(道路、杆柱、电缆)上优势明显,但车辆IoU(32.63%)显著低于U-Next(64.05%),说明设计更偏向薄结构而非紧凑物体。缺乏组件消融和车辆误差分析,无法归因于特定模块。未来需改进车辆分割,并系统研究跨数据集泛化、利用GPS时间与扫描角度等级等元数据。
**总结与结论**
本文介绍了RICO-3D,一个大规模法国城市道路MLS语义分割数据集,并提出了GA-Attention模型。RICO-3D提供丰富的点属性与6类语义标签,反映了严重类别不平衡、稀疏薄结构、遮挡及季节天气变化等真实挑战。实验表明,GA-Attention在基础设施导向的精度-效率权衡上表现优异,在RICO-3D上取得最佳整体准确率(83.36%)及道路、杆柱、电缆的最高IoU,推理时间8.17秒;在Toronto-3D上亦保持竞争力(82.18%准确率,56.50% mIoU)。这些结果验证了数据集与模型对薄且代表性不足基础设施元素分割的有效性。数据集与代码将在法律与数据治理验证完成后公开。未来工作包括组件消融、车辆误差分析、跨数据集泛化及利用元数据的序列感知模型研究。